LSTMとは

LSTMはRNNを改良した時系列データ等に対して特化したニューラルネットワーク.今までのRNNは出力を再度入力として入れるのみで、勾配消失が起きやすかった。 LSTMはその問題を解決するべく、入力と出力にゲートを用意してデータが消失しないように必要なデータを残すようにした。

上記のように勾配の消失をなくしたものはいいものの、少しずつ変化していく入力を追えなくなってしまうことがあった。 それに対して忘却ゲートを用意することで、適度に新しいデータの状態に適合していくことができるようになる。