Momentum最適化関数

SGD勾配降下法ではあるデータの値を使って更新量を計算してそれでパラメータ更新を行っていた.そのため選択するデータによって更新量がまちまちでパラメータの値がばたつき、更新が遅くなる問題があった. MomentumではSGDでの更新に更新量を慣性項として式に加えることで、過去何回かの更新量を考慮しながら更新することができるようになりました。 ボールが今まで転がってきた方向に転がり続けやすくなるのと同じで、 慣性項によってより極小値への収束が早くなりました.

$$w_{t+1} = w_t - \eta \nabla f(w_t) + \alpha \Delta w_t $$

Momentumでは慣性項が増えた分ハイパーパラメータももう一つ増えて、あらかじめηとαの両方を決めておく必要がある.