Adagrad最適化関数

今までのニューラルネットワークでの更新においては、 常に学習係数は固定で人間がうまい値を決めて収束するように調整していた. Adagradでは、初めの値を人間に調整してもらったらあとは学習するにつれて、 適宜大きさを変更して学習してくれる. 特徴的なのは ・過去の勾配の結果を全て保持していて、最新の勾配が大きく異なっていたら学習率高めにする ・学習するにつれて学習率は小さくなっていく ・学習率は各更新ごとに各パラメータごとに異なる.

$$w_t = w_{t-1} - \frac{\eta}{\sqrt{\sum{({\nabla J(w_0)}^2 + {\nabla J(w_1)}^2 + \cdots + {\nabla J(w_t)}^2)}}}\nabla J(w_t)$$

$$w_{t,i} = w_{t-1,i} - \frac{\eta}{\sqrt{\sum{({\nabla J(w_{0,i})}^2 + {\nabla J(w_{1,i})}^2 + \cdots + {\nabla J(w_{t,i})}^2)}}}\nabla J(w_{t,i})$$