<<展開

LeakyRelu活性化関数

Facebookシェア Twitterツイート LINEで送る Googleシェア このエントリーをはてなブックマークに追加
この章を学ぶ前に必要な知識
Up
0
Down

要約

概要

Reluでxが負の場合を改良したLeakyRelu活性化関数.
ー 効果 ー
  • x が負でも勾配を持つので、学習が進みやすい
ーポイントー
  • Reluをベースに改良
  • 負のときのy=αxのαはあらかじめ学習前に人が設定し不変
  • Reluで発生するdying Relu問題を負でも勾配をもたせることで解消

解  説

ReluをベースにReluでneuronがどの入力を受けても同じ値を返すdead neuron問題を解決するために改良が加えられた活性化関数. xが負の時も僅かな傾きをもたせることで学習が止まってしまうことを防いでいる. ただし、これによってあらかじめ調整するハイパーパラメータが一つ増えてしまう点があえて言うなら欠点.
Relu活性化関数
\begin{eqnarray} y = \begin{cases} x & ( x \geqq 0 ) \\ \alpha x & ( x \lt 0 ) \end{cases} \end{eqnarray}
LeakyRelu活性化関数 αは通常かなり小さい値が設定される
αがハイパーパラメータになってしまったのを改良し、 αも学習するPReluというものも提唱されていて、 場合によっては精度が向上するとも言われている。
PRelu活性化関数
この章を学んで新たに学べる
Comments

Reasons
>>隠す

知識: Relu活性化関数
最も現在使われることの多い活性化関数。 xが負のとき0それ以外は恒等関数. シグモイドなどより計算が早いことが特徴.
知識: PRelu活性化関数
LeakyReluを改良して、学習しながら適切な傾きを変更していく. PRelu活性化関数.