<<展開

PRelu活性化関数

Facebookシェア Twitterツイート LINEで送る Googleシェア このエントリーをはてなブックマークに追加
この章を学ぶ前に必要な知識
Up
0
Down

要約

概要

LeakyReluを改良して、学習しながら適切な傾きを変更していく. PRelu活性化関数.
ー 効果 ー
  • 学習性能が向上
  • あらかじめ人が設定しなくてはならないハイパーパラメータが減少
ーポイントー
  • LeakyReluを改良
  • y=αxの傾きαのパラメータも学習

解  説

Relu活性化関数をベースに改良したLeakyReluを改良した活性化関数 LeakyReluの時に加えたxが負の時の傾きがハイパーパラメータになったため、 人手で設定するパラメータが増えてしまった。 この傾きαも含めて学習させることで、ハイパーパラメータを減らすとともに 精度を向上させることができた。
Relu活性化関数
\begin{eqnarray} y = \begin{cases} x & ( x \geqq 0 ) \\ \alpha x & ( x \lt 0 ) \end{cases} \end{eqnarray}
PRelu活性化関数 LeakyReluと見た目は同じだが、αも学習する対象
PReluの元論文をリンクしておきます。
この章を学んで新たに学べる
Comments

Reasons
>>隠す

知識: Relu活性化関数
最も現在使われることの多い活性化関数。 xが負のとき0それ以外は恒等関数. シグモイドなどより計算が早いことが特徴.