ソフトマックス活性化関数

概要

ソフトマックスは複数の値があるときに、それらの合計が1になり各出力が0から1の値になるように調整してくれる活性化関数.
Facebookシェア Twitterツイート LINEで送る このエントリーをはてなブックマークに追加
この章を学ぶ前に必要な知識
0
ポイント
  • 出力が常に正になる
  • 出力値を全て足して1で各出力値が0より大きく1以下なので確率と見なせる
  • 多クラスの分類をするネットワークの出力層で使われる.それ以外では使われない.

解 説

多クラスの分類を行うニューラルネットワークの出力層の活性化関数として使われる. 多クラス分類で使われる理由 or よく使われる理由 ・出力が 0より大きく1以下 ・全ての出力を足すと1.確率と同じと見なせる. ・微分した形が元の式を使って書けて便利 ・ただ平均をしたものより交差エントロピーを最小化する値を出力 "{猫, 犬, 豚, 牛}"のような分類をするときに学習させる答えは, 犬が写っている画像なら[0, 1, 0, 0]として、犬100%にすればよくなります。
ソフトマックス活性化関数概要
$$f(x_i)={\frac {e^{x_i}}{\sum _{k=1}^{K}e^{x_k}}}$$
ソフトマックス活性化関数 K:クラスの数
この章を学んで新たに学べる
Comments

Reasons
>>隠す