活性化関数とは

活性化関数ではニューラルネットワークのニューロンが積算値を計算した値に、 その値を入力に非線形な関数を通して値を変換する関数である。 この活性化関数を利用することでニューロンの値を非線形にして表現力をあげたり、 あまりに大きすぎる値にすることを防いだり、出力をできるかぎり0にしたりして 学習させやく学習精度を向上させる役割等をさせることができます。 活性化関数は様々な種類があり、それぞれの特徴も異なります。 近年学習精度が高いとされ頻繁に使用されるのはRelu活性化関数です。

DeepLearningでは使用されないが長い間使用されていた活性化関数としてSigmoid活性化関数があります。近年この関数による勾配消失が問題となり使われません。

Sigmoidに変わって使用されるようになった活性化関数です。 上記の勾配消失問題を解決し今多くのニューラルネットワークで使用されています。