層の入力を加工する

Deep Learningでは幾らかの方法で層の入力を加工することで、精度を高くする手法が提案されています。

Batch Normalizationは層として挿入することで学習性能と速度を改善する効果的な層の一つです。 入力するミニバッチの平均と分散から正規化してスケールシフト補正を入れて、バッチごとに大きく値が揺れ動くことを防ぎます。

Denoising AutoEncoderでも行われるように、入力にノイズを加えることで加えなかった場合よりもロバスト性をあげられることがあります。

特に画像データなどで、画像の意味を壊さずに伸縮、回転移動、などの加工を行ったものも訓練画像とすることで、ロバスト性をあげることや訓練画像を多くしたのに近い結果をえることができるようになります。

データの入力というよりはユニットの挙動に近いものですが、 幾らかのユニットをランダムで無効にする(計算させない)手法があります。層の50%ほど(50%でなくてよい)をランダムに非活性にすることで過学習を防ぐことができ、DeepLearningが始まってから長らく使われていました。