層を深くする

DeepLearningではできるだけ層は深い方がよいとされています。 しかし、DeepLearningがブームになる少し前までは、学習の都合上長くしても学習が進まなくなるといったことが多々あり、簡単には層を深くすることができませんでした。(だいたい3層) どころが、幾らかの工夫によって層が長くできることがわかると、次々に層は長くなっていき、近年有名になったものではマイクロソフトのResNetが152層を実現しています。

ResNetはマイクロソフトが152層を実現し、2015年時点でImageNetと言われるデータを使った識別で過去最高の識別率を出したとされるネットワークです。ショートカットをネットワークに加えるというコツで152層を実現しており、論文によれば最大1201層まで層を深くし精度をあげられたそうです。