単体正規分布平均分散を値で近似したい

与えられたデータがおおよそ単一の正規分布に従う形をしていると仮定できる時、その正規分布のパラメータである平均分散を値で近似する方法について紹介します. この推定は非常に有名な最尤法によって行われます.事前にこの分布はこれくらいのはずといった仮定は用いずにデータにフィットする正規分布の平均と分散を求めます. 他の手法にベイズ推定,MAP推定がありますがこれらは事前にこんな分布になるはずというのを元に推定します.

最尤法については解説しているサイトが多いため、ここでは省略して概略のみを述べます.詳しくは右のWikipedia等を参考にしてください.

最尤法は、まず求めたいパラメータθを使って、 1. パラメータθを引数とする尤度関数を設定します. 2. その尤度関数がθで最大になる点を求めるため、θで微分したものが0になるという条件もとで解きます. 「2.」で得られたθが最尤推定量になります.

最尤法はMAP推定と異なり、事前に分布の状態がどんなであるかを利用しません. そのため少数のデータしかない時には適切な分布を推定できないといった欠点があります.