確率分布間の差異で類似度を求めたい

Facebookシェア Twitterツイート LINEで送る Googleシェア このエントリーをはてなブックマークに追加
この章を学ぶ前に必要な知識
Up
0
Down

要約

概要

二つの確率分布がどれほど異なっているかの指標を持って確率分布間の類似度を計算する方法についてまとめます.機械学習などにおいて頻繁に使用されるKLダイバージェンスやJSダイバージェンスについて紹介します.
ー 条件 ー
  • 二つの確率分布が入力
ー 効果 ー
  • 二つの確率分布の類似度(差異)が求まります
  • 値が0なら一致、大きくなるほど似ていないことになります.
ーポイントー
  • KLダイバージェンスとJSダイバージェンスについて紹介

解  説

確率分布の類似度は多くの機械学習や統計処理において必要になる数値になります.中でも確率分布の差異を表現しているKLダイバージェンスは頻繁に登場する数値です. 距離と表現できずダイバージェンスと呼んでいるのはある確率分布A,BからKLダイバージェンスを求めたのとB,Aから求めたのでは異なり、距離の定義から外れてしまうからです.(距離ならば、逆にしても同じ値になる必要あり)
確率分布間の差異で類似度を求めたい導入

1.JSダイバージェンス

先にJSダイバージェンスについて紹介しますが、JSダイバージェンスの定義はとてもシンプルです。 KLダイバージェンスが前述のように対称性がない点が実用上やっかいなときがあるため、(A,Bで算出したもの)と(B,Aで算出したもの)を足して2で割ったものを算出することで、JS(A,B) == JS(B,A)となるように工夫しています.
JSダイバージェンスについて
JSダイバージェンスの定義(Wikipediaより) 1/2しているのは各KLダイバージェンスに対して.

2.KLダイバージェンス

KLダイバージェンスは二つの確率分布の類似度を計算することができる値. どれだけ差があるかが最終的な出力になります. P=Qになると分布は完全に一致し値は0になります.
KLダイバージェンスとは
離散的な確率分布がP,Qのときは左のような式でKLダイバージェンスを定義します.
KLダイバージェンスは負になることはありません.
KLダイバージェンスの特徴
こちらはpとqが連続値の関数担った場合のKLダイバージェンス
KLダイバージェンスが差異を求めている図解
この章を学んで新たに学べる
Comments

Reasons
>>隠す