サリエンシマップとは

サリエンシマップ(顕著性マップ)は、人間の脳のモデルから着想を得て画像の局所特徴量の組み合わせによって注視領域を算出する技術のこと.特徴量としてはコントラストや明度、色、交点、方向、エッジなど様々なものが使用されます.動画に用いるときは動きや早さなども特徴に含まれます. ここでは局所的な特徴量を求めて注視領域を推定するボトムアップな手法を紹介しますが、タスクや目的から注視領域を推定するトップダウンな手法も提案されています.

サリエンシマップは全体としてはシンプルな仕組みによって算出されます. サリエンシマップの算出流れ 大まかには 1. 入力画像から各特徴量の特徴マップを生成 ex) 方向、コントラスト、明度、色.... 2. 1.で算出された特徴マップを全て合成 となります. 1.の処理 1.における特徴マップの計算には、よくある例は上記にあげた4つの特徴量が使われますが、特に決まりはなくタスクに応じて必要な特徴量を選択して使用します. この1の処理では、入力画像から特徴量を算出して特徴マップを生成したあと、 複数のスケールの画像を生成してその差分を出力します. この処理をCenter-Surround Operation(DoG フィルタ処理)と言います.(後述します) このCenter-Surround Operationの他にGabor Filterを別途計算して新しい特徴マップを生成することもあります. 2.の処理 2.における特徴マップの合成方法も特に決まりはありませんが、最も簡単には線形和でそのままマップを足し合わせる方法です.このとき重要な特徴マップに重みをつけて和を取ることでより目的にそったサリエンシマップを生成することができます. それぞれの特徴量によって値の範囲が異なる点も要注意です.

Center-Surround Operationの処理を行うことで、局所的に異なるところを強調することが可能です. この処理を行うには、 1. ガウシアンピラミッドで異なったスケールの画像を用意します. 2. 異なるスケール間で画像の差分を求めます. を実行します. なぜこの処理で変化を取り出せるのかを解説します. 縮小した画像を作ると、細かい特徴は縮小した時に潰れて、大きな特徴は残ります. 全体的に白いけど黒点がある画像では画像を縮小することでその黒い点は消えます. 縮小前画像と縮小後画像を同じ大きさに合わせて差分をとれば、 黒点だったところだけ差分として取り出すことができるのです. この処理はDoGによって行われる処理と似たような処理を行うことになります.

DoGの処理についてはリンクを参照.