<<展開

サリエンシマップとは

Facebookシェア Twitterツイート LINEで送る Googleシェア このエントリーをはてなブックマークに追加
この章を学ぶ前に必要な知識
Up
0
Down

要約

概要

サリエンシマップ(顕著性マップ)は、人間の脳のモデルから着想を得て画像の局所特徴量の組み合わせによって注視領域を算出する技術のこと.特徴量としてはコントラストや明度、色など様々なものが使用されます.動画に用いるときは動きや早さなども特徴に含まれます.ここではボトムアップな手法を紹介します.
ー 条件 ー
  • 画像が入力
  • どのような特徴マップを生成するか決めておく
ー 効果 ー
  • 人間が注視しそうな領域を可視化した画像を生成
  • 生成された領域に基づいてクリッピングなどを行う
ーポイントー
  • 人間の脳のモデルを参考に考案されたモデル
  • 画像からそれぞれの特徴マップを算出して、それらを統合して注視領域を決める
  • 局所的な特徴量から生成するボトムアップな手法とタスクから注視領域を求めるトップダウンな手法が提案されている
  • 様々な特徴マップが提案されている.動画になると時間方向の特徴も増える.

解  説

サリエンシマップ(顕著性マップ)は、人間の脳のモデルから着想を得て画像の局所特徴量の組み合わせによって注視領域を算出する技術のこと.特徴量としてはコントラストや明度、色、交点、方向、エッジなど様々なものが使用されます.動画に用いるときは動きや早さなども特徴に含まれます. ここでは局所的な特徴量を求めて注視領域を推定するボトムアップな手法を紹介しますが、タスクや目的から注視領域を推定するトップダウンな手法も提案されています.
サリエンシマップとは
サリエンシマップ概要図
サリエンシマップは全体としてはシンプルな仕組みによって算出されます. サリエンシマップの算出流れ 大まかには 1. 入力画像から各特徴量の特徴マップを生成 ex) 方向、コントラスト、明度、色.... 2. 1.で算出された特徴マップを全て合成 となります. 1.の処理 1.における特徴マップの計算には、よくある例は上記にあげた4つの特徴量が使われますが、特に決まりはなくタスクに応じて必要な特徴量を選択して使用します. この1の処理では、入力画像から特徴量を算出して特徴マップを生成したあと、 複数のスケールの画像を生成してその差分を出力します. この処理をCenter-Surround Operation(DoG フィルタ処理)と言います.(後述します) このCenter-Surround Operationの他にGabor Filterを別途計算して新しい特徴マップを生成することもあります. 2.の処理 2.における特徴マップの合成方法も特に決まりはありませんが、最も簡単には線形和でそのままマップを足し合わせる方法です.このとき重要な特徴マップに重みをつけて和を取ることでより目的にそったサリエンシマップを生成することができます. それぞれの特徴量によって値の範囲が異なる点も要注意です.
サリエンシマップの詳細
よい詳細な処理の説明. (Itti-Kochの手法の場合) Center-Surround Operationで周りと異なるところが強調された特徴マップを生成する
Center-Surround Operationの処理を行うことで、局所的に異なるところを強調することが可能です. この処理を行うには、 1. ガウシアンピラミッドで異なったスケールの画像を用意します. 2. 異なるスケール間で画像の差分を求めます. を実行します. なぜこの処理で変化を取り出せるのかを解説します. 縮小した画像を作ると、細かい特徴は縮小した時に潰れて、大きな特徴は残ります. 全体的に白いけど黒点がある画像では画像を縮小することでその黒い点は消えます. 縮小前画像と縮小後画像を同じ大きさに合わせて差分をとれば、 黒点だったところだけ差分として取り出すことができるのです. この処理はDoGによって行われる処理と似たような処理を行うことになります.
Center-Surround Operationについて
DoGの処理についてはリンクを参照.
この章を学んで新たに学べる
Comments

Reasons
>>隠す

知識: DoG
DoG(Difference of two Gaussian)は、LoGでの重いフィルタ処理をガウシアンの差分によって近似し軽量化したフィルタ.各スケールσ、kσ、k^2σ、等σの大きさを変えてフィルタ処理したのちにその差分を計算.値が0になっているところがエッジ. 上記のような工夫をしても尚、σを大きくしたガウシアンフィルタの計算は重いため、σを大きくするのではなく、入力画像をダウンサンプリングすることでさらなる軽量化を行います