画像処理

画像を入力に特定の効果を得るための処理についてまとめます。近年はDeepLearningによる画像処理などがよく目立ちますが、簡単な処理、高速な処理は既存の技術を使います。画像を加工するだけだったり、画像内にあるものを数えたり、画像内にあるものを検出、画像から文字を読み出すものなどを含みます。

2017.9.16

215

Views
1

Watch
28

Knows

フィルタ処理

画像に対して特定の演算で加工して出力するフィルタ処理についてまとめる.目的や使い方は同じフィルタでも様々.処理速度や効果、処理後の解像度などが異なる.

検出器は特定の幾何的な性質等を見つける箇所を画像上から検出する処理を有するものです.コーナ検出やエッジ検出、ブロブ検出等を行う検出器が研究されています.

画像処理基本処理

画像処理の各検出やフィルタ処理において前提となって使用される画像処理の基本処理に関してまとめているページです.

領域分割処理

画像内を特定のルールに従って領域分割する手法についてまとめています.同一物体の領域をまとめるGraph-Cutやボロノイ図等について紹介します.

画像サイズ変更

画像のサイズを変更する処理に関連した技術を主にまとめているページです.ただ単にリサイズするものやクリッピング、大事な部分を入れた画像に変換してしまうなど様々な手法が提案されています.

画像処理周辺知識

画像処理に関連した直接的な内容ではないが周辺知識として押さえておきたいものについてまとめているページです.

画像処理の新規投稿

サリエンシマップとは

サリエンシマップ(顕著性マップ)は、人間の脳のモデルから着想を得て画像の局所特徴量の組み合わせによって注視領域を算出する技術のこと.特徴量としてはコントラストや明度、色など様々なものが使用されます.動画に用いるときは動きや早さなども特徴に含まれます.ここではボトムアップな手法を紹介します.

マンハッタンワールド仮説

マンハッタンワールド仮説(Manhattan World Assumption)は、人間が造った人工物の多くは直交座標系に平行に作られているという仮定.これによって、壁や天井などをx方向,y方向,z方向に平行な拘束があるものと改定することができる.

機械学習による自動クリッピング

近年はSNSでの画像の使用が多くなり、サイズの問題上それの画像の一部のみ見せる必要があることが多い.そこで各画像の自動的なクリッピングが必要となってきている.ここではTwitterにおいてそれを機械学習で行なっている例を紹介する.

シームカービングとは

シームカービングは画像全体の中で除去しても問題ない部分を縦または横に横切るようにして検出してその部分を除去することで画像サイズを縮小する画像縮小手法.拡大には使用できない.エネルギーを定義してその値が少ないところを見つけ出し、画像の端から端まで進みその軌跡を除去する.

フロイドスタインバーグディザリング

フロイド・スタインバーグ・ディザリング(Floyd–Steinberg dithering)は、特定の画素で新しい値を決めた際に元々との差を周りにばら撒くことで色の階調を減らしても見た目の誤差を少なくするディザリング手法(誤差拡散法の一種).他手法よりも見た目の違和感がなく、256色しか使えないGIFなどに用いられた.

ランダムディザリング

ランダムディザリング(Random Dithering, 無作為ディザリング)は各画素ごとに完全にランダムな閾値を決定し閾値より低ければ黒、高ければ白にするディザリング手法.多くの場合は(アート等をのぞいて)色数を減らしつつ自然にしたいといったケースでは使わない.ただしシンブルなグラデーション等に限っては他手法より自然な見た目を出す.複雑形状な模様などには不適切で、ノイズが入っただけに見えてしまう.

パターンディザリング

パターンディザリング(Pattern Dithering, 濃度パターン法)は、入力された1画素値を複数画素で構成される固定パターンに置き換えていくことで色数を落としても自然な濃淡変化を残せるディザリング手法.これを行うと1画素をnxn画素に置き換えていくため画像サイズが大きくなる.

配列ディザリング

配列ディザリング(Ordered Dithering)はあらかじめ決められた値を持つ配列の値を閾値として各画素をどの値に近似するかを決定するディザリングアルゴリズム.単に元の色より使える色数が少ない時や白黒にしたいときに、自然さを残すように使用することができる.

ドロネーの三角形分割

ドロネーの三角形分割は、いかなる三角形の外接円も他の点を内包しない性質を持つ分割の仕方である.どの隣接する三角形を統合してもその外周は凸包となる.また、三角形の3つの角度の最小値が最大になるような分割を行う.

Lucas Kanade法

Lucas Kanade法は、金田らによって提案されたオプティカルフローの実現手段として代表的な手法の一つ.

勾配に注目したオプティカルフロー

勾配に注目したオプティカルフローでは、複数あるオプティカルフローの算出方法のうち、画像の時間的空間的勾配に注目した算出方法.

オプティカルフローとは

オプティカルフロー(Optical Flow)とは、二枚以上の画像を用いてその画像内で共通して写っている部分などをヒントに写っている部分の動作の推定や全体の動きを推定してベクトルにしたものです.二次元ベクトルに限らず三次元ベクトルの推定も行われます.

適応的二値化フィルタ

通常の二値化フィルタでは画像全体で共通の閾値を使っているが、適当的二値化フィルタ(Adaptive Thresholding)では局所的に閾値を決定して処理を行なう二値化フィルタ.背景と前景が判断できるようにある程度考慮するサイズは大きい必要がある.

反復閾値選択による二値化フィルタ

反復閾値選択による二値化フィルタは、2クラスのクラスタリングによって繰り返し計算を行いながら閾値を定める二値化フィルタ.K-meansのように二つのクラスのうち近い方に画素を分類をする.二つのクラスで分散が等しくないとよい閾値にならない.

Kittlerによる二値化フィルタ

Kittlerによる二値化フィルタは、背景と前景に二つの異なる正規分布を仮定して平均的に誤り率を下げるように閾値を調整する二値化フィルタ.大津の方法では、片方の分布が偏っている場合は閾値が極端に寄ってしまっていたが、Kittlerの方法ならその問題が起こらない.

Pタイル法による二値化フィルタ

Pタイル法による二値化フィルタは、閾値を前景と背景の比率に基づいて決めるフィルタです.明るさの変化を受けにくいですが、どのような比率にするかを人手で決める必要はまだあります.

大津の方法による二値化フィルタ

大津の方法による二値化フィルタは、画像内に明るい画像部位と暗い部位の二つのクラスがあると想定して最もクラスの分離度が高くなるように閾値を自動決定する二値化フィルタ.人間が事前に決める値はない.

シンプルな二値化フィルタ

シンプルな二値化フィルタは、画素の値がある値(閾値)より大きければ1、小さければ0とするフィルタ.入力画像はグレースケール画像を想定.

DoG(Difference of two Gaussian)は、LoGでの重いフィルタ処理をガウシアンの差分によって近似し軽量化したフィルタ.各スケールσ、kσ、k^2σ、等σの大きさを変えてフィルタ処理したのちにその差分を計算.値が０になっているところがエッジ. 上記のような工夫をしても尚、σを大きくしたガウシアンフィルタの計算は重いため、σを大きくするのではなく、入力画像をダウンサンプリングすることでさらなる軽量化を行います

LoG(Laplacian of Gaussian)はガウシアンフィルタによって先にノイズを除去したのちにラプラシアンフィルタをかけることでエッジを抽出するフィルタです.用途としては、エッジの抽出やブロブの検出等が行えます.

物体の一部にオクリュージョンがあるときにも画像から物体を検出させるには

ある物体をトラッキングしたいです。

画像のエッジを強調したい

画像処理人気知識・質問

勾配に注目したオプティカルフロー

勾配に注目したオプティカルフローでは、複数あるオプティカルフローの算出方法のうち、画像の時間的空間的勾配に注目した算出方法.

Lucas Kanade法

Lucas Kanade法は、金田らによって提案されたオプティカルフローの実現手段として代表的な手法の一つ.

オプティカルフローとは

オプティカルフロー(Optical Flow)とは、二枚以上の画像を用いてその画像内で共通して写っている部分などをヒントに写っている部分の動作の推定や全体の動きを推定してベクトルにしたものです.二次元ベクトルに限らず三次元ベクトルの推定も行われます.

ドロネーの三角形分割

ドロネーの三角形分割は、いかなる三角形の外接円も他の点を内包しない性質を持つ分割の仕方である.どの隣接する三角形を統合してもその外周は凸包となる.また、三角形の3つの角度の最小値が最大になるような分割を行う.

大津の方法による二値化フィルタ

大津の方法による二値化フィルタは、画像内に明るい画像部位と暗い部位の二つのクラスがあると想定して最もクラスの分離度が高くなるように閾値を自動決定する二値化フィルタ.人間が事前に決める値はない.

Pタイル法による二値化フィルタ

Pタイル法による二値化フィルタは、閾値を前景と背景の比率に基づいて決めるフィルタです.明るさの変化を受けにくいですが、どのような比率にするかを人手で決める必要はまだあります.

適応的二値化フィルタ

通常の二値化フィルタでは画像全体で共通の閾値を使っているが、適当的二値化フィルタ(Adaptive Thresholding)では局所的に閾値を決定して処理を行なう二値化フィルタ.背景と前景が判断できるようにある程度考慮するサイズは大きい必要がある.

LoG(Laplacian of Gaussian)はガウシアンフィルタによって先にノイズを除去したのちにラプラシアンフィルタをかけることでエッジを抽出するフィルタです.用途としては、エッジの抽出やブロブの検出等が行えます.

パターンディザリング

パターンディザリング(Pattern Dithering, 濃度パターン法)は、入力された1画素値を複数画素で構成される固定パターンに置き換えていくことで色数を落としても自然な濃淡変化を残せるディザリング手法.これを行うと1画素をnxn画素に置き換えていくため画像サイズが大きくなる.

Kittlerによる二値化フィルタ

Kittlerによる二値化フィルタは、背景と前景に二つの異なる正規分布を仮定して平均的に誤り率を下げるように閾値を調整する二値化フィルタ.大津の方法では、片方の分布が偏っている場合は閾値が極端に寄ってしまっていたが、Kittlerの方法ならその問題が起こらない.

平均化フィルタ

画像内の特定領域の中で画素値の平均を使って画素値を更新するフィルタ処理.このフィルタは領域内の平均をとるだけのシンプルなもので高速.ぼけたような画像が出力されることになります。

DoG(Difference of two Gaussian)は、LoGでの重いフィルタ処理をガウシアンの差分によって近似し軽量化したフィルタ.各スケールσ、kσ、k^2σ、等σの大きさを変えてフィルタ処理したのちにその差分を計算.値が０になっているところがエッジ. 上記のような工夫をしても尚、σを大きくしたガウシアンフィルタの計算は重いため、σを大きくするのではなく、入力画像をダウンサンプリングすることでさらなる軽量化を行います

ランダムディザリング

ランダムディザリング(Random Dithering, 無作為ディザリング)は各画素ごとに完全にランダムな閾値を決定し閾値より低ければ黒、高ければ白にするディザリング手法.多くの場合は(アート等をのぞいて)色数を減らしつつ自然にしたいといったケースでは使わない.ただしシンブルなグラデーション等に限っては他手法より自然な見た目を出す.複雑形状な模様などには不適切で、ノイズが入っただけに見えてしまう.

配列ディザリング

配列ディザリング(Ordered Dithering)はあらかじめ決められた値を持つ配列の値を閾値として各画素をどの値に近似するかを決定するディザリングアルゴリズム.単に元の色より使える色数が少ない時や白黒にしたいときに、自然さを残すように使用することができる.

フロイドスタインバーグディザリング

フロイド・スタインバーグ・ディザリング(Floyd–Steinberg dithering)は、特定の画素で新しい値を決めた際に元々との差を周りにばら撒くことで色の階調を減らしても見た目の誤差を少なくするディザリング手法(誤差拡散法の一種).他手法よりも見た目の違和感がなく、256色しか使えないGIFなどに用いられた.

ヘシアンコーナー検出器

ヘシアンコーナー検出器はコーナにおいては画像の変化が激しいであろうことを前提に、その点でxyI空間を考えたときの曲率が大きくなることを用いて検出する手法.二次微分を計算してヘシアン行列の行列式を求めガウス曲率を算出する.

反復閾値選択による二値化フィルタ

反復閾値選択による二値化フィルタは、2クラスのクラスタリングによって繰り返し計算を行いながら閾値を定める二値化フィルタ.K-meansのように二つのクラスのうち近い方に画素を分類をする.二つのクラスで分散が等しくないとよい閾値にならない.

サリエンシマップとは

サリエンシマップ(顕著性マップ)は、人間の脳のモデルから着想を得て画像の局所特徴量の組み合わせによって注視領域を算出する技術のこと.特徴量としてはコントラストや明度、色など様々なものが使用されます.動画に用いるときは動きや早さなども特徴に含まれます.ここではボトムアップな手法を紹介します.

マンハッタンワールド仮説

マンハッタンワールド仮説(Manhattan World Assumption)は、人間が造った人工物の多くは直交座標系に平行に作られているという仮定.これによって、壁や天井などをx方向,y方向,z方向に平行な拘束があるものと改定することができる.

画像の1次微分

画像の1次微分する方法についてまとめています.これらはコーナ検出やエッジ検出の計算に頻繁に用いられます.

物体の一部にオクリュージョンがあるときにも画像から物体を検出させるには

画像のエッジを強調したい

ある物体をトラッキングしたいです。