-
@ThothChildren
- 2018.7.15
- PV 393
pix2pixHD
ー 概要 ー
pix2pixHDは複数の工夫を導入することでpix2pixでは256x256の画像生成であったのを2048x1024まで精度を改善したネットワーク.ResNetを使用したこと、ネットワーク構造を多段にすること、FeatureMatchingを採用したこと、マルチスケールの対応等の工夫を入れることで実現しています.
この章を学ぶ前に必要な知識
条件
- 2048x1024の解像度画像が入力画像
効果
- 高解像度な画像変換を実現
ポイント
- Residual Blockをネットワークに導入.
- 一つ目のGeneratorを囲うような別の高解像度にする二つ目のGeneratorを用意
- DiscriminatorにおいてFeatureMatchingを採用
- Discriminaotorは複数の用意しマルチスケール対応
解 説
High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANsの動画 | |
pix2pixHDはpix2pixで256x256の画像を扱っていたのを複数の工夫を導入することで2048x1024という高解像度な画像生成を実現したネットワーク.2017.11.30日にNVidiaより発表された論文.
特に以下の工夫が入っている.
・二つのGeneratorを用意し、片方がもう片方を内包したネットワーク構造.
・Residual BlockをGeneratorの双方に入れている.
・DiscriminatorでFeatureMatchingを行い、特徴マップも本物と近いようにする.
・複数のDiscriminatorを用意してマルチスケールの対応. | 外部リンク pix2pixHDの論文 |
右にpix2pixHDのコードレポジトリをリンクしておきます.ご参照ください. | 外部リンク pix2pixHDのGithubコード |
| まずはじめに解像度の低いG1のGeneratorで全体の変換が行えるように学習.
その後に高解像度にする担当のG2を訓練して、全体のFineTuningを行う. |
このG2の外側にさらにGeneratorを用意することができる.4048のサイズも可能らしい.
ラベリングの画像変換を行うにあたって、ラベルのマップだけが入力だけだと物体の境界線まわりが適切に生成されないため、画像の入力にラベルのマップだけでなく物体の境界線(エッジ)画像も入れることで精度の高い画像を生成できるようにしている. | 他pix2pixHDの特徴 |
この章を学んで新たに学べる
Comments