モード崩壊(Mode Collapse)とは？ [深層学習][GAN]

GANが変化に乏しいイメージを生成すること。多くの変化に乏しい複製（モード）を生成するため、モード崩壊（Mode Collapse）と呼ばれている。

モード崩壊に陥った場合、まず試すのはGANの学習率を調整することである。経験則として、低い学習率を使用し、学習を最初からやり直すと改善することがある。

その他の解決策として、

  • Generatorへの入力データの次元を増やす
  • Generatorのフィルタ数を増やし、さらに多様な特徴を生成できるようにする
  • 実イメージに対して偽ラベルをランダムに与えてDiscriminatorの性能を落とす（片側ラベル反転）

が挙げられる。

https://jp.mathworks.com/help/deeplearning/ug/monitor-gan-training-progress-and-identify-common-failure-modes.html

上図左が、変化に乏しい画像を生成する、モード崩壊が起こったGANの例。モード崩壊が起きていないか確認するためには、生成された画像を検査する必要がある。出力にほとんど多様性がなく、その一部がほぼ同一である場合には、モード崩壊が起きている可能性が高い。

参考

GAN の学習過程の監視と一般的な故障モードの識別 – MATLAB & Simulink – MathWorks 日本

GANのトレーニングに役立つ10のヒント (webbigdata.jp)

Deep Learning,GAN

Posted by vastee