Mode droppingとは? [深層学習][GAN]

画像のいくつかの表現しにくいモードがGeneratorに無視されてしまうこと。前回の記事で説明したモード崩壊(Mode dropping)と近いGANの失敗原因となる。

モード崩壊と比べて解説記事が少ないため、筆者の推測込みの解説となるが、Mode droppingが起きている場合、画像のいくつかの細かいディティールが無視されてしまうのではないかと考えている。

詳しくは以下の論文を参照

1806.07755.pdf (arxiv.org)

以下論文から抜粋した日本語訳

現実的な設定では、自然画像は本質的にマルチモーダルであるため、Prは通常、非常に多様である。多くの人が、Pgは、おそらくモデル容量の不足または不適切な最適化のために、多様性を減らすことによってPrと異なることを推測している(Arora et al.) これは、しばしば2つの方法の組み合わせで生成モデルに現れます:Prのいくつかの表現しにくいモードがPgによって単に「無視」されるMode dropping、およびPrのいくつかのモードがPgによって単一のモード(おそらく中点に位置)に「平均化」されるMode Collapssingです。理想的な測定法は、この2つの現象に敏感であるべきである。

その他参考

neural network – Difference between mode dropping and mode collapsing in GANs? – Stack Overflow

Deep Learning,GAN

Posted by vastee