KLとJS Divergenceの違い

KL(Kullback-Leibler) divergenceと Jensen-Shannon(JS) divergenceは、2つの確率分布の類似性を知るための指標である。
KL divergenceは以下の式で得られ、 ...
Mode droppingとは? [深層学習][GAN]

画像のいくつかの表現しにくいモードがGeneratorに無視されてしまうこと。前回の記事で説明したモード崩壊(Mode dropping)と近いGANの失敗原因となる。
モード崩壊と比べて解説記事が少ないため、筆者の推測込 ...
モード崩壊(Mode Collapse)とは? [深層学習][GAN]

GANが変化に乏しいイメージを生成すること。多くの変化に乏しい複製(モード)を生成するため、モード崩壊(Mode Collapse)と呼ばれている。
モード崩壊に陥った場合、まず試すのはGANの学習率を調整することである。 ...
LeakGANをインストールしサンプルを動かすまで[GAN][NLP]

長文を生成可能なLeakGANをインストールし,サンプルを動かしてみたのでメモ.本記事では,dockerで作成したコンテナ上でサンプルを動かす手順について紹介.
まずはnvidia-docker2で動作環境を用意する.
SeqGANのソースコードを動かしてみる[GAN]

テキストや音楽を自動生成可能な手法として, SeqGANがある. 本記事では, テキストの自動生成を目的として, GitHubに公開されるコードをとりあえず動かしてみる.
本記事では原理に関する説明は行わない. 気になる方 ...