KLとJS Divergenceの違い
![Thumbnail of post image 188](https://i0.wp.com/vasteelab.com/wp-content/uploads/2020/07/cropped-danielle-macinnes-IuLgi9PWETU-unsplash.jpg?resize=150%2C150&ssl=1)
KL(Kullback-Leibler) divergenceと Jensen-Shannon(JS) divergenceは、2つの確率分布の類似性を知るための指標である。
KL divergenceは以下の式で得られ、 ...
Mode droppingとは? [深層学習][GAN]
![Thumbnail of post image 172](https://i0.wp.com/vasteelab.com/wp-content/uploads/2020/07/anna-sullivan-IUXR0sqs-mY-unsplash.jpg?resize=150%2C150&ssl=1)
画像のいくつかの表現しにくいモードがGeneratorに無視されてしまうこと。前回の記事で説明したモード崩壊(Mode dropping)と近いGANの失敗原因となる。
モード崩壊と比べて解説記事が少ないため、筆者の推測込 ...
モード崩壊(Mode Collapse)とは? [深層学習][GAN]
![Thumbnail of post image 173](https://i0.wp.com/vasteelab.com/wp-content/uploads/2020/07/brooke-lark-HlNcigvUi4Q-unsplash.jpg?resize=150%2C150&ssl=1)
GANが変化に乏しいイメージを生成すること。多くの変化に乏しい複製(モード)を生成するため、モード崩壊(Mode Collapse)と呼ばれている。
モード崩壊に陥った場合、まず試すのはGANの学習率を調整することである。 ...
LeakGANをインストールしサンプルを動かすまで[GAN][NLP]
![Thumbnail of post image 086](https://i0.wp.com/vasteelab.com/wp-content/uploads/2020/07/sambazon-qfIVXu7nxGU-unsplash.jpg?resize=150%2C150&ssl=1)
長文を生成可能なLeakGANをインストールし,サンプルを動かしてみたのでメモ.本記事では,dockerで作成したコンテナ上でサンプルを動かす手順について紹介.
まずはnvidia-docker2で動作環境を用意する.
SeqGANのソースコードを動かしてみる[GAN]
![Thumbnail of post image 071](https://i0.wp.com/vasteelab.com/wp-content/uploads/2020/07/debby-hudson-hWVVtG0d8jM-unsplash.jpg?resize=150%2C150&ssl=1)
テキストや音楽を自動生成可能な手法として, SeqGANがある. 本記事では, テキストの自動生成を目的として, GitHubに公開されるコードをとりあえず動かしてみる.
本記事では原理に関する説明は行わない. 気になる方 ...