PyTorch

Thumbnail of post image 139

MLP-Mixerに関して、GitHub – rishikksh20/MLP-Mixer-pytorch: Unofficial implementation of MLP-Mixer: An all-MLP Archit ...

Transformer

Thumbnail of post image 030

Facebook(現メタ) AIが公開した新しい音声フレームワークwav2vecに関して、ロス関数にフォーカスをあてた説明を行う。

wav2vec 2.0: A Framework for Self-Supervised ...

PyTorch

Thumbnail of post image 159

Pytorchのチュートリアルから、weight sharering(重み共有)の実装方法を紹介する。

今回扱うのは以下のチュートリアルである。

Learning PyTorch with Examples — ...

Deep Learning,GAN

Thumbnail of post image 123

KL(Kullback-Leibler) divergenceと Jensen-Shannon(JS) divergenceは、2つの確率分布の類似性を知るための指標である。

KL divergenceは以下の式で得られ、 ...

Deep Learning,GAN

Thumbnail of post image 044

画像のいくつかの表現しにくいモードがGeneratorに無視されてしまうこと。前回の記事で説明したモード崩壊(Mode dropping)と近いGANの失敗原因となる。

モード崩壊と比べて解説記事が少ないため、筆者の推測込 ...

Deep Learning,GAN

Thumbnail of post image 165

GANが変化に乏しいイメージを生成すること。多くの変化に乏しい複製(モード)を生成するため、モード崩壊(Mode Collapse)と呼ばれている。

モード崩壊に陥った場合、まず試すのはGANの学習率を調整することである。 ...

Deep Learning

Thumbnail of post image 186

ニューラルネットワークの重みの一部を取り除くことでパラメータ数や計算量を削減すること

Han, S., Pool, J., Tran, J., and Dally, W. Learning both weights and co ...

Ubuntu

Thumbnail of post image 120

nohup python *.py& などでバックグラウンド実行した後にプログラムを停止する場合、以下の二通りの方法が考えられる。

安全な停止

jobsコマンドでバックグラウンド実行しているジョブを確認。先頭の, が ...

論文投稿

Thumbnail of post image 087

IEEE Accessへ投稿した際,システムが使いにくくて原稿のアップロードに苦労したため,未来の自分が振り返るためのメモとしてここに備忘録を残す.

IEEE Accessは査読が早いことで有名なジャーナルで大体1か月半ほ ...

Python,効率化

Thumbnail of post image 029

Pythonを実行する際の引数指定は,以下のようにyamlで行うのが効率が良いとされている.

# yamlファイルの準備(ここは普通手動で行う)content = "batch_size: 16\nwidth: 224\nhei ...