技術スラング

Thumbnail of post image 054

Googleの提供する深層学習フレームワークFlaxのドキュメントを読んでいると“sledge hammer” approachという表現に遭遇。

Linen supports the capture of interme ...

PyTorch

Thumbnail of post image 095

MLP-Mixerに関して、GitHub – rishikksh20/MLP-Mixer-pytorch: Unofficial implementation of MLP-Mixer: An all-MLP Archit ...

Transformer

Thumbnail of post image 099

Facebook(現メタ) AIが公開した新しい音声フレームワークwav2vecに関して、ロス関数にフォーカスをあてた説明を行う。

wav2vec 2.0: A Framework for Self-Supervised ...

PyTorch

Thumbnail of post image 114

Pytorchのチュートリアルから、weight sharering(重み共有)の実装方法を紹介する。

今回扱うのは以下のチュートリアルである。

Learning PyTorch with Examples — ...

Deep Learning,GAN

Thumbnail of post image 037

KL(Kullback-Leibler) divergenceと Jensen-Shannon(JS) divergenceは、2つの確率分布の類似性を知るための指標である。

KL divergenceは以下の式で得られ、 ...

Deep Learning,GAN

Thumbnail of post image 124

画像のいくつかの表現しにくいモードがGeneratorに無視されてしまうこと。前回の記事で説明したモード崩壊(Mode dropping)と近いGANの失敗原因となる。

モード崩壊と比べて解説記事が少ないため、筆者の推測込 ...

Deep Learning,GAN

Thumbnail of post image 030

GANが変化に乏しいイメージを生成すること。多くの変化に乏しい複製(モード)を生成するため、モード崩壊(Mode Collapse)と呼ばれている。

モード崩壊に陥った場合、まず試すのはGANの学習率を調整することである。 ...

Deep Learning

Thumbnail of post image 188

ニューラルネットワークの重みの一部を取り除くことでパラメータ数や計算量を削減すること

Han, S., Pool, J., Tran, J., and Dally, W. Learning both weights and co ...

Ubuntu

Thumbnail of post image 166

nohup python *.py& などでバックグラウンド実行した後にプログラムを停止する場合、以下の二通りの方法が考えられる。

安全な停止

jobsコマンドでバックグラウンド実行しているジョブを確認。先頭の, が ...

論文投稿

Thumbnail of post image 073

IEEE Accessへ投稿した際,システムが使いにくくて原稿のアップロードに苦労したため,未来の自分が振り返るためのメモとしてここに備忘録を残す.

IEEE Accessは査読が早いことで有名なジャーナルで大体1か月半ほ ...