技術スラング

Thumbnail of post image 016

On-the-Fly Attention Modulation for Neural Generation

というタイトルの論文に遭遇。

アブストをDeepLで翻訳すると以下のようになった。

「深層 ...

技術スラング

Thumbnail of post image 015

Googleの提供する深層学習フレームワークFlaxのドキュメントを読んでいると“sledge hammer” approachという表現に遭遇。

Linen supports the capture of interme ...

PyTorch

Thumbnail of post image 012

MLP-Mixerに関して、GitHub – rishikksh20/MLP-Mixer-pytorch: Unofficial implementation of MLP-Mixer: An all-MLP Archit ...

Transformer

Thumbnail of post image 036

Facebook(現メタ) AIが公開した新しい音声フレームワークwav2vecに関して、ロス関数にフォーカスをあてた説明を行う。

wav2vec 2.0: A Framework for Self-Supervised ...

PyTorch

Thumbnail of post image 155

Pytorchのチュートリアルから、weight sharering(重み共有)の実装方法を紹介する。

今回扱うのは以下のチュートリアルである。

Learning PyTorch with Examples — ...

Deep Learning,GAN

Thumbnail of post image 172

KL(Kullback-Leibler) divergenceと Jensen-Shannon(JS) divergenceは、2つの確率分布の類似性を知るための指標である。

KL divergenceは以下の式で得られ、 ...

Deep Learning,GAN

Thumbnail of post image 027

画像のいくつかの表現しにくいモードがGeneratorに無視されてしまうこと。前回の記事で説明したモード崩壊(Mode dropping)と近いGANの失敗原因となる。

モード崩壊と比べて解説記事が少ないため、筆者の推測込 ...

Deep Learning,GAN

Thumbnail of post image 060

GANが変化に乏しいイメージを生成すること。多くの変化に乏しい複製(モード)を生成するため、モード崩壊(Mode Collapse)と呼ばれている。

モード崩壊に陥った場合、まず試すのはGANの学習率を調整することである。 ...

Deep Learning

Thumbnail of post image 027

ニューラルネットワークの重みの一部を取り除くことでパラメータ数や計算量を削減すること

Han, S., Pool, J., Tran, J., and Dally, W. Learning both weights and co ...

Ubuntu

Thumbnail of post image 159

nohup python *.py& などでバックグラウンド実行した後にプログラムを停止する場合、以下の二通りの方法が考えられる。

安全な停止

jobsコマンドでバックグラウンド実行しているジョブを確認。先頭の, が ...