On-the-flyの意味 [技術スラング]

On-the-Fly Attention Modulation for Neural Generation
というタイトルの論文に遭遇。
アブストをDeepLで翻訳すると以下のようになった。
「深層 ...
“sledge hammer” approachの意味することは?[技術スラング]

Googleの提供する深層学習フレームワークFlaxのドキュメントを読んでいると“sledge hammer” approachという表現に遭遇。
Linen supports the capture of interme ...
MLP-Mixerに関する検証用コード

MLP-Mixerに関して、GitHub – rishikksh20/MLP-Mixer-pytorch: Unofficial implementation of MLP-Mixer: An all-MLP Archit ...
wav2vecで用いられるロス関数に関して

Facebook(現メタ) AIが公開した新しい音声フレームワークwav2vecに関して、ロス関数にフォーカスをあてた説明を行う。
wav2vec 2.0: A Framework for Self-Supervised ...
Weight Sharering (重み共有)の実装方法 [Pytorch]

Pytorchのチュートリアルから、weight sharering(重み共有)の実装方法を紹介する。
今回扱うのは以下のチュートリアルである。
Learning PyTorch with Examples — ...
KLとJS Divergenceの違い

KL(Kullback-Leibler) divergenceと Jensen-Shannon(JS) divergenceは、2つの確率分布の類似性を知るための指標である。
KL divergenceは以下の式で得られ、 ...
Mode droppingとは? [深層学習][GAN]

画像のいくつかの表現しにくいモードがGeneratorに無視されてしまうこと。前回の記事で説明したモード崩壊(Mode dropping)と近いGANの失敗原因となる。
モード崩壊と比べて解説記事が少ないため、筆者の推測込 ...
モード崩壊(Mode Collapse)とは? [深層学習][GAN]

GANが変化に乏しいイメージを生成すること。多くの変化に乏しい複製(モード)を生成するため、モード崩壊(Mode Collapse)と呼ばれている。
モード崩壊に陥った場合、まず試すのはGANの学習率を調整することである。 ...
Pruningとは? [深層学習]

ニューラルネットワークの重みの一部を取り除くことでパラメータ数や計算量を削減すること
Han, S., Pool, J., Tran, J., and Dally, W. Learning both weights and co ...バックグラウンド実行したプログラムを停止する方法

nohup python *.py& などでバックグラウンド実行した後にプログラムを停止する場合、以下の二通りの方法が考えられる。
安全な停止jobsコマンドでバックグラウンド実行しているジョブを確認。先頭の, が ...