JAXでGPUを使う
Pytorchだと.cuda()などでGPUを使うのだが、JAXの場合はpipインストール時にcudaのバージョンを指定することでGPUを使うことができる。
環境にインストールされているCUDAのバージョンが10.02の場 ...
On-the-flyの意味 [技術スラング]
On-the-Fly Attention Modulation for Neural Generation
というタイトルの論文に遭遇。
アブストをDeepLで翻訳すると以下のようになった。
「深層 ...
“sledge hammer” approachの意味することは？[技術スラング]
Googleの提供する深層学習フレームワークFlaxのドキュメントを読んでいると“sledge hammer” approachという表現に遭遇。
Linen supports the capture of interme ...
MLP-Mixerに関する検証用コード
MLP-Mixerに関して、GitHub – rishikksh20/MLP-Mixer-pytorch: Unofficial implementation of MLP-Mixer: An all-MLP Archit ...
wav2vecで用いられるロス関数に関して
Facebook(現メタ) AIが公開した新しい音声フレームワークwav2vecに関して、ロス関数にフォーカスをあてた説明を行う。
wav2vec 2.0: A Framework for Self-Supervised ...
Weight Sharering (重み共有)の実装方法 [Pytorch]
Pytorchのチュートリアルから、weight sharering（重み共有）の実装方法を紹介する。
今回扱うのは以下のチュートリアルである。
Learning PyTorch with Examples — ...
KLとJS Divergenceの違い
KL(Kullback-Leibler) divergenceと Jensen-Shannon(JS) divergenceは、２つの確率分布の類似性を知るための指標である。
KL divergenceは以下の式で得られ、 ...
Mode droppingとは？ [深層学習][GAN]
画像のいくつかの表現しにくいモードがGeneratorに無視されてしまうこと。前回の記事で説明したモード崩壊(Mode dropping)と近いGANの失敗原因となる。
モード崩壊と比べて解説記事が少ないため、筆者の推測込 ...
モード崩壊(Mode Collapse)とは？ [深層学習][GAN]
GANが変化に乏しいイメージを生成すること。多くの変化に乏しい複製（モード）を生成するため、モード崩壊（Mode Collapse）と呼ばれている。
モード崩壊に陥った場合、まず試すのはGANの学習率を調整することである。 ...
Pruningとは？ [深層学習]
ニューラルネットワークの重みの一部を取り除くことでパラメータ数や計算量を削減すること
Han, S., Pool, J., Tran, J., and Dally, W. Learning both weights and co ...