wav2vecで用いられるロス関数に関して
Facebook(現メタ) AIが公開した新しい音声フレームワークwav2vecに関して、ロス関数にフォーカスをあてた説明を行う。
wav2vec 2.0: A Framework for Self-Supervised ...
Weight Sharering (重み共有)の実装方法 [Pytorch]
Pytorchのチュートリアルから、weight sharering（重み共有）の実装方法を紹介する。
今回扱うのは以下のチュートリアルである。
Learning PyTorch with Examples — ...
KLとJS Divergenceの違い
KL(Kullback-Leibler) divergenceと Jensen-Shannon(JS) divergenceは、２つの確率分布の類似性を知るための指標である。
KL divergenceは以下の式で得られ、 ...
Mode droppingとは？ [深層学習][GAN]
画像のいくつかの表現しにくいモードがGeneratorに無視されてしまうこと。前回の記事で説明したモード崩壊(Mode dropping)と近いGANの失敗原因となる。
モード崩壊と比べて解説記事が少ないため、筆者の推測込 ...
モード崩壊(Mode Collapse)とは？ [深層学習][GAN]
GANが変化に乏しいイメージを生成すること。多くの変化に乏しい複製（モード）を生成するため、モード崩壊（Mode Collapse）と呼ばれている。
モード崩壊に陥った場合、まず試すのはGANの学習率を調整することである。 ...
Pruningとは？ [深層学習]
ニューラルネットワークの重みの一部を取り除くことでパラメータ数や計算量を削減すること
Han, S., Pool, J., Tran, J., and Dally, W. Learning both weights and co ...バックグラウンド実行したプログラムを停止する方法
nohup python *.py& などでバックグラウンド実行した後にプログラムを停止する場合、以下の二通りの方法が考えられる。
安全な停止jobsコマンドでバックグラウンド実行しているジョブを確認。先頭の, が ...
IEEE Accessへの投稿で躓いた点
IEEE Accessへ投稿した際，システムが使いにくくて原稿のアップロードに苦労したため，ここに備忘録を残す．
IEEE Accessは査読が早いことで有名なジャーナルで大体１か月半ほどで結果が返ってくる．また，IEEE ...
yamlによる引数読み込みを改善
Pythonを実行する際の引数指定は，以下のようにyamlで行うのが効率が良いとされている．
# yamlファイルの準備（ここは普通手動で行う）content = "batch_size: 16\nwidth: 224\nhei ...文章要約のPegasusを動かそうとしたときに起きたエラー
huggingfaceで提供されている文章要約モデルPegasusを下記ドキュメント通り動かそうとすると
TypeError: ‘NoneType’ object is not callable