BERTをfine-tuningする際のTips [自分用メモ]
AI SHIFT様が作成されたブログ記事が分かりやすかったので、筆者としての解釈を自分用メモとして残すことにする。
Kaggleで学んだBERTをfine-tuningする際のTips①〜学習効率化編〜 | 株式会社AI ...
無料で閲覧可能なアメリカの経済指標データ [FRED]
投資をしていると，株価だけではなく，雇用統計やガソリン価格などを観察したいと思うことがあるだろう．そんなときはセントルイス連邦準備銀行の研究部門によって維持されている経済指標データ閲覧サイトFREDを使うと良い．
本記事で ...
JAXでGPUを使う
Pytorchだと.cuda()などでGPUを使うのだが、JAXの場合はpipインストール時にcudaのバージョンを指定することでGPUを使うことができる。
環境にインストールされているCUDAのバージョンが10.02の場 ...
On-the-flyの意味 [技術スラング]
On-the-Fly Attention Modulation for Neural Generation
というタイトルの論文に遭遇。
アブストをDeepLで翻訳すると以下のようになった。
「深層 ...
“sledge hammer” approachの意味することは？[技術スラング]
Googleの提供する深層学習フレームワークFlaxのドキュメントを読んでいると“sledge hammer” approachという表現に遭遇。
Linen supports the capture of interme ...
MLP-Mixerに関する検証用コード
MLP-Mixerに関して、GitHub – rishikksh20/MLP-Mixer-pytorch: Unofficial implementation of MLP-Mixer: An all-MLP Archit ...
wav2vecで用いられるロス関数に関して
Facebook(現メタ) AIが公開した新しい音声フレームワークwav2vecに関して、ロス関数にフォーカスをあてた説明を行う。
wav2vec 2.0: A Framework for Self-Supervised ...
Weight Sharering (重み共有)の実装方法 [Pytorch]
Pytorchのチュートリアルから、weight sharering（重み共有）の実装方法を紹介する。
今回扱うのは以下のチュートリアルである。
Learning PyTorch with Examples — ...
KLとJS Divergenceの違い
KL(Kullback-Leibler) divergenceと Jensen-Shannon(JS) divergenceは、２つの確率分布の類似性を知るための指標である。
KL divergenceは以下の式で得られ、 ...
Mode droppingとは？ [深層学習][GAN]
画像のいくつかの表現しにくいモードがGeneratorに無視されてしまうこと。前回の記事で説明したモード崩壊(Mode dropping)と近いGANの失敗原因となる。
モード崩壊と比べて解説記事が少ないため、筆者の推測込 ...