BERTをfine-tuningする際のTips [自分用メモ]
AI SHIFT様が作成されたブログ記事が分かりやすかったので、筆者としての解釈を自分用メモとして残すことにする。
Kaggleで学んだBERTをfine-tuningする際のTips①〜学習効率化編〜 | 株式会社AI ...
無料で閲覧可能なアメリカの経済指標データ [FRED]
投資をしていると，株価だけではなく，雇用統計やガソリン価格などを観察したいと思うことがあるだろう．そんなときはセントルイス連邦準備銀行の研究部門によって維持されている経済指標データ閲覧サイトFREDを使うと良い．
本記事で ...
JAXでGPUを使う
Pytorchだと.cuda()などでGPUを使うのだが、JAXの場合はpipインストール時にcudaのバージョンを指定することでGPUを使うことができる。
環境にインストールされているCUDAのバージョンが10.02の場 ...
On-the-flyの意味 [技術スラング]
On-the-Fly Attention Modulation for Neural Generation
というタイトルの論文に遭遇。
アブストをDeepLで翻訳すると以下のようになった。
「深層 ...
“sledge hammer” approachの意味することは？[技術スラング]
Googleの提供する深層学習フレームワークFlaxのドキュメントを読んでいると“sledge hammer” approachという表現に遭遇。
Linen supports the capture of interme ...
MLP-Mixerに関する検証用コード
MLP-Mixerに関して、GitHub – rishikksh20/MLP-Mixer-pytorch: Unofficial implementation of MLP-Mixer: An all-MLP Archit ...
wav2vecで用いられるロス関数に関して
Facebook(現メタ) AIが公開した新しい音声フレームワークwav2vecに関して、ロス関数にフォーカスをあてた説明を行う。
wav2vec 2.0: A Framework for Self-Supervised ...