Pytorchでモデルを実装する際のベース [自分用メモ]

BERTをfine-tuningする際のTips [自分用メモ]

AI SHIFT様が作成されたブログ記事が分かりやすかったので、筆者としての解釈を自分用メモとして残すことにする。
Kaggleで学んだBERTをfine-tuningする際のTips①〜学習効率化編〜 | 株式会社AI ...
MLP-Mixerに関する検証用コード

MLP-Mixerに関して、GitHub – rishikksh20/MLP-Mixer-pytorch: Unofficial implementation of MLP-Mixer: An all-MLP Archit ...
Weight Sharering (重み共有)の実装方法 [Pytorch]

Pytorchのチュートリアルから、weight sharering(重み共有)の実装方法を紹介する。
今回扱うのは以下のチュートリアルである。
Learning PyTorch with Examples — ...
ImportError: cannot import name ‘SAVE_STATE_WARNING’ from ‘torch.optim.lr_scheduler’

!pip install torch==1.4.0
ImportError: cannot import name deepcopy のエラーはcopy.pyが原因

pytorchのモデルを書いていて、何度かテストしていたのだが、突然、ImportError: cannot import name deepcopy というエラーがでて戸惑う。「torch ImportError: cannot i ...
Pytorchでのログの取り方

学習しているとエポックごとの誤差やテストデータセットでのF1 scoreなどを継続的に記録したいと思うことがある.
こんなときにはwriter.add_scalarを使うのが良い.
下記にサンプルコードを載せる ...
UserWarning: nn.functional.sigmoid is deprecated. Use torch.sigmoid instead.

nn.functional.sigmoidは重複しているため、現在のPytorch APIではサポートしていませんよ、という警告。
import torch.nn.functional as Fでインポートし、F.sigmoi ...
torch.saveとstate_dictの違い

Pytorchで学習したモデルを保存する時は
torch.save(model.state_dict(), model_path)でモデルを保存することが推奨される.
state_dictがsaveで直接保存す ...
AttributeError: ‘_IncompatibleKeys’ object has no attribute ‘to’

Pytorchを使っている時に出たエラー.これがでたときには,モデルの読み込みの順番でエラーが発生していることが多い.少し順番を変えてあげればケロっとエラーが解消されることが多い.
よくあるエラーが,.load_state ...