Pytorchでモデルを実装する際のベース [自分用メモ]
BERTをfine-tuningする際のTips [自分用メモ]
AI SHIFT様が作成されたブログ記事が分かりやすかったので、筆者としての解釈を自分用メモとして残すことにする。
Kaggleで学んだBERTをfine-tuningする際のTips①〜学習効率化編〜 | 株式会社AI ...
MLP-Mixerに関する検証用コード
MLP-Mixerに関して、GitHub – rishikksh20/MLP-Mixer-pytorch: Unofficial implementation of MLP-Mixer: An all-MLP Archit ...
Weight Sharering (重み共有)の実装方法 [Pytorch]
Pytorchのチュートリアルから、weight sharering（重み共有）の実装方法を紹介する。
今回扱うのは以下のチュートリアルである。
Learning PyTorch with Examples — ...
ImportError: cannot import name ‘SAVE_STATE_WARNING’ from ‘torch.optim.lr_scheduler’
!pip install torch==1.4.0
ImportError: cannot import name deepcopy のエラーはcopy.pyが原因
pytorchのモデルを書いていて、何度かテストしていたのだが、突然、ImportError: cannot import name deepcopy というエラーがでて戸惑う。「torch ImportError: cannot i ...
Pytorchでのログの取り方
学習しているとエポックごとの誤差やテストデータセットでのF1 scoreなどを継続的に記録したいと思うことがある．
こんなときにはwriter.add_scalarを使うのが良い．
下記にサンプルコードを載せる ...
UserWarning: nn.functional.sigmoid is deprecated. Use torch.sigmoid instead.
nn.functional.sigmoidは重複しているため、現在のPytorch APIではサポートしていませんよ、という警告。
import torch.nn.functional as Fでインポートし、F.sigmoi ...
torch.saveとstate_dictの違い
Pytorchで学習したモデルを保存する時は
torch.save(model.state_dict(), model_path)でモデルを保存することが推奨される．
state_dictがsaveで直接保存す ...
AttributeError: ‘_IncompatibleKeys’ object has no attribute ‘to’
Pytorchを使っている時に出たエラー．これがでたときには，モデルの読み込みの順番でエラーが発生していることが多い．少し順番を変えてあげればケロっとエラーが解消されることが多い．
よくあるエラーが，.load_state ...