Python,PyTorch

Thumbnail of post image 046

乱数を発生させる前にtorch.manual_seedを置く

# 直前に置くtorch.manual_seed(42)nn.Parameter(torch.randn(1, 50 + 1, 768))>>Parameter co ...

PyTorch

Thumbnail of post image 178
from torch.autograd import Variable# Function to save the modeldef saveModel(): path = "./myFirstModel.pth" torch.save(m ...

BERT,PyTorch,Transformer

Thumbnail of post image 109

AI SHIFT様が作成されたブログ記事が分かりやすかったので、筆者としての解釈を自分用メモとして残すことにする。

Kaggleで学んだBERTをfine-tuningする際のTips①〜学習効率化編〜 | 株式会社AI ...

PyTorch

Thumbnail of post image 091

MLP-Mixerに関して、GitHub – rishikksh20/MLP-Mixer-pytorch: Unofficial implementation of MLP-Mixer: An all-MLP Archit ...

PyTorch

Thumbnail of post image 024

Pytorchのチュートリアルから、weight sharering(重み共有)の実装方法を紹介する。

今回扱うのは以下のチュートリアルである。

Learning PyTorch with Examples — ...

Python,PyTorch

Thumbnail of post image 173

pytorchのモデルを書いていて、何度かテストしていたのだが、突然、ImportError: cannot import name deepcopy というエラーがでて戸惑う。「torch ImportError: cannot i ...

PyTorch,Tensorflow

Thumbnail of post image 052

学習しているとエポックごとの誤差やテストデータセットでのF1 scoreなどを継続的に記録したいと思うことがある.

こんなときにはwriter.add_scalarを使うのが良い.

下記にサンプルコードを載せる ...

PyTorch

Thumbnail of post image 162

nn.functional.sigmoidは重複しているため、現在のPytorch APIではサポートしていませんよ、という警告。
import torch.nn.functional as Fでインポートし、F.sigmoi ...

PyTorch

Thumbnail of post image 123

Pytorchで学習したモデルを保存する時は

torch.save(model.state_dict(), model_path)

でモデルを保存することが推奨される.

state_dictがsaveで直接保存す ...