PyTorchによるrandnでの乱数固定
乱数を発生させる前にtorch.manual_seedを置く
# 直前に置くtorch.manual_seed(42)nn.Parameter(torch.randn(1, 50 + 1, 768))>>Parameter co ...ViTで出力されるベクトルの次元の意味
Huggingfaceで下記コマンドを実行すると、ViTの最終層のベクトルが得られる
model = ViTModel.from_pretrained('google/vit-base-patch32-224-in21k', o ...日本語のトークナイザを読み込む[Flair]
バージョンによって読み込み方が異なるため，注意が必要
新しいバージョンでの読み込み方
from flair.tokenization import JapaneseTokenizertokenizer = Japan ...関数から関数名をstrで取得する方法 [Python]
models = for BenchmarkModel in models: runs = [] model_name = BenchmarkModel.__name__.replace('Model', '')
Pytorchでモデルを実装する際のベース [自分用メモ]
from torch.autograd import Variable# Function to save the modeldef saveModel(): path = "./myFirstModel.pth" torch.save(m ...
AWS lightsailにcertbotをインストールしLets encryptでSSL化[新規]
基本的には以下のAWSドキュメントに従うことになる．本記事では以下より実行コマンドを抜粋する形で手順を紹介．
Certbotをインストールするまでsudo apt-get updatesudo apt-get install s ...BERTをfine-tuningする際のTips [自分用メモ]
AI SHIFT様が作成されたブログ記事が分かりやすかったので、筆者としての解釈を自分用メモとして残すことにする。
Kaggleで学んだBERTをfine-tuningする際のTips①〜学習効率化編〜 | 株式会社AI ...
無料で閲覧可能なアメリカの経済指標データ [FRED]
投資をしていると，株価だけではなく，雇用統計やガソリン価格などを観察したいと思うことがあるだろう．そんなときはセントルイス連邦準備銀行の研究部門によって維持されている経済指標データ閲覧サイトFREDを使うと良い．
本記事で ...
JAXでGPUを使う
Pytorchだと.cuda()などでGPUを使うのだが、JAXの場合はpipインストール時にcudaのバージョンを指定することでGPUを使うことができる。
環境にインストールされているCUDAのバージョンが10.02の場 ...
On-the-flyの意味 [技術スラング]
On-the-Fly Attention Modulation for Neural Generation
というタイトルの論文に遭遇。
アブストをDeepLで翻訳すると以下のようになった。
「深層 ...