Transformer

Thumbnail of post image 139

Enhancing the Locality and Breaking the Memory Bottleneck of Transformer on Time Series Forecasting  からTransformerを時系 ...

Transformer

Thumbnail of post image 014

Huggingfaceで下記コマンドを実行すると、ViTの最終層のベクトルが得られる

model = ViTModel.from_pretrained('google/vit-base-patch32-224-in21k', o ...

BERT,PyTorch,Transformer

Thumbnail of post image 119

AI SHIFT様が作成されたブログ記事が分かりやすかったので、筆者としての解釈を自分用メモとして残すことにする。

Kaggleで学んだBERTをfine-tuningする際のTips①〜学習効率化編〜 | 株式会社AI ...

Transformer

Thumbnail of post image 096

Facebook(現メタ) AIが公開した新しい音声フレームワークwav2vecに関して、ロス関数にフォーカスをあてた説明を行う。

wav2vec 2.0: A Framework for Self-Supervised ...