時系列予測にTransformerを適用する際の勘所
Enhancing the Locality and Breaking the Memory Bottleneck of Transformer on Time Series Forecasting からTransformerを時系 ...
ViTで出力されるベクトルの次元の意味
Huggingfaceで下記コマンドを実行すると、ViTの最終層のベクトルが得られる
model = ViTModel.from_pretrained('google/vit-base-patch32-224-in21k', o ...BERTをfine-tuningする際のTips [自分用メモ]
AI SHIFT様が作成されたブログ記事が分かりやすかったので、筆者としての解釈を自分用メモとして残すことにする。
Kaggleで学んだBERTをfine-tuningする際のTips①〜学習効率化編〜 | 株式会社AI ...
wav2vecで用いられるロス関数に関して
Facebook(現メタ) AIが公開した新しい音声フレームワークwav2vecに関して、ロス関数にフォーカスをあてた説明を行う。
wav2vec 2.0: A Framework for Self-Supervised ...