BERT,PyTorch,Transformer

Thumbnail of post image 168

AI SHIFT様が作成されたブログ記事が分かりやすかったので、筆者としての解釈を自分用メモとして残すことにする。

Kaggleで学んだBERTをfine-tuningする際のTips①〜学習効率化編〜 | 株式会社AI ...

BERT,Deep Learning

Thumbnail of post image 143

を参照すると，以下のようにBEiTから特徴を抽出するコードが書かれている．

from transformers import BeitFeatureExtractor, BeitModelfrom PIL import Imag ...

BERT,Huggingface

Thumbnail of post image 180

Hugging faceで文をTokenizeすると元の文のSpan情報が失われてしまう。これにより、NERでラベル付けしたトークンの位置をサブワード分割された文の中で見失ってしまうことがある。この困りごとを解決してくれるのが、ret ...

BERT

Thumbnail of post image 118

BERTを用いて文や単語から特徴抽出していると、取り出されたベクトルに出現する数字が、バッチサイズを示しているのか、トークン数を示しているのかなどが分からなくなってしまう。見覚えがあるが何の数字だったか混乱した場合は、「BERT 76 ...

BERT,Flair

Thumbnail of post image 165

Hugging FaceのTransformersを使って，事前学習済モデルを読み込んで推定させるとタイトルのようなエラーがでることがある．

このエラーはBERTにおけるトークン（サブワード）の最大長512を超えた文が入力 ...