BERT 20 5月 2021 TransformerでTokenizeしたSpanを入力文から特定 Hugging faceで文をTokenizeすると元の文のSpan情報が失われてしまう。これにより、NERでラベル付けしたトークンの位置をサブワード分割された文の中で見失ってしまうことがある。この困[…] 続きを読む
BERT 17 5月 2021 BERTに関するTIPS BERTを用いて文や単語から特徴抽出していると、取り出されたベクトルに出現する数字が、バッチサイズを示しているのか、トークン数を示しているのかなどが分からなくなってしまう。見覚えがあるが何の数字だった[…] 続きを読む
BERT 1 2月 2021 RuntimeError: The size of tensor a (1104) must match the size of tensor b (512) at non-singleton dimension 1 Hugging FaceのTransformersを使って，事前学習済モデルを読み込んで推定させるとタイトルのようなエラーがでることがある． このエラーはBERTにおけるトークン（サブワード）の最大長[…] 続きを読む
