VasteeLab

NLPフレームワークのFlairでELMoの言語モデルを使おうとすると、from flair.embeddings import ELMoEmbeddingsをして関数を呼び出す必要があるのだが、allennlpがインストールされてい ...

BERTを用いて文や単語から特徴抽出していると、取り出されたベクトルに出現する数字が、バッチサイズを示しているのか、トークン数を示しているのかなどが分からなくなってしまう。見覚えがあるが何の数字だったか混乱した場合は、「BERT 76 ...

cat ./bitnami_credentials

elems = c = collections.Counter(elems)l = list(c.keys())selected = lprint(selected)>>a

事前準備

pip install spacy

python -m spacy download en_core_web_sm

コードimport spacynlp = spacy.load("en_core_web_s ...

F1 scoreを計算する際など，分母にゼロが代入される可能性がある数式を記述する際は，数値リテラルを用いて微小な値を記述するのが便利．

例えば以下のように

def calc_f1(d): d = d/(d + d ...

Hugging FaceのTransformersを使って，事前学習済モデルを読み込んで推定させるとタイトルのようなエラーがでることがある．

このエラーはBERTにおけるトークン（サブワード）の最大長512を超えた文が入力 ...

pip install tensorflow

を実行した際，

ERROR: Could not find a version that satisfies the requirement tensorflow

とある仕事で，固有表現抽出器の性能をぎりぎりまで向上させる必要があったため，自作のコーパスに対してFlairでNERを学習し，Optunaでハイパーパラメータチューニングを行なった．本記事ではそのときのコードを示す．

Em ...

Pytorchで学習したモデルを保存する時は

torch.save(model.state_dict(), model_path)

でモデルを保存することが推奨される．

state_dictがsaveで直接保存す ...