Python

Thumbnail of post image 174
elems = c = collections.Counter(elems)l = list(c.keys())selected = lprint(selected)>>a

NLP,Spacy

Thumbnail of post image 197

事前準備

pip install spacy

python -m spacy download en_core_web_sm

コードimport spacynlp = spacy.load("en_core_web_s ...

Python

Thumbnail of post image 023

F1 scoreを計算する際など,分母にゼロが代入される可能性がある数式を記述する際は,数値リテラルを用いて微小な値を記述するのが便利.

例えば以下のように

def calc_f1(d): d = d/(d + d ...

BERT,Flair

Thumbnail of post image 050

Hugging FaceのTransformersを使って,事前学習済モデルを読み込んで推定させるとタイトルのようなエラーがでることがある.

このエラーはBERTにおけるトークン(サブワード)の最大長512を超えた文が入力 ...

Python,Tensorflow

Thumbnail of post image 169

pip install tensorflow

を実行した際,

ERROR: Could not find a version that satisfies the requirement tensorflow

Flair,Optuna,Python

Thumbnail of post image 038

とある仕事で,固有表現抽出器の性能をぎりぎりまで向上させる必要があったため,自作のコーパスに対してFlairでNERを学習し,Optunaでハイパーパラメータチューニングを行なった.本記事ではそのときのコードを示す.

Em ...

PyTorch

Thumbnail of post image 085

Pytorchで学習したモデルを保存する時は

torch.save(model.state_dict(), model_path)

でモデルを保存することが推奨される.

state_dictがsaveで直接保存す ...

Python,PyTorch

Thumbnail of post image 069

Pytorchを使っている時に出たエラー.これがでたときには,モデルの読み込みの順番でエラーが発生していることが多い.少し順番を変えてあげればケロっとエラーが解消されることが多い.

よくあるエラーが,.load_state ...

Python

Thumbnail of post image 030

エラー

ModuleNotFoundError: No module named ‘flair.embeddings.token’; ‘flair.embeddings’ i ...