ELMoEmbeddingsのときはallennlp==0.9.0
NLPフレームワークのFlairでELMoの言語モデルを使おうとすると、from flair.embeddings import ELMoEmbeddingsをして関数を呼び出す必要があるのだが、allennlpがインストールされてい ...
なぜBERTの隠れ層の次元が768なのか？
BERTを用いて文や単語から特徴抽出していると、取り出されたベクトルに出現する数字が、バッチサイズを示しているのか、トークン数を示しているのかなどが分からなくなってしまう。見覚えがあるが何の数字だったか混乱した場合は、「BERT 76 ...
WordPress 初期パスワードを表示
cat ./bitnami_credentials
リストの中で最も出現回数の多い要素を取り出す[collection.Counter]
Spacyで文から国名を取得
pip install spacy
python -m spacy download en_core_web_sm
コードimport spacynlp = spacy.load("en_core_web_s ...指数関数eを用いた数値表記 [Python]
F1 scoreを計算する際など，分母にゼロが代入される可能性がある数式を記述する際は，数値リテラルを用いて微小な値を記述するのが便利．
例えば以下のように
def calc_f1(d): d = d/(d + d ...RuntimeError: The size of tensor a (1104) must match the size of tensor b (512) at non-singleton dimension 1
Hugging FaceのTransformersを使って，事前学習済モデルを読み込んで推定させるとタイトルのようなエラーがでることがある．
このエラーはBERTにおけるトークン（サブワード）の最大長512を超えた文が入力 ...
Tensorflowをpipでインストールするときのエラー
pip install tensorflow
を実行した際，
ERROR: Could not find a version that satisfies the requirement tensorflow
OptunaでFlair NERのパラメーターチューニング
とある仕事で，固有表現抽出器の性能をぎりぎりまで向上させる必要があったため，自作のコーパスに対してFlairでNERを学習し，Optunaでハイパーパラメータチューニングを行なった．本記事ではそのときのコードを示す．
Em ...
torch.saveとstate_dictの違い
Pytorchで学習したモデルを保存する時は
torch.save(model.state_dict(), model_path)でモデルを保存することが推奨される．
state_dictがsaveで直接保存す ...