BERT 17 5月 2021 BERTに関するTIPS BERTを用いて文や単語から特徴抽出していると、取り出されたベクトルに出現する数字が、バッチサイズを示しているのか、トークン数を示しているのかなどが分からなくなってしまう。見覚えがあるが何の数字だった[…] 続きを読む
Python 9 3月 2021 リストの中で最も出現回数の多い要素を取り出す[collection.Counter] elems = c = collections.Counter(elems) l = list(c.keys()) selected = l print(selected) >> a[…] 続きを読む
NLP 9 3月 2021 Spacyで文から国名を取得 事前準備 pip install spacy python -m spacy download en_core_web_sm コード import spacy nlp = spacy.load("en[…] 続きを読む
Python 9 2月 2021 指数関数eを用いた数値表記 [Python] F1 scoreを計算する際など，分母にゼロが代入される可能性がある数式を記述する際は，数値リテラルを用いて微小な値を記述するのが便利． 例えば以下のように def calc_f1(d): d = d[…] 続きを読む
BERT 1 2月 2021 RuntimeError: The size of tensor a (1104) must match the size of tensor b (512) at non-singleton dimension 1 Hugging FaceのTransformersを使って，事前学習済モデルを読み込んで推定させるとタイトルのようなエラーがでることがある． このエラーはBERTにおけるトークン（サブワード）の最大長[…] 続きを読む
Python 25 1月 2021 Tensorflowをpipでインストールするときのエラー pip install tensorflow を実行した際， ERROR: Could not find a version that satisfies the requirement tensor[…] 続きを読む
Flair 24 1月 2021 OptunaでFlair NERのパラメーターチューニング とある仕事で，固有表現抽出器の性能をぎりぎりまで向上させる必要があったため，自作のコーパスに対してFlairでNERを学習し，Optunaでハイパーパラメータチューニングを行なった．本記事ではそのとき[…] 続きを読む
PyTorch 23 1月 2021 torch.saveとstate_dictの違い Pytorchで学習したモデルを保存する時は torch.save(model.state_dict(), model_path) でモデルを保存することが推奨される． state_dictがsave[…] 続きを読む
Python 23 1月 2021 AttributeError: ‘_IncompatibleKeys’ object has no attribute ‘to’ Pytorchを使っている時に出たエラー．これがでたときには，モデルの読み込みの順番でエラーが発生していることが多い．少し順番を変えてあげればケロっとエラーが解消されることが多い． よくあるエラーが，[…] 続きを読む
