BERT 1 2月 2021 RuntimeError: The size of tensor a (1104) must match the size of tensor b (512) at non-singleton dimension 1 Hugging FaceのTransformersを使って，事前学習済モデルを読み込んで推定させるとタイトルのようなエラーがでることがある． このエラーはBERTにおけるトークン（サブワード）の最大長[…] 続きを読む
Flair 24 1月 2021 OptunaでFlair NERのパラメーターチューニング とある仕事で，固有表現抽出器の性能をぎりぎりまで向上させる必要があったため，自作のコーパスに対してFlairでNERを学習し，Optunaでハイパーパラメータチューニングを行なった．本記事ではそのとき[…] 続きを読む
Flair 15 12月 2020 Flairのtraining.logからmicro recallとprecisionを算出するコード FlairでNERを実施した際，training.logというのが出力されるのだが，これにはmicro F1は載っているが，micro recallとprecisionは載っていない．このため，ログフ[…] 続きを読む
Flair 19 11月 2020 FlairでサクッとNERを実行するコード [Python] from flair.data import Corpus from flair.datasets import ColumnCorpus from flair.models import Seque[…] 続きを読む
Flair 19 11月 2020 Flair trainer.trainのパラメータ一覧 [Python] """Trains any class that implements the flair.nn.Model interface.:param base_path: Main path to whic[…] 続きを読む
Flair 15 11月 2020 Flairで文をembedding from flair.data import Sentence from flair.embeddings import CharacterEmbeddings # init embedding em[…] 続きを読む
Flair 13 11月 2020 FlairでELMoをEmbeddingとして使う from flair.data import Corpus from flair.embeddings import TokenEmbeddings, WordEmbeddings, StackedE[…] 続きを読む
Flair 13 11月 2020 Flairのtag_dictionaryをハードコーディングで入力 datapath = "/path/to/BIO" # train.tsv, test.tsv, devel.tsvが入っているフォルダ corpus: Corpus = loadCorpus(dat[…] 続きを読む
Flair 5 3月 2020 自作ELMoで単語をEmbeddingした後，Numpyに戻す[Flair][NLP] from flair.embeddings import ELMoEmbeddings from flair.data import Sentence # ELMoのモデルは各自で用意 options[…] 続きを読む
Flair 24 1月 2020 Flairで自前のELMoモデルを読み込む方法[Flair] from flair.embeddings import ELMoEmbeddings from flair.data import Sentence sentence = Sentence(phra[…] 続きを読む
![FlairでサクッとNERを実行するコード [Python]](https://i2.wp.com/vasteelab.com/wp-content/uploads/2020/07/piotr-wilk-Kc-OBw1fMJg-unsplash.jpg?fit=640%2C426&ssl=1 "FlairでサクッとNERを実行するコード [Python]")
![Flair trainer.trainのパラメータ一覧 [Python]](https://i0.wp.com/vasteelab.com/wp-content/uploads/2020/07/brooke-lark-HlNcigvUi4Q-unsplash.jpg?fit=640%2C427&ssl=1 "Flair trainer.trainのパラメータ一覧 [Python]")
![自作ELMoで単語をEmbeddingした後，Numpyに戻す[Flair][NLP]](https://i2.wp.com/vasteelab.com/wp-content/uploads/2020/07/debby-hudson-hWVVtG0d8jM-unsplash.jpg?fit=640%2C424&ssl=1 "自作ELMoで単語をEmbeddingした後，Numpyに戻す[Flair][NLP]")
![Flairで自前のELMoモデルを読み込む方法[Flair]](https://i1.wp.com/vasteelab.com/wp-content/uploads/2020/07/bram-van-oost-6WvZo5FOxww-unsplash.jpg?fit=640%2C427&ssl=1 "Flairで自前のELMoモデルを読み込む方法[Flair]")