NLP

自然言語で書かれたテキストの前処理として、“I, you, we, am, are” など、一般的に用いられるトークン (Stop word) や、数字や、句読点などを除去することがある。この前処理には、Gen ...

NER(固有表現抽出)の評価の際によくでてくるCoNLL-2003.

データセットを眺めていると, 単語の横にPRP や B-NP, O などの記号が付いている.

これってどういう意味なの? と思ったので調べて ...

本記事は，2018秋にバズった汎用言語モデルBERTをとりあえずつかってみたときのレポートである．

このBERTというモデルをpre-trainingに用いると，様々なNLPタスクで高精度がでるようだ．詳細に関しては以下の ...

長文を生成可能なLeakGANをインストールし，サンプルを動かしてみたのでメモ．本記事では，dockerで作成したコンテナ上でサンプルを動かす手順について紹介．

まずはnvidia-docker2で動作環境を用意する．

品詞が日本語でまとめられているので分かりやすい．

www.ibm.com

BIO Tagは Entity Recognition や Semantic Role Labeling のタスクなどで単語につけるタグとして用いられ, それぞれの文字に以下の意味がある.

B: ‘beginn ...