TransformerでTokenizeしたSpanを入力文から特定
![Thumbnail of post image 194](https://i0.wp.com/vasteelab.com/wp-content/uploads/2020/07/izabelle-acheson-aolXWwy-DiY-unsplash.jpg?resize=150%2C150&ssl=1)
Hugging faceで文をTokenizeすると元の文のSpan情報が失われてしまう。これにより、NERでラベル付けしたトークンの位置をサブワード分割された文の中で見失ってしまうことがある。この困りごとを解決してくれるのが、ret ...
画像処理や自然言語処理などのハマりどころをまとめます
Hugging faceで文をTokenizeすると元の文のSpan情報が失われてしまう。これにより、NERでラベル付けしたトークンの位置をサブワード分割された文の中で見失ってしまうことがある。この困りごとを解決してくれるのが、ret ...