日本語のトークナイザを読み込む[Flair]
バージョンによって読み込み方が異なるため，注意が必要
新しいバージョンでの読み込み方
from flair.tokenization import JapaneseTokenizer
tokenizer = JapaneseTokenizer("janome")
古いバージョンでの読み込み方
from flair.data import build_japanese_tokenizer japanese_tokenizer = build_japanese_tokenizer(tokenizer="MeCab")