Python

生データを処理しているとよく遭遇する複数のスペースを含む文章．

２つ以上のスペースを1つにしたいときは以下のコマンド

' '.join(mystring.split())

from flair.data import Corpusfrom flair.datasets import ColumnCorpusfrom flair.models import SequenceTaggerfrom flair.tr ...

エラーに遭遇

pip install mod_wsgiを実行すると，以下のようなエラーがでた

ERROR: Command errored out with exit status 1: command:/home/ubuntu/ ...

# 現状確認pyenv versions>>* 3.8.6>>system (set by/home/ubuntu/.pyenv/version)# pythonの環境を元のsystemのものに戻すpyenv global system# ...

“””
Trains any class that implements the flair.nn.Model interface.
:param base_path: Main p ...

Traceback (most recent call last):
File “/home/ubuntu/script/train.py”, line 1, in
from flair.dat ...

pip install tokenizersfrom tokenizers import BertWordPieceTokenizerfrom glob import globimport jsontxt_path = '/path/to/ ...

Cloud9やSpyderなどのIDEを使っていると、PYTHON PATHを求められることがあるので、これを調べる方法を紹介

調べる方法は簡単で、現在使っているpythonで以下を入力するだけ

python -m ...

前準備

この記事は、一つ前の記事の続きとして書きます。

前提条件として、一つ前の記事に沿って、openwebtextをダウンロードし、build_openwebtext_pretraining_dataset.py を実行し ...

前準備

Tensorflow(GPU版)をpipでインストール。pipのバージョン違いで混乱することがあるため、私はpython -m pipでインストールした。バージョンは1.15にすること。

python -m pip ins ...