閉じる

BERTのpre-trainingを実行 [2020/9版]

前準備

Tensorflow(GPU版)をpipでインストール。pipのバージョン違いで混乱することがあるため、私はpython -m pipでインストールした。バージョンは1.15にすること。

python -m pip install tensorflow-gpu==1.15

うまくいかないときは以下でインストール

python -m pip install tensorflow-gpu==1.15 --ignore-installed --user

gitでbertのリポジトリをクローン。

git clone https://github.com/google-research/bert

モデルのダウンロード。今回は、pre-trainingなので、モデル自体は必要ないのだが、モデルのzipファイル内に含まれているvocab.txtとbert_config.jsonを使うためにダウンロード。モデルは様々なサイズが提供されているが、今回はBERT-baseをダウンロード。

cd bert
wget https://storage.googleapis.com/bert_models/2020_02_20/uncased_L-12_H-768_A-12.zip
unzip uncased_L-12_H-768_A-12.zip

解凍すると、このzipの中に、vocab.txtとbert_config.jsonが入っているのが確認できるはずだ。

ディレクトリ構成は以下のようになった。

bert
├── bert_config.json
├── bert_model.ckpt.data-00000-of-00001
├── bert_model.ckpt.index
├── CONTRIBUTING.md
├── create_pretraining_data.py
├── extract_features.py
├── init.py
├── LICENSE
├── modeling.py
├── modeling_test.py
├── multilingual.md
├── optimization.py
├── optimization_test.py
├── predicting_movie_reviews_with_bert_on_tf_hub.ipynb
├── README.md
├── requirements.txt
├── run_classifier.py
├── run_classifier_with_tfhub.py
├── run_pretraining.py
├── run_squad.py
├── sample_text.txt
├── tokenization.py
├── tokenization_test.py
├── uncased_L-12_H-768_A-12.zip
└── vocab.txt

0 directories, 25 files

穴埋め問題を実行するためのファイル生成

create_pretraining_data.pyに以下の引数を付けて実行

python create_pretraining_data.py --input_file=./sample_text.txt --output_file=/tmp/tf_examples.tfrecord --vocab_file=./vocab.txt --do_lower_case=True --max_seq_length=128 --max_predictions_per_seq=20 --masked_lm_prob=0.15 --random_seed=12345 --dupe_factor=5

Pretrainingの実行

run_pretraining.pyに以下の引数を付けて実行。もしメモリのエラー(OOM)がでるときはtrain_batch_sizeの値を減らす。

python run_pretraining.py --input_file=/tmp/tf_examples.tfrecord --output_dir=/tmp/pretraining_output --do_train=True --do_eval=True --bert_config_file=./bert_config.json --init_checkpoint=./bert_model.ckpt --train_batch_size=32 --max_seq_length=128 --max_predictions_per_seq=20 --num_train_steps=20 --num_warmup_steps=10 --lerning_rate=2e-5

ここまで無事にできていれば、sample_text.txtでのpre-trainingが実行できるはずだ。

Pocket

コメントを残す

あなたのメールアドレスは公開されません。必須項目には印がついています *

© 2020 CV・NLP TIPS | WordPress Theme: Annina Free by CrestaProject.