ELECTRAをTPUで事前学習 [GCP]

GCP経由でTPUを利用することによって,ELECTRAの事前学習を実行する方法を紹介.
必要なサービスCompute EngineCloud TPU
Cloud Storage
手順Cloud Shell ...
ELECTRAのpre-trainingを自作データで行う

前準備
この記事は、一つ前の記事の続きとして書きます。
前提条件として、一つ前の記事に沿って、openwebtextをダウンロードし、build_openwebtext_pretraining_dataset.py を実行し ...
ELECTRAのpre-trainingを実行

前準備
Tensorflow(GPU版)をpipでインストール。pipのバージョン違いで混乱することがあるため、私はpython -m pipでインストールした。バージョンは1.15にすること。
python -m pip ins ...