ELECTRA

GCP経由でTPUを利用することによって，ELECTRAの事前学習を実行する方法を紹介．

必要なサービスCompute Engine
Cloud TPU
Cloud Storage
手順Cloud Shell ...

前準備

この記事は、一つ前の記事の続きとして書きます。

前提条件として、一つ前の記事に沿って、openwebtextをダウンロードし、build_openwebtext_pretraining_dataset.py を実行し ...

前準備

Tensorflow(GPU版)をpipでインストール。pipのバージョン違いで混乱することがあるため、私はpython -m pipでインストールした。バージョンは1.15にすること。

python -m pip ins ...