ELECTRA,Google Cloud Platform,Tensorflow

Thumbnail of post image 126

GCP経由でTPUを利用することによって,ELECTRAの事前学習を実行する方法を紹介.

必要なサービスCompute Engine
Cloud TPU
Cloud Storage
手順Cloud Shell ...

ELECTRA,Python

Thumbnail of post image 037
前準備

この記事は、一つ前の記事の続きとして書きます。

前提条件として、一つ前の記事に沿って、openwebtextをダウンロードし、build_openwebtext_pretraining_dataset.py を実行し ...

ELECTRA,NLP

Thumbnail of post image 109
前準備

Tensorflow(GPU版)をpipでインストール。pipのバージョン違いで混乱することがあるため、私はpython -m pipでインストールした。バージョンは1.15にすること。

python -m pip ins ...