ELECTRA 13 1月 2021 ELECTRAをTPUで事前学習 [GCP] GCP経由でTPUを利用することによって,ELECTRAの事前学習を実行する方法を紹介. 必要なサービス Compute EngineCloud TPUCloud Storage 手順 Cloud S[…] 続きを読む
ELECTRA 10 9月 2020 ELECTRAのpre-trainingを自作データで行う 前準備 この記事は、一つ前の記事の続きとして書きます。 前提条件として、一つ前の記事に沿って、openwebtextをダウンロードし、build_openwebtext_pretraining_dat[…] 続きを読む
ELECTRA 10 9月 2020 ELECTRAのpre-trainingを実行 前準備 Tensorflow(GPU版)をpipでインストール。pipのバージョン違いで混乱することがあるため、私はpython -m pipでインストールした。バージョンは1.15にすること。 py[…] 続きを読む