ELECTRA 13 1月 2021 ELECTRAをTPUで事前学習 [GCP] GCP経由でTPUを利用することによって，ELECTRAの事前学習を実行する方法を紹介． 必要なサービス Compute EngineCloud TPUCloud Storage 手順 Cloud S[…] 続きを読む
ELECTRA 10 9月 2020 ELECTRAのpre-trainingを自作データで行う 前準備 この記事は、一つ前の記事の続きとして書きます。 前提条件として、一つ前の記事に沿って、openwebtextをダウンロードし、build_openwebtext_pretraining_dat[…] 続きを読む
ELECTRA 10 9月 2020 ELECTRAのpre-trainingを実行 前準備 Tensorflow(GPU版)をpipでインストール。pipのバージョン違いで混乱することがあるため、私はpython -m pipでインストールした。バージョンは1.15にすること。 py[…] 続きを読む
![ELECTRAをTPUで事前学習 [GCP]](https://i2.wp.com/vasteelab.com/wp-content/uploads/2020/07/sambazon-qfIVXu7nxGU-unsplash.jpg?fit=640%2C427&ssl=1 "ELECTRAをTPUで事前学習 [GCP]")
