VasteeLab

GCP経由でTPUを利用することによって，ELECTRAの事前学習を実行する方法を紹介．

必要なサービスCompute Engine
Cloud TPU
Cloud Storage
手順Cloud Shell ...

前提条件既にGoogle Cloud Platformでプロジェクトを作成されていること
AWS S3にアクセスするためのセキュリティキーをもっていること
設定ファイルの生成と編集

まずは以下のコマンドでオプション変更を行う ...

GCPでインスタンスをたてるまでの手順を紹介．

Compute Engineでインスタンスの作成

Compute EngineはAWSでいうところのEC2インスタンスにあたり，機械学習のアプリケーションを動かすためのサーバー ...

AWS EC2を使っていると以下のように”insufficient capacity”エラーがでて起動が失敗することがある．

これは，AWSにおけるインスタンスの容量が上限に達したことが原因で発生す ...

一言で説明すると，フォン・ノイマン・ボトルネックを大幅に軽減したことで計算効率が改善されている，という説明になる．

詳しい仕組みはわかっていないため，今後調査していく．

本記事では，大まかな説明が載っているサイ ...

FlairでNERを実施した際，training.logというのが出力されるのだが，これにはmicro F1は載っているが，micro recallとprecisionは載っていない．このため，ログファイルからTP, FP, FNを読 ...

生データを処理しているとよく遭遇する複数のスペースを含む文章．

２つ以上のスペースを1つにしたいときは以下のコマンド

' '.join(mystring.split())

SQLAmazon RedShift

・大量のデータの集計と分析を高速で行うデータウェアハウスです
・BIツールなどを使って企業活動のための分析などに使われます

Amazon RDS

・クラウド上のリレーショナルデータ ...

Standard (標準) – よくアクセスされるデータ向けに設計されています

Standard-IA (標準-低頻度アクセス) – 長期保管で、あまりアクセスされないデータ向けに設計されています

One Zo ...