ELECTRAをTPUで事前学習 [GCP]
GCP経由でTPUを利用することによって,ELECTRAの事前学習を実行する方法を紹介.
必要なサービスCompute EngineCloud TPU
Cloud Storage
手順Cloud Shell ...
S3からCloud Storageへのコピー [GCP]
AWS S3にアクセスするためのセキュリティキーをもっていること
設定ファイルの生成と編集
まずは以下のコマンドでオプション変更を行う ...
GCPでインスタンスを作成 [初心者向け]
GCPでインスタンスをたてるまでの手順を紹介.
Compute Engineでインスタンスの作成Compute EngineはAWSでいうところのEC2インスタンスにあたり,機械学習のアプリケーションを動かすためのサーバー ...
AWS EC2でinsufficient errorがでたときの対処法について
AWS EC2を使っていると以下のように”insufficient capacity”エラーがでて起動が失敗することがある.
これは,AWSにおけるインスタンスの容量が上限に達したことが原因で発生す ...
TPUが何を改善したかを知るための資料
一言で説明すると,フォン・ノイマン・ボトルネックを大幅に軽減したことで計算効率が改善されている,という説明になる.
詳しい仕組みはわかっていないため,今後調査していく.
本記事では,大まかな説明が載っているサイ ...
Flairのtraining.logからmicro recallとprecisionを算出するコード
FlairでNERを実施した際,training.logというのが出力されるのだが,これにはmicro F1は載っているが,micro recallとprecisionは載っていない.このため,ログファイルからTP, FP, FNを読 ...
文字列に含まれる複数のスペースを1つに置換
生データを処理しているとよく遭遇する複数のスペースを含む文章.
2つ以上のスペースを1つにしたいときは以下のコマンド
' '.join(mystring.split())Redshift vs RDS vs DynamoDB vs Elastic Chche
・大量のデータの集計と分析を高速で行うデータウェアハウスです
・BIツールなどを使って企業活動のための分析などに使われます
・クラウド上のリレーショナルデータ ...
S3ストレージオプションの違い
Standard (標準) – よくアクセスされるデータ向けに設計されています
Standard-IA (標準-低頻度アクセス) – 長期保管で、あまりアクセスされないデータ向けに設計されています
One Zo ...