Python 19 1月 2021 サポート外の引数が入ってきたときの例外処理 [Python] スクリプトに一行挿入する.この場合,変数hogeに括弧内以外の文字列が入っているときにエラーをだす. assert hoge in ("hogeA", "hogeB", "hogeC")[…] 続きを読む
Python 19 1月 2021 yamlとdocoptを利用した引数指定 [Python] 個人的に,入出力をdocoptを記述し,コンフィグ情報はyamlを使って引数として取り込むのが好きなので,そのスクリプトについてメモしておく.decoptの記述では,空行を設けることが重要なので,必要[…] 続きを読む
ELECTRA 13 1月 2021 ELECTRAをTPUで事前学習 [GCP] GCP経由でTPUを利用することによって,ELECTRAの事前学習を実行する方法を紹介. 必要なサービス Compute EngineCloud TPUCloud Storage 手順 Cloud S[…] 続きを読む
Google Cloud Platform 9 1月 2021 S3からCloud Storageへのコピー [GCP] 前提条件 既にGoogle Cloud Platformでプロジェクトを作成されていることAWS S3にアクセスするためのセキュリティキーをもっていること 設定ファイルの生成と編集 まずは以下のコマン[…] 続きを読む
Google Cloud Platform 9 1月 2021 GCPでインスタンスを作成 [初心者向け] GCPでインスタンスをたてるまでの手順を紹介. Compute Engineでインスタンスの作成 Compute EngineはAWSでいうところのEC2インスタンスにあたり,機械学習のアプリケーショ[…] 続きを読む
AWS 24 12月 2020 AWS EC2でinsufficient errorがでたときの対処法について AWS EC2を使っていると以下のように"insufficient capacity"エラーがでて起動が失敗することがある. これは,AWSにおけるインスタンスの容量が上限に達したことが原因で発生する[…] 続きを読む
Uncategorized 23 12月 2020 Intune管理範囲 https://docs.microsoft.com/ja-jp/mem/intune/user-help/what-info-can-your-company-see-when-you-enroll[…] 続きを読む
Uncategorized 16 12月 2020 TPUが何を改善したかを知るための資料 一言で説明すると,フォン・ノイマン・ボトルネックを大幅に軽減したことで計算効率が改善されている,という説明になる. 詳しい仕組みはわかっていないため,今後調査していく. 本記事では,大まかな説明が載っ[…] 続きを読む
Flair 15 12月 2020 Flairのtraining.logからmicro recallとprecisionを算出するコード FlairでNERを実施した際,training.logというのが出力されるのだが,これにはmicro F1は載っているが,micro recallとprecisionは載っていない.このため,ログフ[…] 続きを読む
Python 15 12月 2020 文字列に含まれる複数のスペースを1つに置換 生データを処理しているとよく遭遇する複数のスペースを含む文章. 2つ以上のスペースを1つにしたいときは以下のコマンド ' '.join(mystring.split())[…] 続きを読む