ELECTRAのpre-trainingを自作データで行う
前準備
この記事は、一つ前の記事の続きとして書きます。
前提条件として、一つ前の記事に沿って、openwebtextをダウンロードし、build_openwebtext_pretraining_dataset.py を実行し ...
ELECTRAのpre-trainingを実行
前準備
Tensorflow(GPU版)をpipでインストール。pipのバージョン違いで混乱することがあるため、私はpython -m pipでインストールした。バージョンは1.15にすること。
python -m pip ins ...BERTのpre-trainingを実行 [2020/9版]
前準備
Tensorflow(GPU版)をpipでインストール。pipのバージョン違いで混乱することがあるため、私はpython -m pipでインストールした。バージョンは1.15にすること。
python -m pip ins ...タイムゾーンを変更 [Ubuntu]
# 現在のタイムゾーンを確認。現在はUTCだ。$ dateSun Sep 6 11:35:37 UTC 2020# システムに日本のタイムゾーンがあるかを確認。$ timedatectl list-timezones | grep -i t ...
ConvolutionとSelf-Attentionの違いは何ですか？[Quora]
機構に違いがあります。
Convolution（畳み込み）では入力データにフィルタと呼ばれる小領域をとり、これを１つの特徴量として畳み込みを行います。
イメージとしては、下の図のように、黄色のフィルタを緑色の画 ...
特定の列を抽出 [Pandas]
import pandas as pdpd.read_csv('hoge.csv')df = df]
ネストされたリストで書くのがポイント
ドラマ主人公の職業設定で、「そこまでマニアック（ニッチ）な職業に焦点を当てるの？」と思った作品は何ですか？[Quora]
洋画の『マイレージ、マイライフ』にて、ジョージ・クルーニー扮する主人公ライアンの職業が『他人にクビを宣告する仕事』です。私はこの映画以外でこのような職業をもつ主人公を見たことがありません。
この映画は、年間322日も出張を ...
AWS EC2インスタンスの自動起動と自動停止を設定
自動起動の設定IAMの作成
起動はSSM Automationの機能を利用するため、CloudWatch EventsがSSMを呼び出すためのIAMロールを作成。
マネジメントコンソールから「IAM」→「ロール」→「ロール作成」を ...WordPressをEC2インスタンスに移行
Lightsailで稼働させているアプリがあったが、Lightsailで２４時間課金されっぱなしはもったいないと思い、EC2への移行を考えた。
手順としては、まず、以下２つをLightsailで行う。
Lightsa ...