BERT,PyTorch,Transformer

Thumbnail of post image 100

AI SHIFT様が作成されたブログ記事が分かりやすかったので、筆者としての解釈を自分用メモとして残すことにする。

Kaggleで学んだBERTをfine-tuningする際のTips①〜学習効率化編〜 | 株式会社AI ...

Stock

Thumbnail of post image 065

投資をしていると,株価だけではなく,雇用統計やガソリン価格などを観察したいと思うことがあるだろう.そんなときはセントルイス連邦準備銀行の研究部門によって維持されている経済指標データ閲覧サイトFREDを使うと良い.

本記事で ...

JAX

Thumbnail of post image 126

Pytorchだと.cuda()などでGPUを使うのだが、JAXの場合はpipインストール時にcudaのバージョンを指定することでGPUを使うことができる。

環境にインストールされているCUDAのバージョンが10.02の場 ...

技術スラング

Thumbnail of post image 062

On-the-Fly Attention Modulation for Neural Generation

というタイトルの論文に遭遇。

アブストをDeepLで翻訳すると以下のようになった。

「深層 ...

技術スラング

Thumbnail of post image 023

Googleの提供する深層学習フレームワークFlaxのドキュメントを読んでいると“sledge hammer” approachという表現に遭遇。

Linen supports the capture of interme ...

PyTorch

Thumbnail of post image 135

MLP-Mixerに関して、GitHub – rishikksh20/MLP-Mixer-pytorch: Unofficial implementation of MLP-Mixer: An all-MLP Archit ...

Transformer

Thumbnail of post image 172

Facebook(現メタ) AIが公開した新しい音声フレームワークwav2vecに関して、ロス関数にフォーカスをあてた説明を行う。

wav2vec 2.0: A Framework for Self-Supervised ...

PyTorch

Thumbnail of post image 037

Pytorchのチュートリアルから、weight sharering(重み共有)の実装方法を紹介する。

今回扱うのは以下のチュートリアルである。

Learning PyTorch with Examples — ...

Deep Learning,GAN

Thumbnail of post image 012

KL(Kullback-Leibler) divergenceと Jensen-Shannon(JS) divergenceは、2つの確率分布の類似性を知るための指標である。

KL divergenceは以下の式で得られ、 ...

Deep Learning,GAN

Thumbnail of post image 021

画像のいくつかの表現しにくいモードがGeneratorに無視されてしまうこと。前回の記事で説明したモード崩壊(Mode dropping)と近いGANの失敗原因となる。

モード崩壊と比べて解説記事が少ないため、筆者の推測込 ...