Deep Learning,GAN

Thumbnail of post image 195

KL(Kullback-Leibler) divergenceと Jensen-Shannon(JS) divergenceは、2つの確率分布の類似性を知るための指標である。

KL divergenceは以下の式で得られ、 ...

Deep Learning,GAN

Thumbnail of post image 176

画像のいくつかの表現しにくいモードがGeneratorに無視されてしまうこと。前回の記事で説明したモード崩壊(Mode dropping)と近いGANの失敗原因となる。

モード崩壊と比べて解説記事が少ないため、筆者の推測込 ...

Deep Learning,GAN

Thumbnail of post image 038

GANが変化に乏しいイメージを生成すること。多くの変化に乏しい複製(モード)を生成するため、モード崩壊(Mode Collapse)と呼ばれている。

モード崩壊に陥った場合、まず試すのはGANの学習率を調整することである。 ...

Deep Learning

Thumbnail of post image 178

ニューラルネットワークの重みの一部を取り除くことでパラメータ数や計算量を削減すること

Han, S., Pool, J., Tran, J., and Dally, W. Learning both weights and co ...

BERT,Deep Learning

Thumbnail of post image 192

を参照すると,以下のようにBEiTから特徴を抽出するコードが書かれている.

from transformers import BeitFeatureExtractor, BeitModelfrom PIL import Imag ...

Deep Learning,Docker,Nvidia-docker,Python

Thumbnail of post image 119

単眼画像からの深度測定のために提案されたPackNet-Sfmをインストールするときは,dockerが推奨されている.公式のリポジトリでは,親切にmakeコマンドでdockerコンテナを構築するまでを1つのパイプラインで行うことができ ...

CV,Deep Learning,Machine Learning,NLP,Quora

Thumbnail of post image 078

機構に違いがあります。

Convolution(畳み込み)では入力データにフィルタと呼ばれる小領域をとり、これを1つの特徴量として畳み込みを行います。

イメージとしては、下の図のように、黄色のフィルタを緑色の画 ...

Deep Learning

Thumbnail of post image 129

本記事では,2018年秋に登場し話題になったBERTのpre-trainingをとりあえず動かしてみるまでをレポート.

今回は,google-researchのリポジトリのサンプルテキストを使って動かすまでを紹介する.今後 ...

Deep Learning

Thumbnail of post image 052

汎用言語モデルBERTを使用する際に,テキストクレンジングを行う関数を見つけ,読んでみると勉強になったので記事にしてみた.

参考にしたのは,Google Researchの実装である.

github.com

Deep Learning

Thumbnail of post image 113

nvidia-docker2でコンテナを作成。 –runtime=nvidiaを忘れないこと。

$ docker run -it --runtime=nvidia nvidia/cuda:7.5-cudnn5-dev ...