ドメインとモーダルの違いは?

ドメインとは、あるデータの内容に関するものである。例えば、データがどのようなタスクに関するものなのか?(言い換えると、画像分類なのか?回帰なのか?など)

モダリティとは、データの形式や媒体のことである。例えば、入力データが画像か?テキストベースか?音声なのか?など

つまり、チェス盤のテキスト記述と画像を使ってチェスをするネットワークは、チェスをするだけなのでシングルドメインだが、チェスの情報を2つの様式(テキストと画像)で取り込むので、マルチモーダルである。

一方、株式市場と天気予報のテキスト記述を使って株価と気温を予測するネットワークは、マルチドメイン(2種類の独立したデータを使って2つの独立したタスクを実行しているため)だが、データはすべて単一のモダリティ(テキスト)からなので、モノモーダルだといえる。

料理、商品販売、動物などのテキスト(同じモード)を処理することができる(異なるドメイン)。この考え方は、3つのデータセットが単なる単語の束であっても、単語の並びの統計的頻度はドメインによって異なるが、いくつかの基礎的なプロセス(例えば構文)は共有されているため、ドメインを区別することも重要であるということである。

参考

Uncategorized

Posted by vastee