CitySpacesについて

車載カメラから街ナカを撮影した画像と、セグメンテーション用のアノテーションデータが提供されるCityScapesをダウンロードする機会があったので、メモのため、ここに残す。

まずはhttps://www.cityscapes-dataset.com/のDownloadを押し、ユーザー登録を行う。ここで登録するメールアドレスは、会社や大学で使っているものを入力すること。gmailやyahooはダメだと書いてあった。私の場合、ほぼ待ち時間無しで登録完了のメールがきたが、他の方はどうかはわからない。

私は、Panoptic Segmentationの実験用が目的なので、gtFine_trainvaltest.zip (241MB) [md5]leftImg8bit_trainvaltest.zip (11GB) [md5]の2つをダウンロードした。前者はセグメンテーションのアノテーションデータで、後者は生の画像である。PytorchのDataloaderなどで読み込む際は、ファイル名を参照し、アノテーションデータと生の画像を関連つける必要がある。

他にも様々な用途に合わせたデータセットが存在する。ちなみに、Fineは細かいという意味で、Coaseは粗いという意味である。

ダウンロード後、gtFine_trainvaltest.zip (241MB) [md5]を確認すると、train/val/testの3つのフォルダがあり、さらにその中には、各都市名が付いたフォルダがあることがわかる。そして、都市名のフォルダの中を確認すると3枚の画像と1個のJSONが1セットになっていることがわかる。

その3枚の画像と1個のJSONは、それぞれ以下のような役割をもっている。

aachen_000044_000019_gtFine_color.png : 車は青、道はピンクなど、オブジェクト領域につけられたアノテーションを色で表示した画像

aachen_000044_000019_gtFine_color.png

aachen_000044_000019_gtFine_instanceIds.png : 車や人など、数えられるオブジェクト(インスタンス)につけられたアノテーションをグレースケールで表示した画像。オブジェクトの種類によって、輝度(白み)は変わる

aachen_000044_000019_gtFine_instanceIds.png

aachen_000044_000019_gtFine_labelIds.png : 道や空など、数えられないオブジェクトと数えられるオブジェクトが一色単にまとめられたアノテーションをグレースケールで表示した画像

aachen_000044_000019_gtFine_labelIds.png

aachen_000044_000019_gtFine_polygons.json : 車や人など、数えられるオブジェクト(インスタンス)ごとに、その領域が別々に記録されたJSONファイル。aachen_000044_000019_gtFine_instanceIds.pngだけではこの画像に車が11台写っていることはわからないが、aachen_000044_000019_gtFine_polygons.jsonには車が1台1台分かれて記録されているので、Instance Segmentationの学習や評価ができる。

そして、生の画像はleftImg8bit_trainvaltest.zip (11GB) [md5]の中に入っている。

aachen_000044_000019_leftImg8bit.png

以上がデータセットの中身の説明となる。

そして、Testの画像をみると、JSON以外は何も情報の無い(真っ黒な)画像が収録されていることがわかる。これはダウンロードのエラーで発生したバグではなく、コンペティションのため、意図的に設計されたものだ。このtestデータで評価する場合は、https://www.cityscapes-dataset.com/submit/から推定結果を投稿してはじめてスコアを確認することができる。

CV,Dataset

Posted by vastee