CitySpacesについて
車載カメラから街ナカを撮影した画像と、セグメンテーション用のアノテーションデータが提供されるCityScapesをダウンロードする機会があったので、メモのため、ここに残す。
まずはhttps://www.cityscapes-dataset.com/のDownloadを押し、ユーザー登録を行う。ここで登録するメールアドレスは、会社や大学で使っているものを入力すること。gmailやyahooはダメだと書いてあった。私の場合、ほぼ待ち時間無しで登録完了のメールがきたが、他の方はどうかはわからない。
私は、Panoptic Segmentationの実験用が目的なので、gtFine_trainvaltest.zip (241MB) [md5]とleftImg8bit_trainvaltest.zip (11GB) [md5]の２つをダウンロードした。前者はセグメンテーションのアノテーションデータで、後者は生の画像である。PytorchのDataloaderなどで読み込む際は、ファイル名を参照し、アノテーションデータと生の画像を関連つける必要がある。
他にも様々な用途に合わせたデータセットが存在する。ちなみに、Fineは細かいという意味で、Coaseは粗いという意味である。
ダウンロード後、gtFine_trainvaltest.zip (241MB) [md5]を確認すると、train/val/testの３つのフォルダがあり、さらにその中には、各都市名が付いたフォルダがあることがわかる。そして、都市名のフォルダの中を確認すると３枚の画像と1個のJSONが１セットになっていることがわかる。
その３枚の画像と1個のJSONは、それぞれ以下のような役割をもっている。
aachen_000044_000019_gtFine_color.png : 車は青、道はピンクなど、オブジェクト領域につけられたアノテーションを色で表示した画像
aachen_000044_000019_gtFine_instanceIds.png : 車や人など、数えられるオブジェクト（インスタンス）につけられたアノテーションをグレースケールで表示した画像。オブジェクトの種類によって、輝度（白み）は変わる
aachen_000044_000019_gtFine_labelIds.png : 道や空など、数えられないオブジェクトと数えられるオブジェクトが一色単にまとめられたアノテーションをグレースケールで表示した画像
aachen_000044_000019_gtFine_polygons.json : 車や人など、数えられるオブジェクト（インスタンス）ごとに、その領域が別々に記録されたJSONファイル。aachen_000044_000019_gtFine_instanceIds.pngだけではこの画像に車が１１台写っていることはわからないが、aachen_000044_000019_gtFine_polygons.jsonには車が１台１台分かれて記録されているので、Instance Segmentationの学習や評価ができる。
そして、生の画像はleftImg8bit_trainvaltest.zip (11GB) [md5]の中に入っている。
以上がデータセットの中身の説明となる。
そして、Testの画像をみると、JSON以外は何も情報の無い（真っ黒な）画像が収録されていることがわかる。これはダウンロードのエラーで発生したバグではなく、コンペティションのため、意図的に設計されたものだ。このtestデータで評価する場合は、https://www.cityscapes-dataset.com/submit/から推定結果を投稿してはじめてスコアを確認することができる。