画像に描き込んで読ませる。MLLMの空間認識を引き出す2つの視覚プロンプト
「見える」と「測れる」のあいだ
マルチモーダルLLMに画像を見せて「この写真に何が写っている?」と聞けば、かなり正確に答えが返ってくる。ところが「そのサーフボードの座標を教えて」と聞いた途端、答えは急に頼りなくなる。
数字で見るとこの落差は残酷なほどはっきりしている。DetToolChainの論文が報告しているCOCO val2017でのゼロショット検出APは、GPT-4Vが0.3、Geminiが0.2。ほぼゼロである。認識はできるのに、位置を数値で吐き出せない。著者らはこれを、遮蔽された物体・回転した物体・小さな物体で特に顕著な弱点として指摘している。
この「認識と定位のあいだのギャップ」をどう埋めるか。ファインチューニングという手はあるが、高品質な位置情報付きQAデータの作成コストは重いうえ、そもそも最高性能のMLLMはクローズドで重みに触れない。ならばプロンプトで、という発想で書かれた論文を2本読んだ。方向性は同じなのに、設計思想が対照的で面白かったので並べて整理しておく。
・DetToolChain。Wu et al., ECCV 2024（浙江大 / 上海AI Lab / CUHK / Sydney / Oxford）
・SCAFFOLD。Lei et al., COLING 2025（清華大 / AIR）
共通する核心は身も蓋もないほどシンプルだ。画像の上に補助線を描き込んで、モデルにそれを読ませる。座標を予測させるのではなく、読み取らせる。この一手の転換に尽きる。
DetToolChain。検出の事前知識を道具箱にする
発想
DetToolChainの出発点は3つの直感である。
- 視覚プロンプトは言語プロンプトより直接的だ。MLLMはテキストの座標記述を画像上の領域に正確に変換するのが苦手なので、いっそ画像に直接描いてしまえば視覚と言語の距離が縮まる
- 難しい事例（遮蔽物・小物体）は、より小さく単純なサブタスクに分解すれば解ける
- 検出結果は一発で当てるものではなく段階的に精緻化すべきだ。DETRやSparse R-CNN、DiffusionDetがボックスを漸進的に refine するのと同じように
3番目が個人的にはいちばん効いていると思う。既存の検出器アーキテクチャの設計思想を、プロンプトの制御フローに移植している。
道具箱の中身
ツールキットは視覚処理プロンプト（画像を加工する）と検出推論プロンプト（画像は触らず、予測を診断する）の2階層に分かれる。
視覚処理プロンプトは3系統ある。
| 系統 | ツール | 役割 |
|---|---|---|
| Regional Amplifier | Image Split, Zoom in | 関心領域の視認性を上げる。画像を分割し、特定領域を拡大する |
| Spatial Measurement Standard | Ruler Marker, Compass Marker | 目盛り付きの定規とコンパスを重畳。並進参照と回転参照を与える |
| Scene Image Parser | Centroid / Box / Convex Hull / Scene Graph Marker | 予測位置や物体間の関係を画像上にマークし、文脈からの推論を促す |
Spatial Measurement Standardの説明が本論文でいちばん美しい。定規を重ねることで、検出タスクは「座標を予測する」問題から「座標を読み取る」問題に変わる。人間が定規を当てるのと同じことをさせているだけなのに、これが効く。
Scene Image Parserのほうは2つの役割を持つ。ひとつは重心・凸包・バウンディングボックスによる位置のマーキング。特に Convex Hull Marker は、不規則な形状の物体の境界点を結んで輪郭を示すためのもので、遮蔽が大きいケースで効く。もうひとつが Scene Graph Marker で、物体の中心同士を線で結んで関係を明示する。論文の例が秀逸で、「ジェリー（ネズミ）はチーズを食べようとしているのだから、両者のボックスは近接しているはずだ」という常識的推論をモデルに使わせる。
検出推論プロンプトは4種類ある。
| ツール | 効果 |
|---|---|
| Problem Insight Guider | 画像内の潜在的な検出困難を特定し、対処法の例を提示する |
| Spatial Relationship Explorer | 空間推論能力で物体間の関係を分析し、ボックスを refine する |
| Contextual Object Predictor | 常識に基づき、この場面に共起しそうな物体を問う |
| Self-Verification Promoter | 自身の予測の一貫性を検証し、アルゴリズムの終了を判断する |
後ろ2つはハルシネーション対策として設計されている。Contextual Object Predictor が「図書館なら本があるはずだ」と見落としを減らす方向に働き、Self-Verification Promoter が「このカップは実際には存在しない」と過剰検出を削る方向に働く。増やす力と減らす力の両方を持たせているのが丁寧だ。
Det-CoT。道具を選ぶ推論
これらを回すのが検出用Chain-of-Thought（Det-CoT）である。ループは4段階になる。
- Formatting。生のクエリを適切なテンプレートに整形
- Think。現在の履歴から次の一手を提案。終了するか、別のツールを呼ぶか
- Execute。選ばれたツールを実行し、結果を履歴に追加して次の反復へ
- Respond。特定のマーカー付きで最終予測が出たら、抽出して終了
論文中の実行例（HRSC2016の回転物体検出）が具体的で分かりやすい。船を検出する際、モデルはまず Problem Insight Guider に「これは回転物体検出の難しさだ」と診断を求め、軸平行ボックスを見積もり、Compass Marker で角度（+165度）を読み取り、回転ボックスに変換し、Box Marker で可視化し、Self-Verification Promoter で最良の候補を選ぶ。人間が製図するときの手順そのものである。
結果
| ベンチマーク | 内容 |
|---|---|
| COCO OVD (Novel) | GPT-4V: 2.3 → 65.8 AP50。SOTAのCORA(43.1)を+22.7 |
| COCO val2017 | GPT-4V: AP 0.3 → 34.5。DETR-R50(42.0)には及ばずAP50では64.8 vs 62.4で上回る |
| D-cube FULL | GPT-4V: 16.3 → 37.2 AP。FIBER-B(22.7)を+14.5 |
| RefCOCO val | GPT-4V: 25.48 → 70.01 Acc |
| HRSC2016 | Compass Marker単体でmIoU_p +0.34 |
COCO train2017で学習していないゼロショット手法が、AP50でFaster R-CNNやDETR-R50を上回るというのは素直に驚く。ただしAP50は高いがAP75は低い（GPT-4V+DetToolChain: AP50 64.8 / AP75 31.5）。著者ら自身が認めているとおり、「物体はだいたい見つかるが、境界が正確でない」状態だ。正確な境界にはデータセット固有のアノテーション事前分布が要り、それは学習でしか入らない、という説明は誠実だと思う。
どのツールがいつ効くか
アブレーションが実務的にいちばん有用な部分だった。COCO val2017をシーン別に分けた結果から、ツールと適用場面の対応が読める。
| 場面 | 効くツール |
|---|---|
| 一般的な検出 | Ruler Marker（並進スケールの把握） |
| 回転物体 | Compass Marker（回転スケールの把握） |
| 小物体 | Image Split + Zoom in / Contextual Object Predictor |
| 複数インスタンス・複数物体 | Scene Graph Marker + Spatial Relationship Explorer |
| 遮蔽物体 | Convex Hull Marker + Self-Verification Promoter |
Compass Markerは回転物体検出では劇的に効く（mIoU_p 0.13 → 0.47）が、単一物体や小物体ではほぼ無効（0.23 → 0.22、0.16 → 0.14）。ツールが目的特化していることの裏返しで、だからこそ Det-CoT による選択機構が要る、という論理構成になっている。
なお、Zero-shot CoT、Few-shot CoT、Multimodal CoTとの比較も行われていて、いずれもDetToolChainに大きく劣る。「Let’s think step by step」の検出版を足しても座標精度はほとんど改善しない、というのは示唆的だ。空間の問題は言語の階段を上っても解けない。
限界
著者らが挙げている制約が正直で好ましい。
・逐次処理。各ステップが前段の出力に依存するため並列化できず、遅い
・出力形式の不安定さ。期待するフォーマットで返る保証がなく、多ターン対話で崩れる。「先ほどの回答の混乱をお詫びします」的な謝罪文が混入する癖もある
・スケール依存。長い履歴を保持できる大規模MLLMが前提
・コスト。多ターンの往復が必要
失敗パターンも4類型に整理されている。物体ハルシネーション、見落とし、ボックスの不一致、そして回答拒否。最後のものが興味深くて、難しいサンプルでモデルが座標の提供を拒む事例が報告されている。しかも著者が付言するに、その事例ではCOCOのGT自体も全ての花瓶を正しく囲めていない。
SCAFFOLD。足場としての座標系
発想
SCAFFOLDの問題意識は、DetToolChainよりも広い。既存のLMMプロンプト手法は、テキスト推論を改善するか、画像前処理ツールを使うかのどちらかに寄っていて、視覚と言語の連携そのものを促す、シンプルで汎用的な視覚プロンプト手法が欠けている、という立て方をする。
そして提案は、拍子抜けするほど単純だ。画像に点行列（dot matrix）を重ね、各点に多次元直交座標を振る。それだけである。点は視覚的な位置アンカーとして働き、座標はテキスト側の位置参照として働く。両者が同じ座標系を共有することで、視覚と言語のあいだに足場ができる。
設計上の判断が2つ効いている。
・グリッド線ではなく点行列にした。グリッドは画像を領域に分断してしまうが、点行列は連続的な視覚内容への干渉が少ない
・元画像も一緒に渡す。単一画像タスクでは、オリジナルと座標重畳版の両方を入力し、元の情報を保つ
結果
幅広い難易度の高いvision-languageタスクで、テキストのみのChain-of-Thoughtプロンプティングを上回った。
さらに面白いのが active perception との組み合わせで、まず視覚探索で対象位置を座標として特定し、その座標周辺をクロップして属性を精査する、という2段構えにすると、SCAFFOLD単体より14.1%の改善が得られた。座標が「次にどこを見るか」の指示言語として機能している。
2本を並べて見る
| DetToolChain | SCAFFOLD | |
|---|---|---|
| 対象 | 検出タスク特化 | 汎用VLタスク |
| 重畳するもの | 定規・コンパス・凸包・シーングラフ等12種 | 点行列のみ |
| 制御機構 | Det-CoTがツールを選択し逐次適用 | なし（座標を渡すだけ） |
| 前提 | 長文脈・多ターン対応の大規模MLLM | 比較的軽い |
| コスト | 高い（多ターン往復） | 低い |
| 思想 | 検出器の事前知識を道具として与える | 共有座標系という足場だけ与える |
DetToolChainがオーケストレーションで攻めるのに対し、SCAFFOLDは「共有座標系という足場を一つ渡せば、あとはモデルが自力で視覚と言語を接続する」という仮説に賭けている。仮説の鋭さではSCAFFOLD、到達性能と適用範囲の広さではDetToolChainだろう。
面白いのは、DetToolChain側がSCAFFOLDを関連研究として引用したうえで、明確に線を引いていることだ。彼らの主張はこうである。CPTやSet-of-Markのような手法は、高性能な検出器やSAMがあらかじめ抽出したボックス・マスクの中から正解を選ぶだけであり、それは本質的に検出能力ではない。だからDetToolChainは事前学習済みの検出器・セグメンタを一切使わない。
この線引きは正当だと思う。「MLLMに検出させる」と「MLLMに検出器の出力を選ばせる」はまったく別の話で、後者を前者と混同した論文は当時それなりにあった。
共通する賭け
2本に共通するのは、モデルの重みではなく入力表現を変えるという賭けだ。そしてどちらも、人間が空間を扱うときの外部化された道具、つまり定規や方眼紙や座標系を模倣している。賢くするのではなく、読みやすくする。
ただしこの賭けには裏面がある。補助線が効くということは、モデルが視覚情報から座標を内部的に構成する能力を欠いているということの証明でもある。足場が必要なのは、まだ立てないからだ。
2026年から振り返って
どちらもGPT-4V（gpt-4-vision-preview）とGemini Proでの検証である。2024年前半という時期を考えれば当然だが、いま同じ実験を回したときに同じ差が出るとは限らない。ネイティブにgroundingを組み込んだモデルが増えた現在、ベースラインが大幅に上がった結果として、補助線の限界効用は小さくなっている可能性が高い。
とはいえ、この2本が残した問いは古びていないと思う。
・空間の問題をテキストのCoTで解こうとしても伸びない、という観察
・予測させるより読み取らせるほうが精度が出る、という設計原理
・座標が「次にどこを見るか」を指示する言語として機能する、というactive perceptionへの接続
3番目が特に、その後のエージェント的な視覚推論、つまりツールとしての画像操作を推論ループに組み込む設計につながっていく筋だろう。DetToolChainの逐次処理という限界は、見方を変えればエージェントループの原型そのものである。
参考文献
・Wu, Y., Wang, Y., Tang, S., Wu, W., He, T., Ouyang, W., Wu, J., Torr, P. DetToolChain: A New Prompting Paradigm to Unleash Detection Ability of MLLM. ECCV 2024. arXiv:2403.12488 / GitHub
・Lei, X., Yang, Z., Chen, X., Li, P., Liu, Y. Scaffolding Coordinates to Promote Vision-Language Coordination in Large Multi-Modal Models. COLING 2025. arXiv:2402.12058 / GitHub / プロジェクトページ
・Yang, J. et al. Set-of-Mark Prompting Unleashes Extraordinary Visual Grounding in GPT-4V. arXiv:2310.11441
・Shtedritski, A., Rupprecht, C., Vedaldi, A. What does CLIP know about a red circle? Visual prompt engineering for VLMs. arXiv:2304.06712