AI×経営戦略2026年10月14日読了約5分

VLM、空間関係を埋め込みで喪失と判明

保存

視覚言語モデルは画像内の「上」「隣」といった空間関係を、下流で使う文表現の段階で語彙情報より大きく失うことが判明した。出力評価では見えない欠陥である。

研究の概要

Shubh Garg氏とChen Shani氏の研究チームは、視覚言語モデル（VLM）の内部表現が、推論に必要な構造的関係を忠実に保持しているかを検証した。結論は、空間関係の表現が語彙情報よりも大幅に不正確であるというものだ。

検証のため、チームは二つの道具を作った。一つは EICS（Evaluation-Invariant Concept Stability） という指標で、一度に一つの概念だけを操作したとき、表現がその概念を一貫して符号化しているかを測る。もう一つは CASP-VL というベンチマークで、Visual Genomeのシーングラフから、空間関係だけを因果的に統制して変えた入力を生成する。

複数のVLMアーキテクチャで調べたところ、合成的推論のベンチマークでは偶然を大きく上回る成績を示すモデルでも、空間関係の表現は語彙情報より明らかに劣っていた。さらに分析すると、関係情報は述語を構成するトークンの位置では識別できるが、文全体を一つの表現にまとめる段階で失われていた。まとめ方は、文末の（EOS）トークンを使う方法でも、平均プーリングでも同様であった。

しくみをやさしく

VLMは文章を小さな単位（トークン）に分け、それぞれを数値のベクトルに変換して処理する。「コップが皿の上にある」という文なら、「上」を担うトークンには位置関係の情報がきちんと入っている。

ところが、検索や分類、類似度計算といった下流の用途では、文全体を一本のベクトルに圧縮して使うことが多い。圧縮の方法は、文末の特殊トークンの値を採用するか、全トークンの平均を取るかが代表的である。研究によれば、この圧縮の過程で「上」か「下」かという違いが埋もれてしまう。個々の部品には情報があるのに、一つに束ねた途端に消える構図である。

評価の面でも注意が要る。モデルの最終回答の正誤だけを見る従来の検査では、この欠陥は表に出にくい。表現そのものを、概念を一つだけ変えて比べる方法でなければ捉えられない。

ビジネスへの示唆

影響が大きいのは、画像や文章をベクトル化して検索・照合する業務である。たとえば小売の商品企画部門が、陳列写真から「棚の上段に新商品、下段に競合品」といった配置を検索したい場面や、製造業の品質保証部門が、検査画像と不具合報告書を突き合わせる場面が該当する。保険会社の損害査定部門で、事故写真の位置関係から状況を照合する業務も同様である。

これらでは、位置関係の取り違えが誤検索や見落としに直結する。動く可能性のある指標は、検索の適合率、再検査・差し戻しの件数、査定の手戻り率、担当者の確認工数などである。

読者が自問すべきは、自部署に「画像と文章の埋め込み検索」や「写真と記述の自動照合」を使っている業務はあるか、その結果を最終的に誰がどれだけ目視で確認しているか、という点である。位置や前後、左右が意味を持つ業務ほど、デモで精度が高く見えても実運用で食い違うリスクがある。

現場での導入イメージ

仮に導入支援に入るなら、次の流れが現実的である。

棚卸し：画像・文章の照合や検索を使う業務を洗い出し、空間関係が判断を左右するものと、物の有無だけで足りるものに分ける。目指す到達点は、リスクの高い業務が一覧で見える状態である。
差し込み先の設計：新しいツールは増やさず、既存の検索基盤やRAGに、空間関係を問う確認用の小さなテスト集合を加える。配置を入れ替えた画像や文を対にして、検索結果が区別できているかを見る。到達点は、既存の仕組みの中で欠陥を事前に検知できる状態である。
小さく試す（PoC）：一部署で数週間、現場の担当者が実際の案件で位置関係の取り違えが起きるかを確かめる。必要なら、述語周辺の表現を使う、位置関係を別途構造化して持つ、といった補強策を比較する。到達点は、担当者が「ここまでは任せられる、ここは人が見る」と実感を持って線引きできることである。
運用と横展開：線引きを運用基準として文書化し、新モデルの導入や更新のたびにテストを再実行する。成果が確認できれば他部署へ広げる。到達点は、モデルの成績表ではなく自社業務での検証結果に基づいて導入を判断する体制である。

全体として目指すのは、AIの見かけの精度に頼らず、位置関係が重要な業務で人とAIの役割分担が明確な状態である。

今後の展望

本研究は欠陥の所在を、述語トークンでは情報が残り、全体への集約で失われる点まで絞り込んだ。裏を返せば、集約の方法を改善すれば解消の余地があることを示唆する。ただし、改善の具体策や効果は論文が示した範囲を超えるため、現時点で断定はできない。当面、企業側にできるのは、自社の業務に即した検証を怠らないことである。モデル選定の際、ベンダーの公開ベンチマークだけでなく、表現レベルの検査を調達要件に加える動きも広がるとみられる。