VLMの「視線」制御、再学習不要で実現

米ブラウン大学のRohit GandikotaとDavid Bauは、視覚言語モデル（VLM）が画像を説明する際の内部メカニズムを解明し、「ゲイズヘッド」と呼ばれる特定の注意ヘッド群を特定したと発表した。この発見により、モデルの再学習を一切行わずに、推論時の注意マスク操作だけでモデルの視点を特定の画像領域に誘導できることが示された。

研究では、コミックストリップを実験素材として活用した。コミックのコマが空間的に配列されているという特性を利用し、モデルがどの領域を参照しながらテキストを生成しているかを追跡する手法を開発した。全注意ヘッドの9%未満に相当する上位100個のゲイズヘッドへの介入だけで、83.1%の精度でモデルの回答を任意のコマへ誘導できた。一方、ランダムな注意ヘッドへの同様の介入では誘導効果は得られず、全ヘッドへの介入では生成能力そのものが損なわれた。この手法はCOCO自然画像データセットでも有効性が確認され、パラメータ数2Bから32Bまでの複数モデルサイズおよび他のVLMアーキテクチャでも同様のメカニズムが確認されている。

ビジネス上の意義は、既存モデルへの追加投資なしに高精度な画像解析制御を実現できる点にある。製造業の品質管理部門では、製品外観検査システムにおいて、傷や異物が発生しやすい特定箇所にVLMの「注意」を集中させることで、検査精度の向上と見落とし率の低減が期待できる。従来はファインチューニングや専用モデルの追加学習が必要だったところ、推論時の軽微な操作で同等の効果が得られるため、モデル運用コストの削減にも直結する。

医療画像診断の支援システムにおいても、放射線科や病理検査部門での活用が見込まれる。読影支援AIに対して、病変が疑われる特定の解剖学的部位への注意誘導を行うことで、診断精度KPIである感度（Sensitivity）と特異度（Specificity）の改善が期待される。特に医療機器規制の観点からモデルの再学習が困難な環境では、推論時介入という手法の価値は高い。

広告・マーケティング分野では、ECプラットフォームの商品画像解析エンジンに応用した場合、商品の主要訴求点（ロゴ、素材感、デザイン細部）を指定してキャプション生成や属性抽出を行えるようになる。これにより、商品ページのコンバージョン率改善や検索最適化における記述精度向上が見込まれる。マーケティング部門が手動で設定する注目領域の指示に基づき、AIが一貫したコピーを生成するワークフローの自動化も実現可能だ。

法務・コンプライアンス部門においては、契約書や技術文書のスキャン画像から特定条項箇所を指定して要約を抽出するユースケースも想定される。文書審査の工数削減とレビュー漏れリスクの低減というKPIに貢献できる。

課題としては、一部の「凍結エンコーダ」アーキテクチャではゲイズヘッドに相当する構造が確認されていないとされ、全てのVLM製品に適用できるわけではない点を留意する必要がある。企業がこの手法を採用する際には、使用するモデルアーキテクチャとの互換性を事前に検証することが不可欠である。研究チームはコード、インタラクティブデモ、データセットを公開しており、企業による実証実験の参入障壁は低い。