冒頭の一語が基盤モデルの推論力を引き出す

研究の概要

サイモン・ウォン氏らの研究チームは、事前学習のみを終えた基盤モデルの応答冒頭に置く「トークンの手がかり（キュー）」が、その後の推論行動を左右することを示した。学習データの中で、文頭の語と後続の推論様式が結び付いているためである。

実験では、応答の書き出しを特定の語に固定するだけで、基盤モデルの性能が強化学習（RL）で後訓練したモデルに匹敵した。Olmo-3-7Bでは「.\n\nOkay」を固定すると、数学問題集MATH-500の正答率（pass@1）が​42%から78%​に上がった。Qwen3-14Bでは「Alright,」で​72%から87%​に上がった。

さらに、RLはこうした手がかりが出現する確率を高めており、手がかりを固定すれば、RLによる性能向上の多くを再現できることも分かった。RLが新たな能力を一から授けるというより、基盤モデルに既にある推論の型を呼び出しやすくしている面が大きいことを示唆する。

仕組みと因果の検証

研究チームは因果的なデータ介入を行った。学習データを編集し、「chicken」のような無関係な語を有効な推論の手がかりに変えたり、既存の手がかりの効果を消したりできた。同様の編集により、指示文「Think duck duck goose」が「Think step by step」と同等に推論を引き出すようになった。

推論が促される理由は語の意味ではなく、その語が学習データ中でどのような文書と共起していたかにある。実際に、手がかりごとに生じる内部表現は、学習データ中の異なる文書タイプと相関していた。

安全性でも同様で、手がかりごとに拒否と応諾の挙動が異なり、それが学習データの種類に対応していた。冒頭の語が安全挙動まで変える点は、運用上の留意事項となる。

ビジネスへの示唆

中心となる発見は、​書き出しの設計が性能とコストに直結する​ことである。自社でオープンな基盤モデルを使う場合、追加の強化学習なしに精度を引き上げられる可能性がある。

具体的に想定される業務は次のとおりである。

• 経理・財務部門：仕訳チェックや予実差異の原因分析など、多段の計算と論理を要する定型業務
• 開発部門：コードレビューやテストコード生成
• カスタマーサポート：回答案の作成と一次切り分け

ここで読者に問いたいのは、自部署で「手順を踏んで考える必要がありながら、いまは人が時間をかけて確認している業務は何か」である。動いているAIの回答が浅いと感じる場合、モデルの問題ではなく、冒頭の誘導が適切でないだけかもしれない。

動く可能性のあるKPIは、回答の正答率、人による修正・差し戻し率、一件当たりの処理時間、推論基盤の運用費である。小型モデルで足りる場面が広がれば、クラウド利用料やGPU調達の負担を抑えられる可能性もある。

一方、リスクもある。冒頭の語が拒否・応諾の挙動を変えるため、コンプライアンス部門や法務部門は、手がかり変更時に安全性を再評価する体制が要る。

現場での導入イメージ

仮に導入支援に入るなら、次の4段階で進める。

1. ​棚卸し​：部署ごとにAIを使う業務を洗い出し、回答が浅い、差し戻しが多いなど詰まりのある業務を可視化する。目指す到達点は、冒頭の手がかり調整で改善しうる業務の候補一覧と、現状の品質の基準値である。
2. ​差し込み先の設計​：新しいツールは増やさず、既存のプロンプトテンプレートや社内RAGの出力枠組みの冒頭に、手がかりとなる書き出しを組み込む。目指す到達点は、現行の運用を変えずに差し替えられる状態である。
3. ​小さく試す（PoC）​：一部署、数週間の範囲で、数種類の書き出しを比較し、担当者の実感と差し戻しの減り方で確かめる。このとき安全面の応答も併せて確認する。目指す到達点は、自社業務に効く手がかりと、効かない業務の見極めである。
4. ​運用と横展開​：有効だった書き出しと評価手順を社内の標準として文書化し、モデル更新時には再検証する。目指す到達点は、他部署が同じ手順で小さく安く再現できる状態である。

全体として目指すのは、高価な追加学習に頼らず、書き出しの設計という低コストの工夫で、AIの推論品質と安全性を継続的に管理できる運用体制である。

今後の展望

効果が学習データの性質に由来する以上、手がかりはモデルごとに異なる。同じ語が別のモデルで通用する保証はなく、モデル更新のたびに検証が要る。今後は、モデル提供者が学習データの構成を開示するかが、導入側の評価効率を左右する。学習データの作り方そのものが推論と安全性を設計する手段になるという見方も、今回の結果から強まるであろう。