小型AIが大型AIの冗長な思考を抑える新手法

研究の概要

推論モデルは長い思考の連鎖(CoT)を生成することで高い性能を発揮するが、問題の解決に必要な量を超えてトークンを消費する傾向がある。トークンは利用料金や応答時間に直結するため、企業のAI運用では無視できない負担となっている。

Minghao Luo氏とLiang Chen氏の研究チームは、追加学習を必要としない復号手法「​DoubtLess​」を提案した。競技数学、大学院レベルの科学問題、競技プログラミングの計7種類のベンチマークで、Qwen3-32Bの思考を​31%短縮​しながら、精度は変わらなかったと報告している。推論時に使う既存の5つの手法も上回った。

さらに、自己デバッグを行うコーディングエージェントでは、1ターン当たりの思考トークンを20%減らし、タスク性能は維持された。ほかの2つのモデルファミリーでも精度を保てたほか、学習による圧縮を施した簡潔なモデルに重ねても、さらなる短縮が得られたという。

従来の短縮策には課題があった。モデルごとに追加学習が必要な方法、隠れ状態に固定のステアリングベクトルを足す方法、早期打ち切りや「wait」といった語の禁止といった単純な規則がある。このうち規則による手法は精度を落とすことがあった。

しくみをやさしく

中心となるのは、大型モデルの「隣に小型の推論モデルを置く」発想である。小型モデルは、大型モデルがそこまでに書いた思考の途中経過を、2通りの指示で読み込む。1つは「簡潔に考えよ」と促された「簡潔思考者」、もう1つは「冗長に考えよ」と促された「冗長思考者」である。

言語モデルは次の語を選ぶ際、各候補に点数(ロジット)を付ける。研究では、簡潔思考者と冗長思考者の点数の差を取り、強さの係数を掛けて、大型モデルの点数に思考の各ステップで加算する。これを対照的復号と呼ぶ。差分には「簡潔さを好む方向」だけが残るため、問題の中身に関する知識は大型モデルに任せたまま、語り口だけを簡潔側へ寄せられる。

身近な例では、熟練の担当者が書く報告書を、簡潔さを重んじる編集者と、詳細さを重んじる編集者が横から読み、その意見の差だけを書き手に反映させる様子に近い。書き手の専門性は損なわれず、冗長さだけが抑えられる。

分析では、節約されたトークンの大半が、正解が思考内に初めて現れた後の部分から生じていた。つまり、答えが出た後の繰り返しの確認が減っていることになる。

ビジネスへの示唆

恩恵が大きいのは、推論AIを繰り返し呼び出す業務である。例えば、ソフトウェア開発部門でのコードレビューや不具合修正、財務部門での契約条件の試算や照合、品質保証部門での原因分析などが該当する。いずれも1件ごとの思考は長くなりがちで、件数が増えるほど費用と待ち時間が積み上がる。

自部署に当てはめるなら、次の問いが出発点になる。推論AIに任せている定型業務は何か。1件の処理にどれだけの待ち時間と利用料が掛かっているか。そして、AIが答えを出した後も延々と確認を続けている場面はないか。

動く指標は次のとおりである。

• AI利用料(トークン課金)の単価
• 1件当たりの応答時間と処理件数
• 開発エージェントの1タスク当たりの所要時間

とりわけ自己デバッグ型のエージェントで効果が確認された点は、開発部門にとって実務的な意味を持つ。ただし、論文の評価は公開ベンチマーク上のものであり、自社業務で同様の短縮が得られるかは検証が必要である。

現場での導入イメージ

仮に導入支援に入るなら、次のような流れが現実的である。

1. ​棚卸し​:推論AIを使っている業務を洗い出し、思考が長く、費用や待ち時間が目立つ業務を可視化する。目指す到達点は、削減の効果が出やすい業務の優先順位が、担当者の共通認識として決まっていることである。
2. ​差し込み先の設計​:新しいツールを増やさず、既存の推論AIの呼び出し部分に、小型モデルによる補助を足す形を検討する。追加学習が不要なため、自社で運用中のモデルを作り替える必要はない。目指す到達点は、既存の業務フローを変えずに試せる構成である。
3. ​小さく試す(PoC)​:一部署、数週間の範囲で、強さの係数を調整しながら試す。回答の質は担当者が実際に確認し、「答えは変わらず待ち時間が減った」という実感を得る。目指す到達点は、品質を保てる設定の目安を現場の言葉で説明できる状態である。
4. ​運用と横展開​:品質確認の基準と、設定を見直す手順を定め、ほかの部署へ広げる。目指す到達点は、効果を定期的に確かめながら、無理なく運用が続く体制である。

全体として目指すのは、​精度を保ったまま、推論AIを小さな負担で、速く使える職場​である。

今後の展望

小型モデルを追加で動かす分の負荷や、自社固有の業務での効果は、今後の検証課題である。一方で、学習済みの簡潔なモデルにも重ねられる点は、既存の取り組みと併用できる余地を示している。推論コストの管理手法として、有力な選択肢になる可能性がある。