生徒に合わせた推論過程で小型AIの学習を改善

研究の概要

大規模AIが出力した推論の手順（トレース）を小型AIに学ばせる「推論蒸留」は、運用コストを抑えつつ性能を確保する手段として広く使われている。従来は、最終的な答えが正しい手順であれば教材として十分とみなす傾向が強かった。

Shaoang Li氏らの研究チームは、この前提に疑問を投げかけた。正解に至る手順であっても、学習する小型AI（生徒モデル）にとって理解しにくければ、教材として有効に働かないという指摘である。そこで提案されたのが、生徒モデルごとに手順を作り込む枠組み​ReDiST​である。

評価は根拠文書付きの質問応答ベンチマークで行われた。その結果、答えだけで学習する方式、元の手順をそのまま使う方式、既存の手順選別・書き換え手法のいずれと比べても、学習元タスクと別ベンチマークの双方で性能向上が確認された。一方で、学習元と転移先で手法の順位が入れ替わる場合があることも示された。

しくみをやさしく

ReDiSTの出発点は、生徒モデル自身に問題を解かせた「試行」である。ここから二つの処理に分かれる。

一つは、答えが合っている試行の修正である。提示された根拠文書と照らし合わせ、手順の中身を根拠に沿って整える。もう一つは、答えを誤った試行の修復である。検証済みの正解を追加の手がかりとして与え、筋の通った手順に書き直す。

次に、元の手順と修正後の手順を候補として並べ、選別する。審査役は、学習対象と同等の能力を持つ「固定された読み手モデル」である。質問、根拠、候補の手順を読ませたうえで、正解を再現できるか、正解を出す確率がどれだけ高いかという二つの指標で順位をつける。人間でいえば、教師が模範解答を書くのではなく、同じ学力の生徒に読ませて「これなら分かる」と判定された解説だけを教材に採用する発想である。

最後に、選ばれた手順を使って生徒を学習させる。手順の模倣に偏らないよう、最終回答に対する補助的な損失も加え、両者のバランスを取る。選別と構築はすべて事前に済ませるため、運用時に動くのは学習後の生徒モデルのみである。推論時の追加コストは生じない。

ビジネスへの示唆

最も直接的に効くのは、根拠文書を読んで回答する業務である。たとえばカスタマーサポート部門では、マニュアルや過去対応履歴を参照して問い合わせに答える作業が毎日発生する。法務・コンプライアンス部門の規程照会、情報システム部門の社内ヘルプデスクも同型である。

読者に問いたいのは、自部署で「資料を読んで答える」作業は何か、そして現在誰がどれだけ手間をかけているか、である。回答の下書き、一次切り分け、根拠の突き合わせに人手がかかっているなら、小型モデルへの置き換えが検討対象となる。

動く指標としては、次のものが挙げられる。

• 一次回答の正答率・自己解決率（サポート部門）
• 回答作成の所要時間と再問い合わせ率
• 推論の運用コストと応答遅延（情報システム部門）

社外の大型APIに頼らず自社環境で小型モデルを動かせれば、機密情報の扱いやコスト面でも利点がある。ただし、手順の質が精度を左右するという本研究の知見は、自社データの整備の重要性を改めて示すものである。

現場での導入イメージ

仮に導入支援に入るなら、次の流れが現実的である。

1. ​棚卸し​：根拠文書を読んで答える業務を洗い出し、回答に時間がかかる問い合わせや誤答が多い領域を可視化する。到達点は、改善対象と評価に使う正解付き事例の一覧が揃った状態である。
2. ​差し込み先の設計​：新しいツールを増やさず、既存の検索基盤（RAG）や問い合わせ管理システムの回答生成部分に、蒸留した小型モデルを置き換える形で載せる。到達点は、現行の運用フローを変えずにモデルだけが差し替わる状態である。
3. ​小さく試す（PoC）​：一部署・数週間の範囲で、過去の問い合わせを使い手順の構築と選別を事前に実施し、担当者が回答の質と使いやすさを実感で確かめる。到達点は、現場が「下書きとして使える」と判断できる水準の確認である。
4. ​運用と横展開​：評価基準と更新手順を整え、規程や製品の改訂に合わせて教材を作り直す体制を築いたうえで、他部署へ広げる。到達点は、部署ごとに教材を再生成できる仕組みの定着である。

全体として目指すのは、根拠に基づく回答業務の一次対応を、低コストの自社モデルが安定して担い、人は判断の必要な案件に集中できる状態である。

今後の展望

研究は、手順の教材としての有用性を、学習元だけでなく別の分布でも評価すべきだと強調している。社内に導入する際も、特定の問い合わせ群での成績だけで判断せず、新製品や改訂規程といった未知の質問での検証を組み込むことが肝要である。AIの教材設計という工程が、今後は競争力の源泉になる可能性がある。