正答率の高いAIほど規則の順序を区別

研究の概要

数学の規則の並び順を入れ替えても意味は変わらず、正しい答えも同じである。では、AIモデルの内部表現も並び順に左右されないはずなのか。この問いを検証した論文が、arXivに公開された。著者はZhixu Silvia Tao氏である。

研究は、複数段階の関数合成問題を人工的に生成し、正解を保ったまま規則の順序を複数通りに並べ替えて提示する方式をとった。評価指標は正答率と「順列SNR（信号対雑音比）」である。後者は、順序パターンが問題ごとのばらつきに比べてどれだけ明確に区別して表現されているかを示す。対象は1Bから8Bパラメータの言語モデル16種類である。

結果は直観に反した。層平均の順列SNRは、評価したすべての合成設定で正答率と正の順位相関を示し、スピアマン相関は最大0.86に達した。並べ替えられた問題をよく解くモデルほど、等価な規則順序を内部でより明確に区別していたことになる。著者は、答えの不変性と表現の不変性を分けて考えるべきだと指摘している。

ビジネスへの示唆

企業のAI評価では、入力の順序を変えても同じ答えが出るかを確かめるロバストネス試験が広く使われる。本研究は、答えが一致していても内部の表現まで同一である必要はなく、むしろ順序を区別する表現が正答と結び付く場合があることを示す。ただし、対象は合成問題と小中規模モデルに限られる。以下の業務への影響は、この知見を実務に当てはめた場合の想定である。

• 金融・保険の審査部門：与信や査定のルール適用。KPIは誤判定率、再審査率、審査1件当たりの所要時間
• 法務・コンプライアンス部門：契約条項や社内規程の照合。KPIはレビュー工数、見落とし件数、監査指摘件数
• 製造業の生産技術部門：工程手順や作業標準書の解釈。KPIは手順誤りによる不良率、手戻り件数
• カスタマーサポート部門：ルールに基づく応答の自動化。KPIは一次解決率、誤案内率

これらの業務では、規則の記載順が文書ごとに異なるのが通常である。AIの導入部門は、受け入れ試験に順序入れ替えテストを加え、正答率の平均だけでなく順序ごとの成績のばらつきも導入判断の指標にすることが考えられる。内部表現の指標が正答率と連動するなら、正解データの整備が難しい領域で、モデル選定を補助する追加の手がかりになる可能性もある。一方、表現の不変性そのものを品質要件に掲げると、性能の高いモデルを不当に排除しかねない点には注意が要る。

今後の展望

本研究には限界がある。相関は因果を意味せず、順列SNRが高いことが正答の原因かどうかは未確認である。また、実務の規則には優先順位のように順序自体が意味を持つものもあり、合成問題の結果をそのまま適用することはできない。8Bを超える大規模モデルや実データでの検証も残されている。

実務面では、内部表現の解析にはモデルの内部状態へのアクセスが必要である。このため、当面はオープンウェイトのモデルを自社運用する企業が、評価手法として取り込みやすい。外部APIで利用する企業は、順序を入れ替えた出力比較で代用することになる。AIの信頼性評価を答えの正誤から内部の仕組みへと広げる動きが進めば、モデル調達時の評価項目や監査の枠組みにも影響が及ぶとみられる。