顧客現場でのAI納品、評価基準が登場

研究の概要

中国の研究者らによる論文が、AIエージェントの実務力を測る新たな評価基準「FDE-Gym」を発表した。FDEとは、顧客の現場に入り込んで要件を詰め、稼働中のシステムに手を入れて成果を出す導入担当技術者を指す。従来のエージェント評価は、課題報告書や仕様書、作業チケットのように、あらかじめ明確に定義された課題を解けるかどうかを問うてきた。実際の顧客案件はこれと異なる。要望は曖昧であり、稼働中の環境で作業し、誰も明言しない制約を探り当てる必要がある。

FDE-Gymは、18業種・20の顧客シナリオにまたがる​95件の納品課題​で構成される。各課題は、実際の導入案件を業界の専門家が作り替えたものである。評価対象は13のモデル構成で、提供元は7社に及ぶ。

結果は厳しい。制約を自力で発見すべき現実的な設定では、最良の構成でも平均スコアは​0.56​にとどまった。「スコア0.8以上かつ事故なし」を解決とみなす基準では、解けたのは95件中​14件​である。誰も明言しない制約の発見が最大の障害であり、明示的な手がかりなしに制約を掘り起こす場面で成績が大きく落ちた。

さらに注目すべきは、情報収集だけでは差を説明できない点である。最良構成が必要な事実をすべて関係者から聞き出せた23課題でも、業務改善効果が0.8以上に達したのは10課題にすぎなかった。

しくみをやさしく

FDE-Gymは、顧客企業の環境を模擬した「演習場」である。そこには台本に沿って応答する関係者役と、実際に手を加えられる本番相当のシステムが用意される。AIは関係者に質問し、システムを調べ、改修し、試運転を行って納品する。

採点の軸は、顧客自身が重視する成功指標がどれだけ改善したかである。何も変えない状態を0、専門家による参照解を1として正規化する。コードが動くかではなく、顧客の数字が動くかを問う設計である。

あわせて、関係者への連絡回数、試運転の回数、待ち時間にはペナルティが課される。顧客を質問攻めにしたり、本番環境で試行錯誤を繰り返したりすれば減点される。熟練の導入担当者が暗黙に守る作法を、採点に織り込んだ形である。

課題の本質は、聞かれなかったことを気づく力にある。たとえば在庫の自動発注を改善する依頼に、月末は経理が手作業で調整するという暗黙の運用が隠れている場合、これを見落とせば指標は改善しても事故が起きる。研究では、人間が同じ採点基準で技能を磨けるオンライン基盤も用意された。

ビジネスへの示唆

注目すべきは、AIの性能指標と顧客への納品品質が別物だという点である。以下の部門は、自らの業務に引き寄せて点検する価値がある。

• 情報システム部門：基幹システムの改修依頼の受付と要件整理。動作する成果物が出ても、運用上の例外が漏れる懸念がある。
• 営業・カスタマーサクセス部門：顧客との要件確認や導入後の定着支援。受注後の手戻り件数や導入後の解約率に影響する。
• 製造・物流の現場改善部門：稼働中ラインや倉庫システムへの変更。事故や停止の発生件数が重要指標となる。
• 経営企画・DX推進部門：AIツールの選定と投資判断。ベンチマーク上の高得点を、そのまま現場の成果に読み替えない姿勢が求められる。

自部署に問いを置き換えてみたい。毎日のように発生する、曖昧な依頼を具体的な作業へ落とす業務は何か。その業務を、いま誰が、どれだけの時間と経験をかけて担っているか。そこには、依頼書に書かれていない暗黙の条件が潜んでいないか。AIに任せられる範囲は、この暗黙知の量で決まる。

現場での導入イメージ

仮に導入支援に入るなら、次の流れを提案する。

1. 棚卸し：AIに任せたい業務を洗い出し、依頼書に書かれない条件がどこで発覚しているかを可視化する。過去の手戻りや事故の事例を集める。目指す到達点は、AI向きの業務と人が握るべき業務の線引きが共有された状態である。

2. 差し込み先の設計：新しいツールを増やさず、既存のチケット管理や社内文書検索（RAG）、承認フローに載せる。AIが提案する前に、過去の例外事例を参照して確認項目を提示する形が現実的である。目指す到達点は、確認漏れを防ぐ仕組みが日常の道具に溶け込んだ状態である。

3. 小さく試す（PoC）：一部署、数週間の範囲で、本番を触らない検証環境から始める。評価は技術指標でなく、担当者が手戻りや確認の手間が減ったと実感できるかで確かめる。目指す到達点は、現場が納得できる小さな成功体験である。

4. 運用と横展開：FDE-Gymに倣い、顧客指標の改善度と、連絡や試行の回数という両面で評価基準を整える。その基準を他部署へ広げる。目指す到達点は、成果と作法の双方を測れる共通の物差しである。

全体として目指すのは、AIを自律的な納品者として扱うのではなく、暗黙の制約を人が補い、AIが実作業を担う分業が定着した状態である。費用面では、既存基盤の活用により小さく・安く始められる可能性がある。

今後の展望

FDE-Gymは、AIの性能競争の焦点が、明確な課題を解く力から、曖昧な現場で成果を出す力へ移ることを示す。制約の発見と、それを解決に結びつける力の両方が課題として残った。企業側もAI導入の評価を、ベンチマークの点数から自社の成功指標の改善へと切り替える時期にきている。