機械学習開発を自律遂行する35Bモデル登場

研究の概要

Du氏らの研究チームは、機械学習エンジニアリング（MLE）を長時間にわたり自律的に進める35BのMixture-of-Experts型エージェントモデル「​MLExpert​」を発表した。MLEとは、データの前処理、モデル選定、学習、評価、改善を繰り返して予測精度を高める一連の作業である。

評価にはMLE-Bench Liteを用いた。これはデータ分析コンペティション形式の課題で、上位に入るとメダルを得られる指標である。基盤モデルの平均メダル獲得率は37.9%だったが、MLExpertは​72.7%​に達した。この水準はKimi-K3やGLM-5.3といった、より大規模な先端モデルに匹敵するという。

さらにNatureBench Lite、エージェントの足場（scaffold）の最適化、アルゴリズム最適化でも性能が向上した。学習した最適化の能力が、他の課題にも一般化する可能性が示された。

しくみをやさしく

難しさは、実験結果が過去の複数の判断の積み重ねを反映する点にある。ある実験で精度が上がっても、それがどの判断のおかげかは判然としない。しかも実験1回ごとに計算コストがかかり、長い作業では多数の実験を重ねる。

研究チームはまず、Kaggle由来の課題から実行可能なタスクと実験環境を自動構築する「Kaggle-MLE Factory」を用意した。次に二段階で訓練した。第一段は階層的なエージェントSFT（教師あり微調整）で、汎用的なツール利用やコーディングの能力を、成果に基づいて選別した手本データでMLEへ移す。

第二段は​Windowed Interaction RL（WIRL）​である。実験結果が返ってから次の結果が返るまでの複数ターンの判断を一つの「実行窓」とみなし、その窓に成果に基づく共通の報酬を与える。1手ずつ評価するのではなく、実験1回分のまとまりで評価するため、判断と結果の対応が取りやすい。加えて非同期の軌跡収集と方策の補正により、作業が終わる前でも方策を更新できる。長時間の実験を待たずに学習を進められる工夫である。

ビジネスへの示唆

恩恵が大きいのは、特徴量づくりやモデル調整を繰り返す業務である。たとえば需要予測、与信スコアリング、解約予測、広告の反応予測などが該当する。いずれも、データサイエンティストが仮説を立て、試し、結果を見て直す工程に多くの時間を割いている。

自部署に引き寄せるなら、次の問いが出発点になる。いま誰が、どの予測モデルの改善にどれだけ手をかけているか。定期的に作り直している予測モデルはあるか。

影響を受けやすい部署と、動き得るKPIは次のとおりである。

• 需要計画・SCM部門：予測精度、在庫回転、欠品率
• マーケティング部門：施策の反応率、解約率、分析の着手までの日数
• 金融のリスク管理部門：モデル更新の頻度、審査精度
• データ分析チーム：改善サイクル1回あたりの工数

もう一つの含意は、35Bという規模で先端モデルに迫った点である。大規模モデルを外部APIで呼ぶ以外に、自社環境で運用しやすい規模の選択肢が現実味を帯びる。機密データを社外に出しにくい金融や医療では、検討の余地が広がる。

現場での導入イメージ

仮に導入支援に入るなら、次の流れを提案する。

1. ​棚卸し​：予測モデルの改善業務を洗い出し、試行錯誤に時間を取られている案件を可視化する。目指す到達点は、自動化に向く案件と、人の判断が要る案件を区別できている状態である。
2. ​差し込み先の設計​：新しいツールを増やさず、既存のデータ基盤やノートブック環境、社内の実験管理の仕組みにエージェントを載せる。目指す到達点は、データの権限や実行環境が既存の統制の内側に収まっていることである。
3. ​小さく試す（PoC）​：一部署・数週間で、過去に人が改善した予測課題を再現させ、担当者の実感で出来栄えを確かめる。目指す到達点は、提案の質と手戻りの少なさを現場が納得して評価できることである。
4. ​運用と横展開​：採否の基準、人によるレビューの位置、実行コストの上限を定め、他部署へ広げる。目指す到達点は、エージェントが試行を担い、人が課題設定と最終判断に集中する分業である。

全体として目指すのは、分析担当者の時間を反復的な試行から課題設定へ移し、改善サイクルを小さく安く回せる状態である。

今後の展望

留意点もある。評価はコンペティション型の課題が中心で、欠損や仕様変更が多い実務データで同じ水準が出る保証はない。実験を繰り返すため、計算資源の管理も欠かせない。一方、自らAIシステムを改良する能力の一歩として、今後の動向は注視に値する。