LLM推論の電力・遅延をAIが予測

研究の概要

スイス・マドリードの研究チームは、大規模言語モデル（LLM）の推論処理における消費電力とトークン間レイテンシ（ITL）を、GPUへの実機アクセスなしに予測するフレームワーク「WattGPU」を発表した。論文はarXivに公開されている。

従来、データセンター事業者がLLMとGPUの組み合わせを最適化するには、実機を用いた網羅的なプロファイリングが不可欠であった。WattGPUはLLMの公開メタデータとGPUの公開仕様のみを入力として用いることで、このボトルネックを解消する。

評価実験では、オープンソースLLM 42モデル（パラメータ数0.1B〜27B）と8種類のNVIDIA サーバーグレードGPUを対象に、未知のGPUとLLMへの汎化性能を厳密に検証した。消費電力予測のオフラインシナリオでは中央値絶対パーセント誤差が3.4%以下、サーバーシナリオのレイテンシ予測では8.5%以下を達成した。既存の物理モデルベースラインと比較して誤差を約2〜4倍低減している。

ビジネスへの示唆

この技術が直接影響を与える業種と部門は以下の通りである。

• クラウド・データセンター事業者（インフラ調達部門）：GPU購入前にLLMワークロードとの相性をシミュレーションでき、設備投資の失敗リスクを低減できる。
• 金融・製造・医療のAI推進部門：自社で運用するLLMに最適なGPU構成を実機テストなしに絞り込め、PoC期間を短縮できる。
• エネルギー管理部門：PUE（電力使用効率）やCO₂排出量といるKPIに対し、GPU選定段階から定量的な電力見通しを組み込めるようになる。

具体的なKPI改善効果として、GPU選定に要するプロファイリング工数の削減、電力コスト予測精度の向上、そしてサービスレベル合意（SLA）で定めるレイテンシ目標への適合率向上が期待される。特にLLMの推論コストはデータセンター全体の電力消費において急成長中の要素であり、設計段階での電力見通しは電力契約やカーボンクレジット計画にも直結する。

企業がAIサービスを内製化・拡張する局面では、GPUインフラの調達リードタイムが数カ月に及ぶことも珍しくない。WattGPUのような予測ツールは、調達判断の精度を高めるとともに、過剰投資や性能不足による再調達リスクを抑える実務的な効果をもたらす。

今後の展望

WattGPUのコードとデータセットはGitHub上で公開されており、企業や研究機関による即時活用が可能な状態にある。現時点ではNVIDIA製サーバーグレードGPUを対象としており、AMD製GPUや次世代アーキテクチャへの対応が今後の課題となる。

AI推論需要が拡大する中、GPU選定の意思決定を高速化・高精度化するツールへの需要は今後も増す見込みである。クラウド各社がグリーンAIを競争優位として訴求する流れも強まっており、電力効率の定量化を支援するWattGPUのような手法は、調達戦略のみならずESG報告における信頼性向上にも貢献しうる。