Flash-dLLM、拡散LLM推論を最大11倍に高速化

研究の概要

Quan Nguyen-Tri氏、Mukul Ranjan氏、Zhiqiang Shen氏らの研究チームは、拡散型大規模言語モデル（dLLM）の推論を高速化する枠組み「Flash-dLLM」を論文投稿サイトarXivで公開した。dLLMは、文章を先頭から1語ずつ生成する従来の自己回帰型LLMと異なり、複数の位置のトークンを並行して生成できる方式であり、代替技術として注目されている。一方で、過去の計算結果を再利用するキー・バリュー（KV）キャッシュや、並列デコードを効果的に実現する仕組みが乏しく、実運用の妨げとなっていた。

研究チームは、既存の高速化手法がKVキャッシュと並列デコードを別々に扱っており、両者を併用した際に生じるGPUメモリの入出力（I/O）の負荷を見落としていると指摘する。そこで、KVキャッシュを使うdLLM推論ではGPUメモリI/Oが主要な律速要因になると特定し、冗長なメモリ移動を減らす融合カーネルを開発した。さらにこのキャッシュ機構を土台に、dLLM自身が草案の生成役と検証役を兼ねる「ドラフト・アンド・ベリファイ」型のデコードを提案した。補助モデルが不要で、追加学習も要らない点が特徴である。

数学的推論のGSM8Kとコード生成のHumanEvalを用いた実験では、従来最強の基準手法Elastic-Cacheに対し、それぞれ5.1倍、11.0倍の高速化を達成した。生成品質を保ちながら推論速度とメモリ効率の双方で既存手法を上回り、長い系列や大きなバッチサイズにも拡張しやすいとされる。

ビジネスへの示唆

推論コストは生成AIを事業に組み込む際の主要な費用項目であり、速度向上とメモリ削減はコスト構造に直接影響する。追加学習が不要であるため、dLLMを利用する企業は、モデルを再訓練せず推論基盤の改修だけで効果を見込める点が実務上の利点である。

影響を受けやすい部門と指標は次のとおりである。

• ソフトウェア開発部門：コード補完や自動レビューの応答遅延の短縮。補完の採用率や開発者1人あたりの生産性に影響する
• カスタマーサポート部門：回答生成の応答時間や同時対応件数の向上
• 金融・経理部門：長文の契約書や決算資料の要約・分析といったバッチ処理の所要時間の短縮
• IT・インフラ部門：GPU1台あたりの処理件数（スループット）の向上とGPU調達費の抑制

特にHumanEvalでの伸びが大きい点は、コード生成支援サービスを提供するSaaS事業者にとって関心が高い。メモリ効率の改善は、同じGPUでより長い文脈や大きなバッチを扱えることを意味し、1リクエストあたりの推論コストの低減に結びつく可能性がある。ただし、論文の数値は研究用ベンチマーク上の比較である。商用環境での削減幅は、負荷の特性やハードウェア構成によって異なる点に留意が必要である。

今後の展望

dLLMは自己回帰型に比べて実装や最適化の知見の蓄積が浅く、推論基盤の成熟が普及の条件になるとみられる。今回の成果は、アルゴリズムの工夫だけでなく、GPUのメモリ階層を意識したシステム設計が性能を大きく左右することを示している。

企業がdLLMを採用候補とする場合は、応答遅延、GPUあたりのスループット、メモリ使用量といった指標で自己回帰型LLMと比較検証することが求められる。より大規模なモデルや多様なタスク、実運用に近い負荷での検証結果が、今後の導入判断の材料となる。