STEPQuant、推論メモリを最大68.7%削減

研究の概要

中国を中心とする研究チームは、線形注意モデルが推論時に保持する再帰状態を低精度化する手法「STEPQuant」を開発し、論文として公表した。線形注意は、文章が長くなるほど増える従来のKVキャッシュを、固定サイズの再帰状態に置き換える方式である。ただし、多数のユーザーを同時に処理するサービングでは、この状態が利用者ごとに保持されるため、メモリの大きな負担になる。

再帰状態を単純に低ビット化すると、量子化誤差が逐次の状態更新を通じて蓄積し、精度が大きく低下しやすい。研究チームはこの誤差の影響が二つの軸で異なると指摘した。

• 時間軸：長く保持される記憶の誤差は、多数のデコードステップにわたって残り続ける。
• 空間軸：キーの行ごとに出力誤差への影響が異なり、状態の大きさも行と列で大きくばらつく。

STEPQuantはこの知見に基づき、誤差の大きさと記憶の寿命に応じてビット精度を配分する。さらに、状態の分布とキー行の出力誤差への影響度から、キー行とバリュー列のスケールを同時に最適化する。追加学習を要しない事後量子化である点も特徴である。

評価にはQwen3.8-27BとKimi-Linear-48B-A3B-Instructを用い、長文生成と短文生成の双方のベンチマークで検証した。名目6ビットの設定では、FP32状態の精度にほぼ並んだ。4ビット設定でも、一様のINT8量子化を上回った。

ビジネスへの示唆

SGLangに最適化したGPUカーネルを組み込んだ実装では、6ビット設定で再帰状態を5倍超圧縮し、サービング総メモリを最大**68.7%**削減した。推論基盤のコスト構造に直接作用する成果である。

最も恩恵が大きいのは、LLM APIやチャット型サービスを運営するクラウド事業者、AIスタートアップ、大手企業のAI基盤部門である。GPUメモリは推論コストの主要因であり、同じGPU台数で処理できる同時接続数を増やせる可能性がある。影響が見込まれる指標は次のとおりである。

• 1リクエストあたりの推論コスト
• GPU1台あたりの同時処理数（スループット）
• 必要GPU台数と設備投資額
• 応答遅延（レイテンシ）の安定性

コールセンターの対話支援、金融機関の長文レポート要約、法務部門の契約書レビュー、ソフトウェア開発部門のコード支援など、長い文脈を多数のユーザーが並行して扱う業務では効果が出やすい。こうした用途では同時セッション数がメモリで制約されやすく、圧縮の効果が運用コストに反映されやすい。

オンプレミスやエッジで運用する企業にも意味がある。データの社外持ち出しを避けたい製造業や医療機関では、限られたGPU資源でより大きなモデルを動かす選択肢が広がる。情報システム部門にとっては、既存機材の延命やGPU調達計画の見直しにつながりうる。

もっとも、削減率は評価条件に依存する。自社のワークロード、モデル構成、バッチサイズによって実際の効果は変わるため、導入判断には自社環境での検証が欠かせない。対象はDelta-rule型の線形注意モデルに限られ、従来型のTransformerにはそのまま適用できない点にも留意が必要である。

今後の展望

近年、長文脈処理の効率化を狙い、線形注意や、それと従来型注意を組み合わせたハイブリッド構成のモデルが増えている。こうしたモデルの実運用が広がるほど、再帰状態の圧縮は推論コスト削減の実務的な課題になる。STEPQuantはコードが公開されており、主要な推論エンジンであるSGLangに統合された点から、試験導入の敷居は比較的低い。

今後は、より多様なモデルやタスクでの精度検証、他の量子化手法や重み量子化との併用効果、他の推論基盤への展開が焦点となる。推論メモリの効率化は、AI活用の単価を左右する要素であり、モデルの性能競争に加えて、運用コストの競争が重みを増すとみられる。