AI×経営戦略10/1（木）LeapQuant、線形注意の推論を1.47倍高速化米UCバークレー校などの研究チームが、線形注意型LLMの再帰状態を8ビットに量子化しても精度を保つ手法LeapQuantを開発した。長文推論の費用を下げ、実運用の採算改善に資する成果である。
AI×経営戦略10/1（木）STEPQuant、推論メモリを最大68.7%削減中国の研究チームは、線形注意モデルの再帰状態を6ビットで圧縮する量子化手法STEPQuantを開発した。精度をほぼ維持し、同時処理時のサービング総メモリを最大68.7%減らす。
