AI×経営戦略10/1(木)STEPQuant、推論メモリを最大68.7%削減中国の研究チームは、線形注意モデルの再帰状態を6ビットで圧縮する量子化手法STEPQuantを開発した。精度をほぼ維持し、同時処理時のサービング総メモリを最大68.7%減らす。
AI×経営戦略7/5(日)画像・動画AI推論コスト、新手法で大幅削減米研究チームが開発した量子化技術「OrbitQuant」は、再学習不要で画像・動画生成AIの推論コストを大幅に低減する。クラウド費用やレイテンシに悩む企業のAI活用戦略に直結する成果である。