AI×経営戦略10/12(月)4ビットAdamW、丸め方の再設計で精度差縮小AdamWの最適化状態を4ビットで保持する際の丸め方を見直した新手法ZIP-SRとZE-EDENが提案された。メモリ削減と学習精度の両立を狙え、LLM自社学習の費用負担を下げる可能性がある。
AI×経営戦略7/3(金)新Transformer設計、LLM効率を大幅改善米コーネル大学などの研究チームが、大規模言語モデルの計算効率を根本から見直す新アーキテクチャを発表した。学習コストと精度の両面で標準モデルを上回り、企業のAI導入コスト削減に直結する可能性がある。