トピック: AdamW

全セクション横断 2 件

行列直交化に基づく分散学習最適化手法「DMuon」が公開された。従来比で最大163倍の最適化ステップ高速化を実現し、大規模AIモデルの開発コストと期間を抑制できる可能性がある。

大規模言語モデルの標準訓練手法「AdamW」が重尾ノイズ環境下で収束する理論的保証を持たないことが、複数大学の共同研究で明示された。AI開発投資の信頼性評価に直結する問題として、産業界の注目を集める。