トピック: Heavy-Tailed Noise

全セクション横断 2 件

中央サーバーなしで複数拠点が協調学習する分散SGDに勾配クリッピングを加えるだけで、重い裾のノイズ下でも理論上最適な収束率と参加数に比例した高速化が得られると示された。

大規模言語モデルの標準訓練手法「AdamW」が重尾ノイズ環境下で収束する理論的保証を持たないことが、複数大学の共同研究で明示された。AI開発投資の信頼性評価に直結する問題として、産業界の注目を集める。