トピック: Pretraining

全セクション横断 3 件

大規模言語モデルの標準訓練手法「AdamW」が重尾ノイズ環境下で収束する理論的保証を持たないことが、複数大学の共同研究で明示された。AI開発投資の信頼性評価に直結する問題として、産業界の注目を集める。

米研究チームが4ビット浮動小数点演算によるLLM事前学習の根本的欠陥を解明し、改良手法「UFP4」を提案した。大規模モデル訓練のコストと消費電力を大幅に低減できる可能性があり、AI投資を加速する企業の競争力に直結する。

シンガポール国立大学などの研究チームが、一人称視点の人間行動映像でロボットAIを事前学習させると、高コストな遠隔操作ロボットデータを上回る性能が得られることを実証した。製造・物流業界のロボット導入コストを大幅に削減できる可能性がある。