複数教師の蒸留、学習の落とし穴を解明
複数のRL教師の能力を1つの小型モデルへ統合する蒸留で、損失の平均化方式や数値精度が成果を左右することが判明した。AI開発の品質管理と計算コストに直結する知見である。

10本掲載
複数のRL教師の能力を1つの小型モデルへ統合する蒸留で、損失の平均化方式や数値精度が成果を左右することが判明した。AI開発の品質管理と計算コストに直結する知見である。

米研究チームは、1枚の画像から3Dシーンを作り、カメラと被写体の動きを同時に指定できる動画生成システムGenCineを発表した。広告や映像制作の工程短縮に直結する技術である。

長い音声付き映像から、必要な場面を自ら選んで見聞きする推論AI「OmniSeek」が登場した。映像と音声の両方を根拠とする推論を促し、監視や会議分析の精度向上に道を開く。

米研究チームが、深層学習向けの準ニュートン法「SoftServe」を発表した。Adamなど既存手法より低い損失を達成する例があり、物理シミュレーションAIの開発コスト削減につながる可能性がある。

米研究チームが、ループ型Transformerの途中計算を活用し追加学習なしで推論精度を高める手法LoopCDを開発した。ループ数を半減しても同等以上の精度を保ち、演算量を最大48.2%削減した。

米スタンフォード大などの研究チームが、分子の環構造を生成規則の列として表現する新手法HGRを開発した。生成分子は常に有効で、創薬AIの基盤モデル性能も大幅に向上した。

中国・米国の研究チームが、拡散モデルを少ステップで動かす蒸留手法DMADを発表した。補助モデルを不要とし、1~4ステップで教師モデルを上回る品質を示し、生成コストの削減に道を開く。

米大学などの研究チームが、LLMの数学的理解を4能力で診断する新指標を提案した。正答率に隠れた弱点は「発見」にあり、補強で推論精度が向上するため、業務AIの品質改善に直結する。

米クアルコム系研究者らが、複数の物理法則が同時に働く動画を生成する強化学習手法HiPhyを提案した。物理的な不自然さを抑え、映像の実用化に向けた課題解決につながる成果である。

研究チームが、LLMの全パラメータ微調整でオプティマイザ状態を174分の1に削減する手法TACOを発表した。80GBのGPU1枚で30B級モデルを扱え、調達費の抑制につながる可能性がある。
