ナウティスニュース
すべて
|
ニュース･評判･反応
The Newton-Muon Optimizerの最新ニュース一覧
The Newton-Muon Optimizer
最新コメント｜
1
4月17日 14:21
in-trac-ta-ble ｺﾝﾅﾝﾅ † me-an-der ﾏｶﾞﾘｸﾈﾙ
🐕🦺LLM学習で高性能なMuOn最適化の設計原理を解明し、改良版を提案 🐕🦺損失を2次近似しニュートン法で解析した結果、標準MuOnは入力共分散^{}による右前処理を無視した近似手法であることが判明 🐕🦺検証した結果、目標損失到達まで6%少ないステップ数、実測時間を4%短縮 arxiv.org/abs/2604.01472 pic.x.com/zlSjIItaR7