¹³Optimization

總計約 57.58K 字

2026

聊聊 SpinQuant 05-14

隨機旋轉的量化魔法: 去去極值走 04-29

正交(旋轉)矩陣的切空間, 以及 Cayley SGD 維持正交性的梯度更新算法 04-27

初探推土機距離和 Entropic 最優傳輸 (EOT): 數學理論篇 (2/3) 03-03

2025

Robbins-Monro Algorithm 和 Dvoretzky's Convergence Theorem 筆記 05-02

2024

Model Generalization With Flat Optimum 05-04

Sharpness-Aware Minimization (SAM) 論文閱讀筆記 03-20

2022

Weight Normalization 的筆記 09-26

Why Stochastic Weight Averaging? Averaging Results V.S. Averaging Weights 07-20

SGD 泛化能力的筆記 05-28

1
2