這是一篇論文筆記: “A Connection Between Score Matching and Denoising Autoencoders”
建議看本文前請先參前一篇: Score Matching 系列 (一) Non-normalized 模型估計
前言
基於 Score Matching, 提出 Denoising Score Matching (DSM) 的目標函式, 好處是在 energy-based model 下:
- 不用將 score function 的 gradients 也納入 loss 去計算 (避免二次微分做 backprop 提高效率)
- 當 input $x$ 的維度很大也沒問題 (可以 scalable)
但缺點是:
- 最多只能學到加 noise 後的分布
- 加 noise 的 level 不好調整
這兩個缺點在下一篇 Sliced Score Matching (SSM) 可以得到改善
這篇論文最後也點出了 denoising autoencoder 跟 score matching 的關係 (實際上就是 DSM loss)
以下正文開始