向量的 norm 我們很熟悉了, 但對於一個矩陣的 norm 又該怎麼定義呢?
最直覺的想法就是把矩陣 flatten 成一個向量, 套用向量的 norm 即可. 這引導出了 Frobenius norm.
但是矩陣還包含了將向量做線性轉換的作用, 所以向量經過矩陣轉換後的 norm 變化是不是可以用來當作矩陣 norm 的度量方式呢? 這樣的想法引導出了 operator norm 或 spectral norm.
先給出 take away 總結:
Frobenius norm: 開根號的 “singular value 平方和”
$$\begin{aligned} \|A\|_F := \sqrt{\sum_{i,j}|a_{ij}|^2} =\mathrm{Tr}(A^HA)=\sqrt{\sum_i^{\min\{m,n\}}\sigma_i^2(A)} \end{aligned}$$Spectral norm: 最大的 singular value
$$\begin{aligned} \|A\|_2 :=\sup_{\|x\|_2\leq1}\{\|Ax\|_2\}=\sqrt{\lambda_{\max}(A^HA)}=\sigma_{\max}(A) \end{aligned}$$
💡 為什麼 spectral norm 這麼定義?
推薦閱讀周老師的文章, 矩陣範數, 非常具有啟發性！更多延伸：譜半徑與矩陣範數
- 兩者的關係: $$\begin{aligned} \|A\|_2 \leq \|A\|_F \end{aligned}$$
接著詳細記錄定義和推導證明 (參考自黃子嘉線性代數講義)
