1, 2, ⋯ , , ∈ ℝ
1, 2, ⋯ , , ∈ ℝ1
1 = 111 122 ⋯ 1
2 = 211 222 ⋯ 2
⋮
= 11 22 ⋯
××1 = ×1
當 = 且×可逆時:
= −1s
一般情況: ≠ n
設min||X − ||2 =
則對矩陣求導可得,/= X(X − ) = 0
XX = X XX是否可逆?
補充:矩陣可逆的條件:
R(A)=n,即若矩陣滿秩則矩陣可逆
秩的定義:矩陣中所有行向量中極大線性無關組的元素個數。
1. N > n
如 = 5, = 3 (XX)3×3一般是可逆的
補充: R(AB)<<R(A)或R(B)
則 = (XX)(−1)X
此時(XX)(−1)X即為僞逆矩陣
2. <
如 = 3, = 5 (XX)5×5
(XX) ≤ (X) ≤ 3
故XX不可逆
此時就需要加上正則項得,
這裡所求的解便是最小範數解
2. PCA原理與推導PCA仍然是一種數據壓縮的算法
如圖所示,A點需要x,y兩個坐标來表示,假設A在向量u上面的投影點為A’,則A’僅僅需要一個參數就能表示,就是OA’的長度(即A’在u上的坐标),我們就想着用A’來替換A,這樣N個點(原來要2*N個參數),現在隻需要(N 2)個參數(u也需要2 個參數)
但是此時就帶來了誤差,如AA’和BB’,所以我們要能夠找到這樣一個方向u,使得所有原始點與投影點之間的誤差最小。
後續将繼續更新課程内容. . . .
,更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!