tft每日頭條

 > 生活

 > 從零開始學習數學書籍

從零開始學習數學書籍

生活 更新时间:2024-12-27 21:35:55
第一周-數學基礎的學習大綱
  1. 矩陣對角化,SVD分解以及應用
  2. 逆矩陣,僞逆矩陣
  3. PCA原理與推導
  4. 極大似然估計,誤差的高斯分布與最小二乘估計的等價性
  5. 最優化,無約束,有約束,拉格朗日乘子的意義,KKT條件

課程2 逆矩陣,僞逆矩陣,最小二乘解,最小範數解;PCA原理與推導1. 逆矩陣,僞逆矩陣,最小二乘解,最小範數解

1, 2, ⋯ , , ∈ ℝ

1, 2, ⋯ , , ∈ ℝ1

1 = 111 122 ⋯ 1

2 = 211 222 ⋯ 2

= 11 22 ⋯

從零開始學習數學書籍(深度之眼花書訓練營第五期)1

××1 = ×1

當 = 且×可逆時:

= −1s

一般情況: ≠ n

設min||X − ||2 =

則對矩陣求導可得,/= X(X − ) = 0

XX = X XX是否可逆?

補充:矩陣可逆的條件:

R(A)=n,即若矩陣滿秩則矩陣可逆

秩的定義:矩陣中所有行向量中極大線性無關組的元素個數。

1. N > n

如 = 5, = 3 (XX)3×3一般是可逆的

補充: R(AB)<<R(A)或R(B)

則 = (XX)(−1)X

此時(XX)(−1)X即為僞逆矩陣

2. <

如 = 3, = 5 (XX)5×5

(XX) ≤ (X) ≤ 3

故XX不可逆

此時就需要加上正則項得,

從零開始學習數學書籍(深度之眼花書訓練營第五期)2

從零開始學習數學書籍(深度之眼花書訓練營第五期)3

這裡所求的解便是最小範數解

2. PCA原理與推導

PCA仍然是一種數據壓縮的算法

如圖所示,A點需要x,y兩個坐标來表示,假設A在向量u上面的投影點為A’,則A’僅僅需要一個參數就能表示,就是OA’的長度(即A’在u上的坐标),我們就想着用A’來替換A,這樣N個點(原來要2*N個參數),現在隻需要(N 2)個參數(u也需要2 個參數)

從零開始學習數學書籍(深度之眼花書訓練營第五期)4

但是此時就帶來了誤差,如AA’和BB’,所以我們要能夠找到這樣一個方向u,使得所有原始點與投影點之間的誤差最小。

後續将繼續更新課程内容. . . .

,

更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!

查看全部

相关生活资讯推荐

热门生活资讯推荐

网友关注

Copyright 2023-2024 - www.tftnews.com All Rights Reserved