1.1 基本概念

【向量（vector）】：一個同時具有大小和方向的幾何對象。

【行向量（row vector）】：一個1×n的矩陣，即矩陣由一個含有n個元素的行所組成：

【列向量（column vector）】：一個m × 1的矩陣，即矩陣由一個包含m個元素的列組成：

行向量的轉置是一個列向量，反之亦然。

【向量的模】：向量的長度叫做向量的模。假設向量 v = (v1, v2, …, vn), 則v的模。記作：

【單位向量】：模為1的向量就是單位向量。

【向量的基（也稱為基底）】：給定一個向量空間 V。 V的一組基B，是指V裡面的可線性生成V的一個線性無關子集。B的元素稱為基向量。

1.2 常見運算

向量常見的運算有：加法，減法，标量乘向量以及向量之間的乘法（叉乘、點乘）。

在機器學習中，我們需要重點看加法，标量乘向量和點乘。

設：存在兩個n維度向量a = (a1, a2, …, an) 和 b = (b1, b2, …, bn)

1.2.1 向量加法

a b = (a1 b1, a2 b2, …, an bn)

1.2.2 向量乘以标量

設标量為k, 則 ka = (ka1, ka2, …, kan)

1.2.3 向量點乘

1.3 向量性質

1.3.1 線性相關（linearly dependent）

假設V是在域K上的向量空間。V中的一組(m個)元素中，若有向量可用有限個其他向量的線性組合所表示，則稱為線性相關，反之稱為線性無關。

換言之，如果v1, v2, ..., vn 是V的向量，如果從域K 中有非全零的元素a1, a2, ..., an，适合 a1v1 a2v2 ... anvn = 0, 則稱它們為線性相關。

如果K中不存在這樣的元素，那麼v1, v2, ..., vn是線性無關或線性獨立。

1.3.2 線性相關的幾何意義

說向量組v1, v2, ... vm 線性相關，則：

當m = 1時，若v1 = 0， 則隻含有v1一個元素的向量組線性相關，否則，線性無關。

當m = 2時，如果 a1v1 a2v2 = 0,則v1和v2線性相關，也就是說v1和v2的分量對應成比例，在幾何意義上，v1和v2共線。否則，二者線性無關。

當m =3時， v1,v2,v3線性相關的幾何意義是三者共面。

1.3.3 正交

若内積空間中兩向量的内積為0，則稱它們是正交的。正交是垂直這一直觀概念的推廣。

1.3.4 正交 vs 線性無關

正交的向量一定線性無關，線性無關的向量不一定正交。

2.1 線性變換

在兩個向量空間之間的一種保持向量加法和标量乘法的特殊映射，稱為線性變換（或線性映射）。

2.2 線性函數

設 V 和 W 是在相同域 K 上的向量空間。法則 f : V → W 被稱為是線性映射，如果對于 V 中任何兩個向量 x 和 y 與 K 中任何标量 a，滿足下列兩個條件:

(1) 可加性： f(x y) = f(x) f(y) (2) 齊次性： f(ax) = af(x)

即其維持向量加法與标量乘法。

上述等價于要求對于任何向量 x1, ..., xm 和标量 a1, ..., am，下面方程成立：

當上述的法則 f : V → W為函數時，就是線性函數。

比較直觀的理解就是大部分一次函數，例如二維空間中的f(x)=ax b，其中a,b為常數。

3.1 m x n 矩陣

3.1.1 定義

将一些元素排列成若幹行，每行放上相同數量的元素，就是一個矩陣。

一個m×n的矩陣是一個由m行n列元素排列成的矩形陣列，矩陣裡的元素可以是數字、符号或數學式。

3.1.2 矩陣的基本運算

最基本運算包括矩陣加（減）法，數乘和轉置運算。

【1】矩陣加法：m×n矩陣A和B的和（差）：A±B為一個m×n矩陣，其中每個元素是A和B相應元素的和（差）: (A ± B)i,j = Ai,j ± Bi,j，其中1 ≤ i ≤ m , 1 ≤ j ≤ n.

【2】矩陣數乘：标量c與矩陣A的數乘：cA的每個元素是A的相應元素與c的乘積，(cA)i,j = cAi,j

【3】矩陣轉置：m×n矩陣A的轉置是一個n×m的矩陣，記為AT（或A'），其中的第i個行向量是原矩陣A的第i個列向量；或者說，轉置矩陣AT第i行第j列的元素是原矩陣A第j行第i列的元素， (AT)i,j = Aj,i

【4】矩陣的乘法：兩個矩陣的乘法僅當第一個矩陣A的列數和另一個矩陣B的行數相等時才能定義。如A是m×n矩陣和B是n×p矩陣，它們的乘積AB是一個m×p矩陣，它的一個元素

其中1 ≤ i ≤ m, 1 ≤ j ≤ p

3.1.3 矩陣運算的規律

[1] 矩陣的加法運算滿足交換律：

A B = B A。

[2] 矩陣的轉置和數乘運算滿足分配律：

(A B)T = AT BT c(A B) = cA cB

并滿足類似于結合律的規律： c(AT) = (cA)T.

[3] 矩陣的乘法滿足結合律和對矩陣加法的分配律（左分配律和右分配律）：

• 結合律：(AB)C = A(BC), • 左分配律：(A B)C = AC BC, • 右分配律：C(A B) = CA CB.

[4] 矩陣的乘法與數乘運算之間也滿足類似結合律的規律:

c(AB) = (cA)B = A(cB)

[5] 矩陣的乘法與轉置之間則滿足倒置的分配律：

(AB)T = BTAT

[6] 矩陣乘法*不*滿足交換律。

一般來說，矩陣A及B的乘積AB存在，但BA不一定存在，即使存在，大多數時候AB ≠ BA。

3.1.4 矩陣與線性變換的關系

矩陣是線性變換的便利表達法。

以R^n表示所有長度為n的行向量的集合。每個m×n的矩陣A都代表了一個從R^n射到R^m的線性變換。

也就是說，對每個線性變換f: R^n -> R^m，都存在唯一m×n矩陣A使得對所有R^n中的元素x，f(x) = Ax。

3.1.5 相關基本概念

【矩陣的秩】： 用初等行變換将矩陣A化為階梯形矩陣, 則矩陣中非零行的個數就定義為這個矩陣的秩。

【列秩】：一個矩陣A的列秩是A的線性獨立的縱列的最大數目。

【行秩】：一個矩陣A的行秩是A的線性獨立的橫行的最大數目。

行秩和列秩的關系：矩陣的列秩和行秩總是相等的。因此它們可以簡單地稱作矩陣A的秩。通常表示為r(A)，rk(A)或rank A。

【滿秩矩陣（non-singular matrix）】:若矩陣秩等于行數，稱為行滿秩；若矩陣秩等于列數，稱為列滿秩。既是行滿秩又是列滿秩則為n階矩陣即n階方陣。

【子式】：設A為一個 m×n 的矩陣，k為一個介于1和m之間的整數，并且k≤n。A的一個k階子式是在A中選取k行k列之後所産生的k2個交點組成的方塊矩陣的行列式。

【餘子式】：A的一個k階餘子式是A去掉了k行與k列之後得到的(m-k)×(n-k)矩陣的行列式。

NOTE: 在m=/=n的情況下，這樣的行列式如何計算是沒有定義的，僅僅在概念上存在。

【零矩陣】：即所有元素皆為0的矩陣。

NOTE：對稱矩陣，對角矩陣，矩陣的對角化等都有針對mxn矩陣的一般定義，但是在應用的層面，我們不必進行這些一般性的讨論，而隻需要關注其針對nxn階方陣的情形即可，因此，大多數情況下，對于矩陣的性質和運算，我們集中關注方陣這一特例。

3.2 n x n方陣

方陣具備一些一般m x n矩陣(m =/= n) 所不具備的特征和屬性，使得它們特别有用。而一些運算，如對角化等在方陣中比一般矩陣中多見而且更容易，因此，許多問題我們集中在方陣裡讨論。

3.2.1 基本概念

【方陣】：在所有矩陣中，行和列相等的那類稱為方陣。

【行列式】：将一個nxn的方陣A映射到一個标量，記作|A|或det(A)。雖然記作|A|，但其實一個矩陣的行列式有可能是負數，這裡要注意和絕對值區别。

• 1階矩陣的行列式：就是它本身。

• 2階矩陣的行列式：

• 3階矩陣的行列式：

【主子式】：設A是一個n階方陣，I和J是集合{1,...,n}的一個k元子集，那麼[A]I,J表示A的k階子式。其中抽取的k行的行标是I中所有元素，k列的列标是J中所有元素。

如果I=J，那麼稱[A]I,J是A的主子式。

如果I=J={1,...,k}（所取的是左起前k列和上起前k行），那麼相應的主子式被稱為順序主子式。一個n×n的方塊矩陣有n個順序主子式。

【餘子式】：設A為一個 n階方陣， A關于一個k階子式的餘子式，是A去掉了這個k階子式所在的行與列之後得到的(n-k)×(n-k)矩陣的行列式，簡稱為A的k階餘子式。

A關于第i行第j列的餘子式Mij是指A中去掉第i行第j列後得到的n−1階子矩陣的行列式。有時可以簡稱為A的（i，j）餘子式。記作Mij。

【餘子矩陣】: n階方陣A的餘子矩陣是指将A的(i, j)代數餘子式擺在第i行第j列所得到的矩陣，記為C。

Cij = (−1)^(i j) Mij

【伴随矩陣】：上述餘子矩陣C的轉置矩陣，稱為n階方陣A的伴随矩陣。記作A*。

【單位矩陣】：單位矩陣（記作I）的對角線全是1而其他位置全是0。

【置換矩陣】：是一種系數隻由0和1組成的方塊矩陣。置換矩陣的每一行和每一列都恰好有一個1，其餘的系數都是0。

3.2.2 逆矩陣，可逆矩陣，（非）奇異矩陣及可逆與其他概念的關系

【逆矩陣】：給定一個n階方陣A，若存在一n 階方陣B， 使得AB=BA=I，其中I 為n 階單位矩陣，則稱A 是可逆的，且B 是A 的逆陣，記作 A^(-1)。

【可逆矩陣】：若n 階方陣A 的逆陣存在，則稱A 為非奇異方陣或可逆方陣。

可逆和滿秩的關系：對n階方陣而言，滿秩等價于可逆。

可逆和伴随的關系：如果n階方陣A可逆，那麼它的逆矩陣和它的伴随矩陣之間隻差一個系數。

然而，伴随矩陣對不可逆的矩陣也有定義，并且不需要用到除法。

【奇異方陣】：若方塊矩陣A滿足條件|A|=0，則稱A為奇異方陣，否則稱為非奇異方陣。

可逆和非奇異方陣的關系：對于n階方陣而言，非奇異等價于可逆矩陣。

3.2.3 對稱矩陣、對角矩陣、可對角化和對角化

【對稱矩陣】：對稱矩陣是一個n階方陣，其轉置矩陣和自身相等：

對稱矩陣中的右上至左下方向元素以主對角線（左上至右下）為軸對稱。若将其寫作A=（aij），則：aij = aji

方陣與對稱的關系：對于任何方陣A，A AT 都是對稱矩陣。

【對角矩陣】: 是一個主對角線之外的元素皆為0的n階方陣。對角線上的元素可以為0或其他值。

對角與對稱的關系：對角矩陣都是對稱矩陣。

【可對角化】：如果一個方塊矩陣 A 相似于對角矩陣，也就是說，如果存在一個可逆矩陣 P 使得 P −1AP 是對角矩陣，則它就被稱為可對角化的。

方陣可對角化充要條件：n x n方陣可進行對角化的充分必要條件是：

(1) n階方陣存在n個線性無關的特征向量。

(2) 如果n階方陣存在重複的特征值，每個特征值的線性無關的特征向量的個數恰好等于該特征值的重複次數

【對角化】：将可對角化的方陣A通過與轉換矩陣P的運算，轉換為對角矩陣的過程叫做對角化。

3.2.4 相似矩陣和相似變換

【相似矩陣】：兩個系數域為K的n階方陣A與B為域L上的相似矩陣當且僅當存在一個系數域為L的n×n的可逆矩陣P，使得:

這時，稱矩陣A與B“相似”。

【相似變換】： 相似變換是矩陣之間的一種等價關系。也就是說滿足：

1. 反身性：任意矩陣都與其自身相似。
2. 對稱性：如果A和B相似，那麼B也和A相似。
3. 傳遞性：如果A和B相似，B和C相似，那麼A也和C相似。

3.2.5 正交矩陣和正交變換

【正交矩陣】：一個n階方陣Q，其元素為實數，而且行（列）向量為兩兩正交的單位向量，使得該矩陣的轉置矩陣為其逆矩陣。

其中，I為單位矩陣。正交矩陣的行列式值必定為 1或-1

【正交變換】：Q為正交矩陣，而v為向量，則Qv稱作正交變換。正交變換不改變向量的長度。

3.2.6 用正交陣對對稱陣進行合同變換

對于n階對稱陣A，必存在正交陣P，使得：

其中 Λ 為以A的n個特征值為對角元的對角陣。這種變換叫做合同變換。A和 Λ 互為合同矩陣。

3.3 實對稱矩陣

3.3.1 定義

實對稱矩陣是一個n階方陣，其元素都為實數，且轉置矩陣和自身相等：

3.3.2 實對稱矩陣的性質

（1）實對稱陣的特征值為實數，其特征向量可以取實向量。

（2）實對稱矩陣都能對角化，且可用正交矩陣對其進行對角化。

（3） 任意的 nxn 實對稱矩陣都有 n 個線性無關的特征向量。并且這些特征向量都可以正交單位化而得到一組正交且模為 1 的向量。

故實對稱矩陣 A 可被分解成:

其中 Q 為 正交矩陣， Λ 為實對角矩陣。

（4）實對稱矩陣不同特征值的特征向量正交。

3.3.3 正定、半正定、負定、半負定

對于一個n×n的實對稱矩陣M, 當且僅當它對于所有非零實系數向量z都有：

其中zT表示z的轉置。

NOTE: 對于複數對稱陣，也有同樣概念，但此處不考慮。

4.1 定義

對于n x n方陣A，若标量λ和n維非0列向量v滿足：

那麼稱λ為A的特征值，v稱為對應于特征值λ的特征向量。

4.2 幾何意義

λ反映的是：特征向量v的長度在線性變換A下縮放的比例。

如果特征值為正，則表示v在經過線性變換的作用後方向也不變；如果特征值為負，說明方向會反轉；如果特征值為0，則是表示縮回零點。但無論怎樣，仍在同一條直線上。

4.3 相關概念

【特征空間】：n階方陣A所有具有相同的特征值λ的特征向量和零向量一起，組成了一個向量空間，稱為A的一個特征空間。

【幾何重數】：這個特征空間如果是有限維的，那麼它的維數叫做λ的幾何重數。

【主特征向量】： 模最大的特征值對應的特征向量是A的主特征向量。

【譜】：在有限維向量空間上，一個方陣A的其所有特征值的集合就是A的譜。

【标準正交基】：是元素兩兩正交的基。稱基中的元素為基向量。

4.4 特征向量與系數方程

特征向量也可以看作是關于系數λ的方程：T(x) = λx 的非零解。

4.5 特征值的性質

n階方陣A=（aij）有n個特征值（其中可能包括重複值）λ1， λ2， … λn，則有

（1）這n個特征值的和為A對角線上各個數的和： λ1 λ2 … λn = a11 a22 … ann

（2）這n個特征值的乘積為A的行列式：λ1λ2…λn = |A|

（3）不相等的特征值所對應的特征向量線性無關。

（4） 如果一個n階方陣有n個不同的特征值，那麼矩陣必然存在相似矩陣。

鳴宇淳

沙發

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!