在線性代數中，有一些特殊的矩陣具有易于分析和操作的特性。它們的特征向量可能具有特定的特征值或特殊關系。還有一些方法可以将一個矩陣分解成這些“更簡單”的矩陣。

操作複雜性的降低提高了可伸縮性。然而，即使這些矩陣都是特殊的，它們也不是罕見的。在機器學習和許多應用程序中，我們經常需要處理它們。

對角矩陣S使所有非對角元素等于零。

許多分解方法都有一個分解後的矩陣是對角矩陣。由于矩陣隻包含對角元素，我們有時用向量來表示它。

一般矩陣的逆不容易計算。但是求對角矩陣的逆很簡單。我們可以用1/m替換對角線元素。

如果其中一個矩陣是對角的，矩陣乘法就簡單多了。但是當任何對角元素等于0或者對角矩陣不是方形的時候，它的逆就不存在。但是，在一些方法中，僞逆矩陣（keep the inverse of 0 as 0）可以用作替代。

正交矩陣Q是滿足下列要求的方形矩陣

Q中的所有列（v 1 ，...，v 6 ，...）都是正交的，即對于i≠j，vᵢᵀvⱼ= 0，vᵢ都是單位向量。

這聽起來像是一個嚴格的要求但是對于一些矩陣，比如對稱矩陣，我們可以選擇特征向量在分解過程中是正交的。

以下矩陣是正交的。

像對角矩陣一樣，它的逆也很容易計算 - 正交矩陣的逆是它的轉置。這是正交矩陣非常方便的一個關鍵原因。

證明：

如果我們用正交矩陣乘以x, x中的誤差不會被放大。這種行為對于保持數值穩定性是非常理想的。

如果矩陣的轉置等于自身，則矩陣是對稱的。

例如，

對稱矩陣是線性代數和機器學習中最重要的矩陣之一。在機器學習(ML),我們經常使用矩陣保存f(vᵢ , vⱼ)。這些函數通常是對稱的，f(x, y) = f(y, x)，因此對應的矩陣是對稱的。例如在機器學習中，f可以測量數據點之間的特征距離，或者計算特征的協方差。

對稱矩陣屬性

對稱矩陣S是n×n方形矩陣。

• 它的逆也是對稱的。
• S的所有特征值都是實數(不是複數)。
• 即使重複的特征值，我們也可以選擇S的 n個本征向量為正交。
• 可以通過将矩陣A與其轉置 - AᵀA或AAᵀ（通常AᵀA ≠ AAᵀ）相乘來形成對稱矩陣。在機器學習中，以零為中心的協方差矩陣就是這種形式。

• 如果 A的列是線性無關的，則 AᵀA是可逆的。
• 每個對稱矩陣小号可以進行對角化（因式分解）與Q由正交的特征向量形成vᵢ的小号和Λ是對角矩陣保持所有的特征值。
• 每個對稱矩陣S可以被對角化（分解），其中Q由S的正交特征向量vi形成，Λ是對角矩陣的所有特征值。

上面的等式可以改寫為

其中v是單位向量。因此，特征值項λᵢ主導了上述每個項的重要性。事實上，如果它太小，我們可以完全放棄相應的項λᵢvᵢvᵢᵀ。

該分解特性和“ S具有n個正交特征向量”是對稱矩陣的兩個重要特性。

正交特征向量

特征向量不是唯一的。但通常，我們可以“選擇”一組特征向量來滿足某些特定條件。如前所述，對稱矩陣的特征向量可以選擇為正交。如果S是對稱矩陣，則其特征值λ和μ滿足以下條件。

證明

從這種情況來看，如果λ和μ具有不同的值，則等效性迫使内積為零。因此，x和y是正交的，并且很容易将它們歸一化為具有單位長度 - 正交。這證明了如果它們的相應特征值不同，我們可以選擇S的特征向量是正交的。即使有重複的特征值，對于對稱矩陣仍然如此。

證明 - 第2部分（可選）

對于n×n對稱矩陣，我們總能找到n個獨立的正交特征向量。最大的特征值是

為了求最大值，我們令r(x)的導數為0。經過一些處理，得到

即，當x是特征向量且特征值最大時，r(x)的比值最大。通過歸納，我們可以推導出我們可以用正交于前一個的特征向量找到下一個最高的特征值。這隻是證明的高級描述。

譜定理（Spectral theorem）

讓我們總結一下。每個n×n對稱矩陣S具有n個實特征值λᵢ，其中有n個正交特征向量vᵢ。

這些特征值可以形成對角矩陣Λ as diag(λ)。我們還可以将特征向量vᵢ連接到V，即，

我們将V重命名為Q.因為Q是正交的，所以它是可逆的并且Qᵀ= Q-1。因此，對稱矩陣S可以分解為

這是譜定理。因為找到轉置比逆轉更容易，所以在線性代數中非常需要對稱矩陣。

正定矩陣具有所有正特征值。它是對稱的。這聽起來很不尋常，但現實生活中的許多矩陣都是肯定的。下面的術語計算具有狀态x的系統的能量（energy）。如果S是正定的，它保證能量保持為正，除非x為零。

在許多應用中，我們假設能量是正的，因此，相應的S應該是正定的。

測試正定性有許多等效條件。如果以下任何測試為真，則對稱矩陣S為正定的：

1.所有特征值> 0，

2.所有左上角的行列式> 0，

3.所有pivots > 0，

4.能量（energy）> 0，除了x = 0，

5. S可以由一個列向量無關的矩陣a構成。

驗證所有特征值是正的需要很多工作。因此，條件2或3是更常見的測試。例如，正pivots 意味着正特征值（反之亦然）。另一方面，如果我們通過上述測試之一證明矩陣是正定的，我們保證它擁有上述所有屬性。

證明

在本節中，我們将證明上面的一些屬性。如果S是正定的，則​​所有λ都是正的。因此，相應狀态x的計算能量為正（x = 0除外）。

如果S由AᵀA組成，則S在能量測試下為正。

除了正定，我們還有半正定，負定和半負定。半正定用“≥”替換上面的所有“>”條件（例如，它的特征值是大于或等于0 ），負定和半負定與正定和半正定相反。

Minimum

在微積分中，我們将f的一階導數設置為零以找到其臨界點。然而，這樣的點可以是最大值，最小值或鞍點。許多機器學習模型以二次形式xAᵀx表示其成本函數。知道這個函數是否是凸函數是很重要的。因為如果它是凸的，我們知道局部最小值也是全局最小值。如果A是正定的，則​​二次函數是凸的。

對于任何函數f，我們計算下面的Hessian矩陣。如果A是正定的，則​​相應的點是局部最小值。

在機器學習中，我們非常有興趣找到特征之間的相關性。下圖顯示了重量和高度之間的正相關關系。

在機器學習中，我們用協方差矩陣Σ建模關系。

協方差矩陣是半正定的。

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!