對稱矩陣是沿對角線對稱的矩陣。它是一個自伴算子（self-adjoint operator）（把矩陣看作是一個算子并研究其性質确實是一件大事）。雖然我們不能直接從對稱性中讀出幾何屬性，但我們可以從對稱矩陣的特征向量中找到最直觀的解釋，這将使我們對對稱矩陣有更深入的了解。

常見的例子是單位矩陣。一個重要的例子是：

• 對稱矩陣的一個例子

然而，雖然定義簡單如斯，但卻意義非凡。在這篇文章中，我們将看一看它們的重要屬性，直觀地解釋它們，并介紹其應用。

厄米特矩陣（The Hermitian matrix）是對稱矩陣的複擴展，這意味着在厄米特矩陣中，所有元素都滿足：

厄米特矩陣的共轭轉置與自身相同。因此，它具有對稱矩陣所具有的所有性質。

• 厄米特矩陣的一個例子

在這篇文章中，我主要讨論的是實數情況，即對稱矩陣，以使分析變得簡單一些，同時在數據科學中，我們遇到的也大都是實矩陣，因為我們要處理現實世界的問題。

本節将介紹對稱矩陣的三個最重要的性質。它們涉及這些矩陣的特征值和特征向量的行為，這是區别對稱矩陣和非對稱矩陣的基本特征。

性質1. 對稱矩陣有實數特征值

這可以很容易地用代數法證明（正式的、直接的證明，而不是歸納法、矛盾法等）。首先，快速回顧一下特征值和特征向量。

• 矩陣A的特征向量是，在A作用于它之後，方向不變的向量。方向沒有改變，但向量大小可以改變。
• 實數特征值給我們提供了線性變換中的拉伸或縮放信息，不像複數特征值，它沒有 "大小"。

向量被縮放的比例是特征值，我們用λ表示。因此我們有：

• 式1.1

證明是相當容易的，但有一些重要的線性代數知識，所以我們還是要一步一步地來。

1.1通過x的共轭轉置xᴴ得到：

• 式1.2

需要注意的是，λ是一個标量，這意味着涉及λ的乘法是可交換的。因此，我們可以把它移到xᴴ（x的轉置，上标H可能不顯示）的左邊：

• 式1.3

xᴴx是一個歐幾裡得範數（ Euclidean norm），其定義如下：

• 公式1.4

在二維歐幾裡得空間中，它是一個坐标為（x_1，...，x_n）的向量的長度。然後我們可以把公式1.3寫成：

• 公式1.5

由于共轭轉置（算子H）與普通轉置（算子T）的原理相同，我們可以利用xᴴA=（Ax）ᴴ的特性。

• 公式1.6

(Ax)ᴴ等于什麼？這裡我們将再次使用Ax = λx的關系，但這次(Ax)ᴴ将留給λ的複共轭，在λ上加一橫表示共轭。

• 式1.7

我們在式1.3中見過xᴴx，代歐幾裡得範數後得到：

• 式1.8

這導緻了λ和它的複共轭相等：

• 式1.9

隻有在一種情況下，式1.9才有效，即λ是實數。這樣一來，我們就完成了證明。

性質2. 特征值所對應的特征向量是正交的

這個證明也是一個直接的形式證明，但很簡單。首先我們需要清楚目标，即：

• 式1.10

考慮一個對稱矩陣A，x_1和x_2是A的特征向量，對應于不同的特征向量（我們需要這個條件的原因将在稍後解釋）。根據特征值和對稱矩陣的定義，我們可以得到以下公式：

• 式1.11和式1.12

現在我們需要證明式1.10。讓我們試着把x_1和x_2放在一起-。在左邊用 (Ax₁)ᵀ乘以x₁ᵀ：

• 式1.13

在式1.13中，除了對稱矩陣的特性外，還用到了另外兩個事實。

1. 矩陣乘法符合結合律（可以用結合律運算）
2. 矩陣-标量乘法是可交換的（可以自由移動标量）。

然後，由于點積是可交換的，這意味着x₁ᵀx₂和x₂ᵀx₁是等價的，所以我們有：

• 式1.14

其中x_1∙x_2表示點積。如果λ_1≠λ_，那麼x_1∙x_1=0，這意味着這兩個特征向量是正交的。如果λ_1 = λ_2，則有兩個不同的特征向量對應于同一個特征值。由于特征向量在(A-λI)的零空間（表示為N(A-λI)），當一個特征向量對應于多個特征向量時，N(A-λI)的維數大于1。在這種情況下，我們對這些特征向量有無限多的選擇，我們總是可以選擇它們是正交的。

顯然，有些情況下，實數矩陣有複數特征值。這發生在旋轉矩陣上。為什麼會這樣呢？假設Q是一個旋轉矩陣。我們知道，特征向量在被Q作用後不會改變方向。但如果Q是一個旋轉矩陣，如果x是一個非零向量，x怎麼可能不改變方向呢？結論是，特征向量必須是複數（好好想一想吧）。

二維空間中的旋轉矩陣R(θ)如下所示：

• 旋轉矩陣

R(θ)将一個向量逆時針旋轉一個角度θ，它是一個具有複數特征值和特征向量的實矩陣。

性質3. 對稱矩陣總是可對角化的（譜定理）

這也與對稱矩陣的其他兩個特性有關。這個定理的名字可能讓人困惑。事實上，一個矩陣的所有特征值的集合被稱為譜（ spectrum）。另外，我們可以這樣想。

特征值-特征向量對告訴我們，在給定的線性變換之後，一個向量在哪個方向上被扭曲。

如下圖所示，經過變換後，在v_1的方向上，圖形被拉伸了很多，但在v_2的方向上卻沒有很大的拉伸。

一個可對角線化的矩陣意味着存在一個對角線矩陣D（對角線以外的所有元素都是零），使得P-¹AP=D，其中P是一個可逆矩陣。我們也可以說，如果一個矩陣可以寫成A=PDP-¹的形式，那麼該矩陣就是可對角的。

分解通常不是唯一的，但隻有D中對角線上的元素的排列和P中特征向量的标量乘法才是唯一的。另外我們需要注意的是，無論矩陣是否對稱，對角線化都等同于找到特征向量和特征值。然而，對于非對稱矩陣，D不一定是正交矩陣。

這兩個定義是等價的，但可以有不同的解釋（這種分解使得求矩陣的幂非常方便）。第二個定義，A=PDP-¹，告訴我們A如何被分解，與此同時，第一個定義，P-¹AP=D，是告訴我們A可以被對角化。它告訴我們，有可能将标準基（由單位矩陣給出）與特征向量對齊（align）。這是由特征向量的正交性決定的，這在性質2中顯示。

這個 "将标準基與特征向量對齊 "聽起來非常抽象。我們需要思考這個問題：矩陣變換對單位基做了什麼？

由基α = {v_1，…，v_n}組成的矩陣将一個向量x從标準基變換到由基α構成的坐标系，我們用Aα表示這個矩陣。因此，在對角化的過程中（P-¹AP=D），P将一個向量從标準基送入特征向量，A對其進行縮放，然後P⁻¹将該向量送回标準基。從向量的角度來看，坐标系與标準基對齊。

這種對齊方式如圖1.16所示，本例中使用的矩陣為：

• 式1.17

其中V是一個列向量長度為1的矩陣，每一個都對應于對角線矩陣中的特征值。至于計算，我們可以讓Matlab中的eig來完成。

這個性質直接遵循譜定理（ spectral theorem）：

如果A是厄米特矩陣，存在一個由A的特征向量組成的V的正态基，每個特征向量都是實數。

該定理直接指出了将一個對稱矩陣對角化的方法。為了直接證明這個性質，我們可以使用矩陣大小（維度）的歸納法。。

正定性

這些性質什麼時候有用？甚至在正式研究矩陣之前，它們已經被用于解決線性方程組很長時間了。把矩陣看成是運算子，線性方程的信息就儲存在這些運算子中，矩陣可以用來研究函數的行為。

除了對稱性之外，矩陣還可以有一個更好的性質就是正定性。如果一個對稱矩陣是正定的，它的所有特征值都是正的。如果它的所有特征值都是非負的，那麼它就是一個半正定矩陣。對于一個正定矩陣，很明顯要求它是對稱的，因為性質1，因為隻有當一個數字是實數時，問它是正數還是負數或有多大才有意義。

特征值、特征向量和函數行為

這方面的一個很好的應用是海賽矩陣（Hessian matrix），我們将以此為例來證明使用矩陣來分析函數行為。當我們試圖找到一個局部極值時，發現海賽矩陣是正定的将非常有用。海賽矩陣是一個由實數函數的二階偏微分組成的矩陣。形式上，海賽矩陣被定義為：

我們稱H(x)為f的海賽矩陣，它是一個n乘n的矩陣。它與以下内容相同：

這對函數的行為有什麼影響？我們來看看一個超級簡單的例子。考慮一下函數：

海賽矩陣的計算方法如下：

• 式2.3

由于它是一個對角矩陣，并且迹（對角線上的元素之和）等于特征向量之和，我們可以立即看到其中一個特征值是2，另一個是-2。 它們對應于特征向量v₁ = [1, 0]ᵀ和v₂ = [0, 1]ᵀ。這個矩陣是對稱的，但不是正定的。因此，在整個ℝ²上沒有局部極值，我們隻能在x=0，y=0點上找到一個鞍點。這意味着在特征值為正的v_1方向上，函數增加，而在特征值為負的v_2方向上，函數減少。該函數的圖像如下所示:

現在我們改變符号，将函數改為：

特征向量保持不變，但所有的特征向量都變成了正數。這意味着，在v_1的方向和v_2的方向上，函數都在增長。因此，可以找到局部最小值在x=0，y=0處，f(x,y)=0，這也是全局最小值。該圖為：

總結

矩陣在許多領域都有廣泛的應用。在處理矩陣時，經常會遇到正定義性、特征向量、特征值、對稱矩陣等概念。在這篇文章中，介紹了對稱（厄米特）矩陣的三個最重要的性質，它們與矩陣的特征向量和特征值有關。這些性質是以幾何學方式解釋的，但也包括一些代數證明。最後，介紹了一個使用矩陣來分析函數行為的例子。

,

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!

查看全部