1.特征值

從線性變換入手，把一個矩陣當作一個線性變換在某一組基下的矩陣，而最簡單的線性變換就是數乘變換。

特征值的意義就是：目的就是看看一個線性變換對一些非零向量的作用是否能夠相當于一個數乘變換，特征值就是這個數乘變換的變換比。

特征值得簡單理解就是：輸入x到系統A中，輸出得到的是輸出x的landa倍。

2.特征向量

公式當中的x就是特征向量。

我們更關心的是把原先的線性空間（如A）分解成一些和特征向量相關的子空間的直和。

這樣我們的研究就可以分别限定在這些子空間上來進行，這和物理中在研究運動的時候将運動分解成水平方向和垂直方向的做法是一個道理！

特征值是針對方陣而言的。

3.特征值和特征向量在圖像處理的含義

我們知道，一個變換可由一個矩陣乘法表示，那麼一個空間坐标系也可視作一個矩陣，而這個坐标系就可由這個矩陣的所有特征向量表示，用圖來表示的話，可以想象就是一個空間張開的各個坐标角度，這一組向量可以完全表示一個矩陣表示的空間的“特征”，而他們的特征值就表示了各個角度上的能量（可以想象成從各個角度上伸出的長短，越長的軸就越可以代表這個空間，它的“特征”就越強，或者說顯性，而短軸自然就成了隐性特征），因此，通過特征向量/值可以完全描述某一幾何空間這一特點，使得特征向量與特征值在幾何（特别是空間幾何）及其應用中得以發揮。

4.矩陣論之圖像處理

矩陣論在圖像中的應用比如有PCA（ Principal Component Analysis）主成分析方法，選取特征值最高的k個特征向量來表示一個矩陣，從而達到降維分析 特征顯示的方法。一般而言，這一方法的目的是尋找任意統計分布的數據集合之主要分量的子集。相應的基向量組滿足正交性且由它定義的子空間最優地考慮了數據的相關性。将原始數據集合變換到主分量空間使單一數據樣本的互相關性降低到最低點。

5.PCA例子說明

對于一個k維的feature來說，相當于它的每一維feature與其他維都是正交的（相當于在多維坐标系中，坐标軸都是垂直的），那麼我們可以變化這些維的坐标系，從而使這個feature在某些維上方差大，而在某些維上方差很小。例如，一個45度傾斜的橢圓，在第一坐标系，如果按照x,y坐标來投影，這些點的x和y的屬性很難用于區分他們，因為他們在x,y軸上坐标變化的方差都差不多，我們無法根據這個點的某個x屬性來判斷這個點是哪個，而如果将坐标軸旋轉，以橢圓長軸為x軸，則橢圓在長軸上的分布比較長，方差大，而在短軸上的分布短，方差小，所以可以考慮隻保留這些點的長軸屬性，來區分橢圓上的點，這樣，區分性比x,y軸的方法要好！

所以我們的做法就是求得一個k維特征的投影矩陣，這個投影矩陣可以将feature從高維降到低維。投影矩陣也可以叫做變換矩陣。新的低維特征必須每個維都正交，特征向量都是正交的。通過求樣本矩陣的協方差矩陣，然後求出協方差矩陣的特征向量，這些特征向量就可以構成這個投影矩陣了。特征向量的選擇取決于協方差矩陣的特征值的大小。

舉一個例子：

對于一個訓練集，100個sample，特征是10維，那麼它可以建立一個100*10的矩陣，作為樣本。求這個樣本的協方差矩陣，得到一個10*10的協方差矩陣（解釋在第6），然後求出這個協方差矩陣的特征值和特征向量，應該有10個特征值和特征向量，我們根據特征值的大小，取前四個特征值所對應的特征向量，構成一個10*4的矩陣，這個矩陣就是我們要求的特征矩陣，100*10的樣本矩陣乘以這個10*4的特征矩陣，就得到了一個100*4的新的降維之後的樣本矩陣，每個sample的維數下降了。

當給定一個測試的特征集之後，比如1*10維的特征，乘以上面得到的10*4的特征矩陣，便可以得到一個1*4的特征，用這個特征去分類。

所以做PCA實際上是求得這個投影矩陣，用高維的特征乘以這個投影矩陣，便可以将高維特征的維數下降到指定的維數。

6.協方差矩陣

定義是變量向量減去均值向量，然後乘以變量向量減去均值向量的轉置再求均值。例如x是變量，μ是均值，協方差矩陣等于E[(x-μ)(x-μ)^t]，物理意義是這樣的，例如x=（x1,x2,...,xi）那麼協方差矩陣的第m行n列的數為xm與xn的協方差，若m=n，則是xn的方差。如果x的元素之間是獨立的，那麼協方差矩陣隻有對角線是有值，因為x獨立的話對于m≠n的情況xm與xn的協方差為0。另外協方差矩陣是對稱的。 一般多變量分布的時候（例如多元高斯分布）會用到協方差矩陣，工程上協方差矩陣也用來分析非确定性平穩信号的性質以及定義非确定性向量的距離（馬哈拉諾比斯範數）。

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!