1. 寫在前面的話

數學是一種思維，可以用在方方面面。可以隐性的在工程中使用，保證邏輯合理；也可以在顯性的在機器學習中使用。數學是對數據規律的一種研究，哪怕在機器學習中也沒有超出這個範疇（目前最火的神經網絡，也隻是矩陣變換的一種應用而已）。所以不用被’人工智能‘這個僞概念吓到。實踐 理論基礎，就可以學好機器學習。

2. 微積分 泰勒級數

數學中極其強大的函數近似工具，

$$e^x \approx 1 x \frac{1}2x^2$$,在x = 0 附近成立

2. 導數

定義：速度在瞬時會有變化率？？有矛盾

這裡的瞬時是指一個無限趨近于0，但是依然有長度的值。--微小變化量才是導數的本質。

鍊式法則

2. 概率論

不支持在 Docs 外粘貼 block

1. 期望

定義：離散型随機變量X的分布律為$$P\{X=x_k\}=p_k, k = 1,2,...$$，

若級數$$\displaystyle\sum_{k=1}^nx_kp_k$$,絕對收斂，則稱此級數和為随機變量X的數學期望，記為E(X)。

即$$E(X)=\displaystyle\sum_{k=1}^nx_kp_k$$。

連續性随機變量X的概率密度為f(x),若積分$$\begin{matrix} \int_{-\infty}^{ \infty} xf(x)\, dx\end{matrix} $$絕對收斂，則稱此積分值為随機變量X的數學期望，記為E(X)，即E(X) =$$\begin{matrix} \int_{-\infty}^{ \infty} xf(x)\, dx\end{matrix} $$

性質：E(C)=C E(aX)=aE(X) E(X Y)=E(X) E(Y) 當X，Y相互獨立時，E(XY)=E(X)E(Y)

2. 方差

定義：設随機變量X的數學期望為E(X)，若$$E(X-E(X))^2$$存在，則稱它為X的方差（此時，也稱X的方差存在），記為Var(X) 或D(X)。

離散型随機變量：$$Var(X) = \displaystyle\sum_{k=1}^{ \infty}(x_k-E(X))^2p_k$$

連續性随機變量：$$Var(X) = \begin{matrix} \int_{-\infty}^{ \infty} (x-E(X))^2f(x)d(x)\end{matrix} $$

計算方差常用公式$$Var(X)=E(X^2)-E^2(X)$$

3. 數據歸一化

設随機變量X的期望E(X)、方差D(X)都存在，且$$D(X)\not=0$$,

則稱$$X^* = \frac{X-E(X)}{\sqrt[]{D(X)}}$$為X的标準化随機變量。顯然，$$E(X^*)=0,D(X^*)=1$$

4. 高斯分布

5. 分布函數

$$P\{{x_1

1. 均勻分布
2. 指數分布

6. 聯合分布 邊緣概率密度
7. 協方差 協方差矩陣

定義：設$$X=(X_1, X_2,...,X_n)'$$為n維随機向量，并記$$\mu=E(X_i)$$，$$C_{ij} = Cov(X_i, X_j) (i,j=1,2,...,n)$$則稱

$$\mu=(\mu_1,\mu_2,...,\mu_n)'$$為向量X的數學期望或者均值，稱矩陣

$$C= \begin{Bmatrix} C_{11} & C_{12} & ... & C_{1n} \\ C_{21} & C{22} & ... & C_{2n} \\ \vdots & \vdots & \cdots &\vdots \\ C_{n1} & C{n2} & \cdots & C_{nn} \\ \end{Bmatrix}$$為向量X的協方差矩陣。

8. 切比雪夫不等式

定義：設随機變量X具有數學期望$$E(X)=\mu$$,方差

$$D(X)=\sigma^2$$,則對于任意正式$$\varepsilon$$,不等式$$P\{{|X-\mu}| \geq \varepsilon\} \leq \frac{\sigma^2}{\varepsilon^2}$$成立

應用：切比雪夫不等式可以使用人們在随機變量X的分布位置的情況下，對時間發生的概率做出估計。

9. 中心極限定理

中心極限定義是闡述大量随機變量之和的極限分布，是正态分布的一系列定理的總稱

該定律表明，當n足夠大時，獨立分布的一些列随機變量的算術平均值接近（以概率收斂于）數學期望，即平均數具有穩定性。

10. 矩估計
11. 極大似然估計法
12. 思想：尋找最想真實分布的那個分布
13. 應用邏輯回歸的參數估計
14. 定義：設離散總體X=x的概率為$$p(x;\theta)$$,其中$$\theta是未知參數$$

$$x_1,x_2,...,x_n是一組樣本觀測值，則稱：\\L(\theta)=\prod_{i=1}^{n}p(x_i,\theta)，即\\ P(X_1=x_1,X_2=x_2,...,X_n=x_n)=p(x_1,\theta) \cdot p(x_2,\theta)\cdots p(x_n,\theta)為似然函數 \\ 稱L(\hat\theta)=maxL(\theta)為最大似然估計值$$

15. 貝葉斯法則

3. 線性代數 向量的範式

4. 優化 線性規劃 梯度下降 批量梯度下降BGD 随機梯度下降SGD 小批量梯度下降MBGD 牛頓法

7. 泰勒公式
8. 拟牛頓法
9. 共轭方向法

10. 動量梯度下降法
11. 均方根優化法
12. Adam算法

5. 距離度量 歐式距離 修正歐式距離 曼哈頓距離 海明距離 角度度量
6. 關于數據中哪些需要背誦 定義是需要背誦的； 性質是不需要背誦的；對于證明題，我們不用去背誦用了哪些性質，隻需要背誦定義和結論即可。 定義，還是定義。定義不會改變，但是性質總是不斷的擴展。

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!