我們知道機器學習的特點就是：以計算機為工具和平台，以數據為研究對象，以學習為中心；是概率論，線性代數，數值計算，信息論，最優化理論和計算機科學等多個領域的交叉學科。所以這裡我打算補充一下機器學習涉及到的一些常用的知識點。
（注意：目前自己補充到的所有知識點，均按照自己網課視頻中老師課程知識點走的，同時一些公式是網友辛辛苦苦敲的，文中用到那個博客均在文末補充鍊接地址，這裡首先表示感謝！！）
1，函數1.1 函數的定義函數（function）的定義通常分為傳統定義和近代定義，函數的兩個定義本質是相同的，隻是叙述概念的出發點不同，傳統定義是從運動變換的觀點出發。函數的近代定義是給定一個數據集A，假設其中的元素為x，對A中的元素施加對應法則 f ，記做 f(x)，得到另一數據集B，假設B中的元素為y，則 x 和 y 之間的等量關系可以用 y = f(x) 表示。函數概念含有三個要素：定義域A，值域B和對應法則 f 。其中核心為對應法則 f，它是函數關系的本質特征。
在一個變換過程中，發生變化的量叫變量（數學中，變量為 x ，而 y 則随 x 值的變化而變化），有些數值是不随變量而改變的，我們稱他們為常量。
自變量（函數）：一個與它量有關系的變量，這一量中的任何一值都能在它量中找到對應的固定值。
因變量（函數）：随着自變量的變化而變化，且自變量取唯一值時，因變量（函數）有且隻有唯一值與其對應。
函數值：在 y 是 x 的函數中，x 确定一個值，y 就随之确定一個值，當 x 取 a 時， y 就 随之确定為 b，b 就叫做 a 的函數值。
注意：符号隻是一種表示，任何符号都是幫助我們理解的，它本身沒有特殊的含義。都是我們給予賦值操作，也可以如下：
分段函數：就是對于自變量x 的不同取值範圍，有着不同的解析式的函數。它是一個函數，而不是幾個函數；分段函數的定義域是各段函數定義域的并集，值域也是各段函數值域的并集。
反函數：一般來說，設函數 y = f(x) 的值域為C，若是找得到一個函數 g(y) 在每一處 g(y) 都等于 x，這樣的函數 x = g(y) 叫做函數 y = f(x) 的反函數，記做 x = f-1(y)。反函數 x = f-1(y) 的定義域，值域分别為函數 y = f(x) 的值域，定義域。最具代表性的反函數就是對數函數與指數函數。
顯函數與隐函數：顯函數是函數的類型之一，解析式中明顯的用一個變量的代數式表示另一個變量時，稱為顯函數；如果方程F(x, y) =0 能确定 y 是 x 的函數，那麼稱這種方式表示的函數是隐函數。
狄利克雷函數：是一個定義在實數範圍内，值域不連續的函數。狄利克雷函數的圖像以Y軸為對稱軸，是一個偶函數，它處處不連續，處處極限不存在，不可黎曼積分。這是一個處處不連續的可測函數。
實數域上的狄利克雷（Dirichlet）函數表示為：
其中：k,j 為整數。
也可以簡單的表示為分段函數的形式，如下：
狄利克雷函數的性質：
黎曼函數：是一個特殊函數，由德國數學家黎曼發現提出，黎曼函數定義在 [0, 1]上。黎曼函數在高數中被廣泛應用，在很多情況下可以作為反例來驗證某些函數方面的待證命題。
其基本定義如下：
正态分布：
（μ 是期望， σ2 是方差）
标準正态分布：
（μ 是期望=0， σ2 是方差=1）
有界性
設函數 f(x) 在區間 X 上有定義，如果存在 M>0，對于一切屬于區間 X 上的 x，恒有 | f(x) | <= M，則稱 f(x) 在區間 X上有界，否則稱 f(x) 在區間上無界。
奇偶性
設 f(x) 為一個實變量實值函數，若此函數關于 y 軸對稱，則稱 f(x) 為偶函數。
f(-x) = f(x)
偶函數例子：
設 f(x) 為一個實變量實值函數，若此函數關于原點對稱，則稱 f(x) 為奇函數。
f(-x) = -f(x)
奇函數例子：
周期性
設函數 f(x) 的定義域為D。如果存在一個正數 T，使得對于任一 x 屬于 D 有 （x -T）屬于D，且 f(x T) = f(x)恒成立，則稱 f(x) 為周期函數， T稱為 f(x) 的周期，通常我們說周期函數是指最小正周期。公式如下：
周期函數的定義域 D為至少一邊的無界區間，若 D 為有界的，則該函數不具周期性。并非每個周期函數都有最小正周期，例如狄利克雷函數。
單調性
設函數 f(x) 的定義域為 D，區間 I 包含于 D。如果對于區間上任意兩點 x1 及 x2，當 x1 < x2 時，恒有 f(x1) < f(x2)，則稱函數 f(x) 在區間 I 上是單調遞增的；如果對于區間 I 上任意兩點 x1 及 x2，當 x1 < x2時，恒有 f(x1) > f(x2)，則稱函數 f(x) 在區間 I 上是單調遞減的。單調遞增和單調遞減函數統稱為 單調函數。
學習極限之前，先看一下數列：
數列
數列（sequence of number）是以正整數集為定義域的函數，是一列有序的數；即按照一定次數排列的一列數：u1, u2, ... un, ...，其中 排在第一位的數列為這個數列的第一項（也叫首項）， un 叫做通項。
著名的數列有：斐波那契數列，三角函數，楊輝三角等。
對于數列 {un} ，如果當 n 無限增大時，其通項無限接近于一個常數 A，則稱該數列以 A 為極限或稱數列收斂于 A，否則稱數列為發散：
舉個例子：
函數極限
極限定義：設函數 f(x) 在點 x0 的某一去心鄰域内有定義，如果存在常數A，對于任意給定的正數 ε （無論它多麼小），總存在正數 δ ，使得當 x 滿足不等式 0 < |x - x0| < δ 時，對應的函數值 f(x) 都滿足不等式：
那麼常數 A 就叫做函數 f(x) 當 x——> x0 時的極限，記做：
函數極限可以分為下面六種：
有些函數的極限很難或難以直接運用極限運算求得，需要先判定。下面學習幾個常用的判定數列極限的定理。
1.5.1 夾逼定理
（1） 當 x € U(x0, r) （這是 x0 的去心鄰域，有個符号打不出）時，有下面公式成立：
（2） f(x) 極限存在，且等于A 的條件是：
簡單說：就是找出一個比原式小的式子和一個比原式大的式子證明他們倆的極限相同且為a，則原式極限也為 a。
1.5.2 單調有界準則
單調增加（減少）有上（下）界的數列必定收斂。
在運用上面兩條去求函數的極限的時候尤其需要注意以下關鍵點。一是要用單調有界定理證明收斂，然後再求極限值。二是應用夾逼定理的關鍵是找出極限相同的函數，并且要滿足極限是趨于同一方向，從而證明或求得函數的極限值。
單調有界定理：單調有界數列必收斂（有極限）。具體的說：
（1）若數列 {Xn} 遞增且有上界，則：
（2）若數列 {Xn} 遞減且有下界，則：
1.5.3 柯西收斂準則
數列 {Xn} 收斂的充分必要條件是：對于任意給定的正數 ε ，總存在正整數 N，使得當 m>N，n>N時，且 m≠n，有 |Xm - Xn| < ε。我們把滿足該條件的 {Xn} 稱為柯西序列，那麼上述定理可以表述為：數列{Xn}收斂，當且僅當它是一個柯西序列。
1.6 課程中的PPT
首先說一下常見函數求極限的方法：
下面看一下常見函數極限公式：
設函數 f 在某鄰域 U(x0) 内有定義，若當自變量的改變量 Δx 趨于零時，相應函數的改變量 Δy 也趨近于零，則稱 y=f(x) 在點 x 處連續：
則稱 f 在點 x0 處連續。
函數連續必須同時滿足三個條件：
定理1：函數 f 在點 x0 處連續性的充要條件是：f 在點 x0 既是左連續，又是右連續。
初等函數在其定義域内是連續的；函數 f(x) 在其定義域内每一點都連續，則稱函數 f(x) 為連續函數。下圖左為連續函數，右圖為間斷函數。
設函數 f 在某 U0(x0) 内有定義，若 f 在點 x0 無定義，或在點 x0 有定義而不連續，則稱點 x0 為函數 f 的間斷點或不連續點。
函數間斷點分為兩種情況：
1，可去間斷點：若：
而 f 在點 x0 處無定義，或有定義但 f(x0) != A ，則稱 x0 為 f 的可去間斷點。
2，跳躍間斷點：若函數 f 在點 x0 的左，右極限都存在，但：
則稱點 x0 為函數 f 的跳躍間斷點。
可去間斷點和跳躍間斷點統稱為第一類間斷點。第一類間斷點的特點是函數在該點處的左右極限都存在。
函數的所有其他形式的間斷點，即使得函數至少有異側極限不存在的那些點，稱為第二類間斷點。
下面為連續性和間斷點的兩個例子：
設函數 y = f(x) 在點 x0 的某鄰域内有定義，若極限：
存在，則稱函數 f 在點 x0 處可導，并稱該極限為函數 f 在點 x0 處的導數，記為 f '(x0)
f'(x) 也可以定義如下：
函數 f(x) 在 x0 處的左，右導數分别定義為：
左導數：
右導數：
常用求導公式：
設 u = u(x)， v = v(x) 均為 x 的可導函數，則有：
即連續是可導的必要條件，即函數可導必然連續；不連續必然不可導‘連續不一定可導。
主要為以下幾個定理：
定理1：若函數 f 在點 x0 處可導，則 f 在點 x0 處連續。
注意：可導僅僅是函數在該點連續的充分條件，而不是必要條件，如函數 f(x) = |x| 在點 x=0 處連續，但不可導。
定理2：若函數 y = f(x) 在點 x0 的某鄰域内有定義，則 f'(x0) 存在的充要條件是 f ' (x0) 與 f '-(x0) 都存在，且：
定理3（費馬定理）：設函數 f 在點 x0 的某鄰域内有定義，且在點 x0 處可導，若點 x0 為 f 的極值點，則必有：
我們稱滿足方程 f ' = 0 的點 o 為穩定點。
定理4：函數 f 在點 x0 可微的充要條件是函數 f 在點 x0 可導，而且常量 A等于 f '(x0)
4，梯度在學習梯度之前，先學習兩個基本概念
4.1 偏導數在數學中，一個多變量的函數的偏導數，就是它關于其中一個變量的導數而保持其他變量恒定（相對于全導數，在其中所有變量都允許變換）。偏導數在向量分析和微分幾何中是很有用的。
在一元函數中，導數就是函數的變化率。如下圖所示，對于一元函數 y = f(x) 隻存在 y 随 x 的變化：
二元函數 z = f(x, y) 存在 z 随 x 變化的變化率，随 y 變化的變化率，随 x, y 同時變化的變化率：
在 XOY 平面内，當動點由 P(x0, y0) 沿不同方向變化時，函數 f(x, y) 的變化快慢一般來說是不同的，因此就需要研究 f(x, y) 在 (x0, y0) 點處沿不同方向的變化率。在這裡我們隻學習函數 f(x, y) 沿着平行于 x 軸和平行于 y 軸兩個特殊方位變動時，f(x, y) 的變化率。
偏導數的表示符号為：∂
偏導數反映的是函數沿着坐标軸正方向的變化率。
方向x的偏導定義：設存在函數 z = f(x, y) 在點 (x0, y0) 的某個鄰域内有定義，固定 y=y0，而讓x 在 x0 出有增量，則相應的函數 z=f(x, y) 有增量，那麼增量表示為：Δz = f(x0 Δx, y0) - f(x0, y0)。
如果 Δz 與 Δx 之比，當 Δx->0 時的極限存在，那麼此極限值稱為函數 z=f(x, y)在 (x0, y0) 處對 x 的偏導數，記做 f 'x(x0, y0) 或者函數 z = f(x, y) 在 (x0, y0) 處對 x 的偏導數，實際上就是把 y 固定在 y0 看成常數後，一元函數 f(x, y0) 在點 x = x0 處可導，即極限：
則稱A為函數 Z=f(x, y) 在點 (x0, y0) 處關于自變量 x 的偏導數，記做：fx(x0, y0)，或者：
y方向的偏導：同理，把 x 固定在 x0，讓 y 有增量 Δy，如果極限存在那麼此極限稱為函數 z = f(x, y) 在 (x0, y0) 處對 y 的偏導數，記做 f'y(x0, y0)。
幾何意義：表示固定面上一點的切線斜率。
偏導數 f 'x(x0, y0) 表示固定面上一點對 x 軸的切線斜率
偏導數 f'y(x0, y0) 表示固定面上一點對 y 軸的切線斜率
下面給個例子，求偏導數：
在函數定義域的内點，對某一方向得到的導數。一般為二元函數和三元函數的方向導數，方向導數可分為沿直線方向和沿曲線方向的方向導數。
定義：設函數 z = f(x, y) 在點 p(x, y) 的某一鄰域 U(p) 内有定義，自點 p 引射線 l，自 x 軸的的正向到射線 l 的轉角為 Ψ。P '(x Δx, y Δy) 為 l 上的另一點，若存在：
則稱此極限值為 f(x, y) 在點 P 沿方向 l 的方向導數，記做 ∂f / ∂l，其計算公式為：
沿直線方向：設 M0 = (x0, y0, z0) 為數量場 u=u(M) 中的一點，從點 M0 出發引一條射線 l（其方向用 l 表示），在 l 上點 M0 的鄰近取一動點 M(x0 Δx, y0 Δy， z0 Δz)，記：
如圖所示，若當 M -> M0 時，下分式的極限存在，則稱它為函數 u(M) 在點 M0 處沿 l 方向的方向導數，記做 ∂f / ∂l|M0,即：
梯度的本意是一個向量（矢量），表示某一函數在該點處的方向導數沿着該方向取得最大值，即函數在該點處沿着該方向（此梯度的方向）變化最快，變化率最大（為該梯度的模）。
函數 z = f(x, y) 在平面域内具有連續的一階偏導數，對于其中每一個點 P(x, y) 都可以定出一個向量：
該函數就稱為函數 z = f(x, y) 在點 P(x, y) 的梯度，記為 gradf(x, y)。
最後，小編想說：我是一名python開發工程師，整理了一套最新的python系統學習教程，
想要這些資料的可以關注私信小編“01”即可（免費分享哦）希望能對你有所幫助。
,更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!
zpostcode 
Recruit 
weather 
mreligion 
Yellowpages 
sport 
constellation 
shopping 
name 
game 
directory 
literature 
Word 
tour 
furnish 
Lottery 
tftnews 
lyrics 
News 
digital 
car 
dir 
Edu 
Finance 
