本文為系列文章，内容高度總結為以下三大類：

1. 機器學習背後的數學知識

2. 常用的機器學習算法原理與示例

3. 工程實踐與應用案例/經驗

每個大類中的内容很多，因此将分為多篇文章介紹給大家。本篇文章為第2篇，主要初步介紹高等數學相關知識。近期内容如下：

機器學習初步（第1篇）

1、概念定義

2、ML分類

3、算法一覽

相關高等數學回顧（第2篇）

1、導數/梯度

2、Taylor展開

3、凸函數

相關概率論回顧（第3篇）

1、古典概率

2、貝葉斯公式

3、常見概率分布

高等數學回顧

如果隻是将機器學習當作一個黑盒使用的話，是可以不用學習這些數學知識的。

但如果你需要了解機器學習底層知識；需要對機器學習算法進行調優；需要應聘機器學習算法工程師崗位的話，建議大家還是要學習以下高等數學知識。

微積分之：兩邊夾定理/夾逼定理

推論：

該式将三角函數和多項式建立了極限關系

思考

該式的極限是多少？

導數

簡單的說，導數就是曲線的斜率，是曲線變化快慢的反應。

二階導數是斜率變化快慢的反應，表征曲線的凹凸性。

在GIS中，往往一條二階導數連續的曲線，我們稱之為光順的。

還記得高中物理老師時常念叨的嗎？加速度的方向總是指向軌迹曲線凹的一側。

常用函數的導數

應用

已知函數

求f(x)的最小值?

• 領會幂指數的一般處理套路

• 在信息熵章節中将再次遇到它

求解

附：

在計算機算法跳躍表Skip List的分析中，用到了該常數。

背景：跳表是支持增删改查的動态數據結構，能夠達到與平衡二叉樹，紅黑樹近似的效率，而代碼實現簡單。

Taylor公式——Maclaurin公式

Taylor公式的應用1

數值計算：初等函數值的計算（在原點展開）

在實踐中，往往需要做一定程度的變換

Taylor公式的應用2

考察基尼指數的圖像、熵、分類誤差率三者之間的關系

上述結論，在決策樹章節中會進一步讨論

方向導數

梯度

凸函數

凸函數的判定

即：一元二階可微的函數在區間上是凸的，當且僅當它的二階導數是非負的。

凸函數的表述

意義：可以在确定函數的凹凸性之後，對函數進行不等式替換

凸性質的應用

上式在最大熵模型等内容中會詳細讨論。

注意到y=-logx在定義域上是凸函數

目錄介紹

本系列文章所有内容計劃如下：

1. 機器學習與相關數學初步

2. 數理統計與參數估計

3. 矩陣分析與應用

4. 凸優化初步

5. 回歸分析與工程應用

6. 特征工程

7. 工作流程與模型調優

8. 最大熵模型與EM算法

9. 推薦系統與應用

10. 聚類算法與應用

11. 決策樹随機森林和adaboost

12. SVM

13. 貝葉斯方法

14. 主題模型

15. 貝葉斯推理采樣與變分

16. 人工神經網絡

17. 卷積神經網絡

18. 循環神經網絡與LSTM

19. Caffe&Tensor Flow&MxNet 簡介

20. 貝葉斯網絡和HMM

21. 詞嵌入word embedding

本文就先介紹到這，大家有什麼需求，歡迎給我留言。

,

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!

查看全部