「撞臉」一直都是娛樂圈一大笑梗。

要是買火車票的時候碰上孫楠、楊臣剛、王大冶......臉盲症患者可以直接放棄回家，原地暴哭了。

當然，「撞臉」可不是娛樂圈的特有的，在AI界也有一些“長相相似”專業名詞，讓初學者傻傻分不清，比如我們今晚要科普的「相似三連」DNN、RNN、CNN。

這3個名詞其實是第三代神經網絡裡運用非常多3大算法：DNN（深度神經網絡）、RNN（遞歸神經網絡）、CNN（卷積神經網絡）。

在正式開講這3者的區别之前，我們先簡單做個回顧，第一代和第二代神經網絡到底是什麼？

第一代神經網絡又稱為感知器，在1950年左右被提出來，它的算法隻有兩層，輸入層輸出層，主要是線性結構。它不能解決線性不可分的問題，對稍微複雜一些的函數都無能為力，如異或操作。

為了解決第一代神經網絡的缺陷，在1980年左右Rumelhart、Williams等人提出第二代神經網絡多層感知器（MLP）。和第一代神經網絡相比，第二代在輸入層之間有多個隐含層的感知機，可以引入一些非線性的結構，解決了之前無法模拟異或邏輯的缺陷。

第二代神經網絡讓科學家們發現神經網絡的層數直接決定了它對現實的表達能力，但是随着層數的增加，優化函數愈發容易出現局部最優解的現象，由于存在梯度消失的問題，深層網絡往往難以訓練，效果還不如淺層網絡。

2006年Hinton采取無監督預訓練（Pre-Training）的方法解決了梯度消失的問題，使得深度神經網絡變得可訓練，将隐含層發展到7層，神經網絡真正意義上有了“深度”，由此揭開了深度學習的浪潮，第三代神經網絡開始正式興起。

說完了三代神經網絡的大概發展，我們現在來看下第三代神經網絡中經常讓大家叫苦的3大名詞：DNN、RNN、CNN。

• DNN：深度神經網絡

從結構上來說，DNN和傳統意義上的NN（神經網絡）并無太大區别，最大的不同是層數增多了，并解決了模型可訓練的問題。

簡言之，DNN比NN多了一些隐層，但這些隐層的作用是巨大的，帶來的效果是非常顯著和神奇的。

當然第三代神經網絡能夠帶來神奇的效果，并不僅僅是因為它的模型結構和訓練方法更為優化、算法更加先進，最重要的是随着移動互聯網的普及海量數據的産生和機器計算能力的增強。

DNN中的“deep”意為深度，但深度學習中深度沒有固定的定義或者衡量标準，不同問題的解決所需要的隐含層數自然也是不相同的，就大家比較熟識的語音識别來說，解決問題可能4層就夠了，但一般圖像識别需要達到20多層才能夠解決問題。

DNN最大的問題是隻能看到預先設定的長度的數據，對于語音和語言等前後相關的時序信号的表達能力還是有限的，基于此提出了RNN模型，即遞歸神經網絡。

• RNN：遞歸神經網絡

全連接的DNN存在着一個無法解決的問題：無法對時間序列上的變化進行建模。

為了應對這種需求，業内提出了上文中提到的遞歸神經網絡RNN。

在普通的全連接網絡中，DNN的隐層隻能夠接受到當前時刻上一層的輸入，而在RNN中，神經元的輸出可以在下一時間段直接作用到本身。換句話說，就是遞歸神經網絡它的隐層不但可以接收到上一層的輸入，也可以得到上一時刻當前隐層的輸入。

這一個變化的重要意義就在于使得神經網絡具備了曆史記憶的功能，原則上它可以看到無窮長的曆史信息，這非常适合于像語音語言這種具有長時相關性的任務。

• CNN：卷積神經網絡

卷積神經網絡主要是模拟人的視覺神經系統提出來的。

以CNN做人臉識别任務為例，先得到一些像素信息，再往上層得到一些邊界信息，然後再往上提取就是一些人臉的部件信息，包括眼睛、耳朵、眉毛嘴巴等，最後是人臉識别，這整個過程和人的視覺神經系統是非常相似的。

卷積神經網絡的結構依舊包括輸入層、隐藏層和輸出層，其中卷積神經網絡的隐含層包含卷積層、池化層和全聯接層3類常見構築，接下來我們着重講解下卷積和池化的相關知識點。

卷積層的功能是對輸入數據進行特征提取，其内部包含多個卷積核，一個卷積核覆蓋的原始圖像的範圍叫做感受野（權值共享）。

一次卷積運算(哪怕是多個卷積核)提取的特征往往是局部的，難以提取出比較全局的特征，因此需要在一層卷積基礎上繼續做卷積計算，這就是多層卷積。

在卷積層進行特征提取後，輸出的特征圖會被傳遞至池化層進行特征選擇和信息過濾。池化層包含預設定的池化函數，其功能是将特征圖中單個點的結果替換為其相鄰區域的特征圖統計量。

通過這種池化的操作，能夠一定程度上克服圖像的一些旋轉和局部的細微變化，從而使得特征的表達更加穩定。

好啦，今晚對DNN、CNN和RNN的簡單科普到這裡就結束了，關于每種網絡的用法大家還需要在實際建模中努力探索。

當然不論是哪種算法，它們往往都會混合在一起使用以達到效果的最優化，同學們要做的便是掌握好理論知識，在實踐中找到最靈活的組合方式。

同時「AI大學移動端」已經上線了科大訊飛AI研究院王海坤院長的人工智能系列課程，小夥伴們記得戳菜單欄【AI大學】或點擊閱讀原文，去學習更多AI知識！

AI研究院副院長 王海坤博士

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!