tft每日頭條

 > 圖文

 > 深度學習算法

深度學習算法

圖文 更新时间:2025-01-10 20:08:40

深度學習算法(深度學習公式推導)1

上一節講到神經元接受到信号量以後點火的公式:

深度學習算法(深度學習公式推導)2

深度學習算法(深度學習公式推導)3

x1、x2、x3是否有信号輸入,w1 、w2、w3 是信号量的權重,θ 是點火的閥值,最後得到的結果y 表示是否點火, 結果 0 表示 不點火, 結果1 表示點火。

激活函數

雖然通過上面的公式我們可以得到y 是否點火,這裡有一個假設,也就是y 隻有兩種結果,也就是點火或者是不點火。

所以,上面的公式是一個階躍函數,結果是0和1,也就是線性函數。

但是在實際情況中 y 點火這件事情是存在概率的,例如 64% 的機率點火,有36%的機率不點火。為了達到這個效果就需要将 線性函數轉化成非線性函數,這裡就需要引入激活函數,激活函數可以将點火這件事的概率描述清楚。

如果說我們将這個激活函數稱作a 的話,那麼就将公式變為如下樣子:

深度學習算法(深度學習公式推導)4

具體的激活函數a,可以用Sigmoid 函數來代替。

深度學習算法(深度學習公式推導)5

當引入Sigmoid 函數之後,會把y的結果設定為從0 到1 之間的數字,無論x 的取值是多少,這樣就把線性函數變成了非線性函數,描述y發射的概率問題。這裡不對Sigmoid函數進行深入的讨論,大家隻要知道Sigmoid是一種激活函數,在這裡可以描述發射概率問題。(當然在其他場景也有不同的描述)

偏置

根據上面激活函數的折騰,我們得到了如下的公式;

深度學習算法(深度學習公式推導)4

其實這個公式就是把之前的函數u改成了a(激活函數)。

由于公式中的 θ 前面有一個“-”(符号),為了計算方便将其進行替換成b,b 就等于 “-θ”,這樣公式就變成如下的樣子:

深度學習算法(深度學習公式推導)7

上圖中的b 就是偏置,有了這個概念以後神經元圖就改成如下的樣子:

深度學習算法(深度學習公式推導)8

如上圖所示,除了原來的輸入,還加入了一個偏置量 b。

那麼加權輸入z 的表達式就可以看成如下的公式:

深度學習算法(深度學習公式推導)9

将上面的公式進行進一步的轉換, 就變成了如下兩個向量的内積形式。計算機擅長内積的計算,因此按照這種解釋,計算就變容易了。

深度學習算法(深度學習公式推導)10

,

更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!

查看全部

相关圖文资讯推荐

热门圖文资讯推荐

网友关注

Copyright 2023-2025 - www.tftnews.com All Rights Reserved