上一節講到神經元接受到信号量以後點火的公式:
x1、x2、x3是否有信号輸入,w1 、w2、w3 是信号量的權重,θ 是點火的閥值,最後得到的結果y 表示是否點火, 結果 0 表示 不點火, 結果1 表示點火。
激活函數
雖然通過上面的公式我們可以得到y 是否點火,這裡有一個假設,也就是y 隻有兩種結果,也就是點火或者是不點火。
所以,上面的公式是一個階躍函數,結果是0和1,也就是線性函數。
但是在實際情況中 y 點火這件事情是存在概率的,例如 64% 的機率點火,有36%的機率不點火。為了達到這個效果就需要将 線性函數轉化成非線性函數,這裡就需要引入激活函數,激活函數可以将點火這件事的概率描述清楚。
如果說我們将這個激活函數稱作a 的話,那麼就将公式變為如下樣子:
具體的激活函數a,可以用Sigmoid 函數來代替。
當引入Sigmoid 函數之後,會把y的結果設定為從0 到1 之間的數字,無論x 的取值是多少,這樣就把線性函數變成了非線性函數,描述y發射的概率問題。這裡不對Sigmoid函數進行深入的讨論,大家隻要知道Sigmoid是一種激活函數,在這裡可以描述發射概率問題。(當然在其他場景也有不同的描述)
偏置
根據上面激活函數的折騰,我們得到了如下的公式;
其實這個公式就是把之前的函數u改成了a(激活函數)。
由于公式中的 θ 前面有一個“-”(符号),為了計算方便将其進行替換成b,b 就等于 “-θ”,這樣公式就變成如下的樣子:
上圖中的b 就是偏置,有了這個概念以後神經元圖就改成如下的樣子:
如上圖所示,除了原來的輸入,還加入了一個偏置量 b。
那麼加權輸入z 的表達式就可以看成如下的公式:
将上面的公式進行進一步的轉換, 就變成了如下兩個向量的内積形式。計算機擅長内積的計算,因此按照這種解釋,計算就變容易了。
,
更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!