tft每日頭條

 > 圖文

 > bp神經網絡優化

bp神經網絡優化

圖文 更新时间:2025-02-10 23:36:07

BP神經網絡的代表者是D.Rumelhart和J.McCelland,"反向傳播(backpropagation)"一詞的使用出現在1985年後,它的廣泛使用是在1986年D.Rumelhart和J.McCelland所著的Parallel Distributed Processing這本書出版以後。BP神經網絡是一種按誤差逆傳播算法訓練的多層前饋網絡,是目前應用最廣泛的神經網絡模型之一。BP網絡能學習和存貯大量的輸入-輸出模式映射關系,而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用梯度下降法,通過反向傳播來不斷調整網絡的權值和阈值,使網絡的誤差平方和最小。BP神經網絡模型拓撲結構包括輸入層(input)、隐層(hidden layer)和輸出層(output layer)。

一、BP神經網絡的模型

bp神經網絡優化(機器視覺學習筆記)1

BP神經網絡的過程主要分為兩個階段,第一階段是信号的前向傳播來傳遞信息,第二階段是誤差的反向傳播來調整中間層的權重和偏置。

二、BP神經網絡的流程

BP神經網絡的流程:

1、前向傳播;

2、誤差反向傳播;

3、叠代判定标準。

以三層BP神經網絡為例:

(1)前向傳播

假設輸入層的節點個數為n,隐含層的節點個數為l,輸出層的節點個數為m。輸入層到隐含層的權重w_ij,隐含層到輸出層的權重為w_jk,輸入層到隐含層的偏置為a_j,隐含層到輸出層的偏置為b_k,學習速率為η,激勵函數為g(x),一般選擇sigmoid函數。形式為:

bp神經網絡優化(機器視覺學習筆記)2

隐含層的輸出為:

bp神經網絡優化(機器視覺學習筆記)3

輸出層的輸出為:

bp神經網絡優化(機器視覺學習筆記)4

(2)誤差反向傳播

誤差反向傳播的目的是更新權值,最終使目标輸出與期望輸出的誤差函數最小。期望輸出為Yk,則誤差函數為:

bp神經網絡優化(機器視覺學習筆記)5

min(E)是個最優化的過程,我們知道梯度最大值的方向,即為函數值下降最快的方向,因此采用梯度下降法。

隐含層到輸出層的權值更新:

bp神經網絡優化(機器視覺學習筆記)6

輸入層到隐含層的權值更新:

bp神經網絡優化(機器視覺學習筆記)7

bp神經網絡優化(機器視覺學習筆記)8

bp神經網絡優化(機器視覺學習筆記)9

同理,可得偏置的更新

bp神經網絡優化(機器視覺學習筆記)10

(3)叠代判定标準

常用判斷叠代結束的标準主要是指定叠代的最大次數和相鄰兩次誤差輸出小于指定值。

,

更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!

查看全部

相关圖文资讯推荐

热门圖文资讯推荐

网友关注

Copyright 2023-2025 - www.tftnews.com All Rights Reserved