对反向传播算法(Back-Propagation)的推导与一点理解

关注
对反向传播算法(Back-Propagation)的推导与一点理解www.shan-machinery.com对反向传播算法(Back-Propagation)的推导与一点理解

2018-08-27

0

对反向传播算法(Back-Propagation)的推导与一点理解

本文在推导过程中忽略了偏置的存在,这样做是为了更简单明晰的阐述BP算法的操作过程,并不是说偏置不重要,希望不会引起误会。

我们知道,神经网络大多采取正向传播预测,反向传播误差的结构。反向传播算法是运用在神经网络中进行网络权重等最优值计算算法,其核心就是梯度下降 + 链式法则求偏导,下面就对反向传播算法进行一下简单的推导:

在下面的推导过程中,表示连接前一层神经元 和后一层神经元 的权值。

对于输出层神经元 ,它的输入 按下式进行计算(忽略偏置):

可以看到它的输入等于前一层所有神经元的输出和对应连接的加权和, 如上图,而的输出按下式计算:

对于有监督训练, 期望输出即样本类标签d和实际输出y都是已知的, 可以定义误差或者loss function为:

        前期的准备工作已经完成了,下面开始正式的推导过程:     

这样,我们就可以根据最后求出的误差来对权重进行更新,这种误差反向传递的方式就是反向传播算法的精髓所在。

处理完输出层神经元,我们再来看一下输出层之前的一层神经元的权值更新,我们定义表示连接前一层神经元和后一层神经元的权值。

相信大家已经看出误差反向传导的内涵了,每一层所产生的误差会逐渐向之前的层次传播,而各层的权重根据梯度下降算法不断地优化。总之,反向传播算法的核心就是梯度下降 + 链式法则求偏导,虽然看起来很繁琐并且计算复杂度有点高,但是实际上BP算法的精确性和易用性是很难被其他算法替代的,这也是现在比如CNN等很火的深度学习算法普遍采用BP算法的原因。

完 谢谢观看

展开阅读全文

上一篇:人工神经网络—【BP】反向传播算法证 ...下一篇:大数据对企业开展网络营销有多重要 ...

神经网络有监督深度学习​分享收藏微信二维码

相关阅读

大数据风险管理不容忽视Python进阶-函数默认参数(详解)区块链技术的升级让区块链应用实现可监管性 ...企业备份系统建设必须考虑的几个关键性问题 ...关于机器学习中需要我们知道的事情中英文垃圾短信过滤银行数据宽表构建和描述分析图书销售综合分析https://www.shan-machinery.com