深度神经网络权重（W）和偏置（B）递推公式
一、引言
与仅包含一层隐含层的网络不同，深度神经网络一般采用的激活函数为 ReLU 而不是
Sigmoid 函数，并且没有了阈值，而在每一层的输出上加上了偏置（Bias）。对于三层神
经网络中隐层的节点，其输入首先要与阈值作差，然后将差值输入到激活函数 (Sigmoid)
中。虽然都是采用 BP 算法进行更新，但三层网络更新的是权重和阈值，而深度网络中更
新的是权重矩阵和偏置。此外，由于是多层隐含层，所以需要在更新当前层的时候用到后
面一层的信息，需要明确给出权重矩阵和偏置的更新公式。
二、输入变换
1. 以卷积神经网络为例，输入为 m 行 n 列 c 通道的图像，总图像数目为 K；
2. 将每张图像拉直成一个行向量，维度大小为 1*m*n*c，记 l=1*m*n*c；
3. 这样，所有图像组成一个矩阵，表示如下：
4. 将图像拉直成行向量的做法与 tensorow 框架一致，而 Adrew Ng 采用列向量。
三、网络设置
1. 假设网络有 H 层；
2. 以 ReLU 函数为例，除最后一层激活函数为 Softmax 外，其余层激活函数为
ReLU；
3. 网络最后一层的节点数目等于类别数目；
4. 采用交叉熵作为损失函数。
四、符号标记
：表示第 h 层网络；
：第 h 层网络节点（神经元）的数目；
：第 h-1 层输出向第 h 层映射的权重矩阵，Size： ；
：第 h 层的偏置向量，Size: ；
：激活前第 h 层的线性输出，Size: ；
： 经过激活函数后的输出, Size: ；
ma_studd
- 粉丝: 130
- 资源: 3
我的内容管理
收起
- 我的资源
快来上传第一个资源
我的收益 登录查看自己的收益
我的积分
登录查看自己的积分
我的C币
登录后查看C币余额
我的收藏 
我的下载 
下载帮助
会员权益专享
最新资源
- ARM Cortex-A(armV7)编程手册V4.0.pdf
- ABB机器人保养总结解析.ppt
- 【超详细图解】菜鸡如何理解双向链表的python代码实现
- 常用网络命令的使用 ipconfig ping ARP FTP Netstat Route Tftp Tracert Telnet nslookup
- 基于单片机控制的DC-DC变换电路
- RS-232接口电路的ESD保护.pdf
- linux下用time(NULL)函数和localtime()获取当前时间的方法
- Openstack用户使用手册.docx
- KUKA KR 30 hA,KR 60 hA机器人产品手册.pdf
- Java programming with JNI
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
评论0