没有合适的资源?快使用搜索试试~ 我知道了~
首页神经网络参数更新公式推导(二).docx
资源详情
资源评论
资源推荐
深度神经网络权重(W)和偏置(B)递推公式
一、引言
与仅包含一层隐含层的网络不同,深度神经网络一般采用的激活函数为 ReLU 而不是
Sigmoid 函数,并且没有了阈值,而在每一层的输出上加上了偏置(Bias)。对于三层神
经网络中隐层的节点,其输入首先要与阈值作差,然后将差值输入到激活函数 (Sigmoid)
中。虽然都是采用 BP 算法进行更新,但三层网络更新的是权重和阈值,而深度网络中更
新的是权重矩阵和偏置。此外,由于是多层隐含层,所以需要在更新当前层的时候用到后
面一层的信息,需要明确给出权重矩阵和偏置的更新公式。
二、输入变换
1. 以卷积神经网络为例,输入为 m 行 n 列 c 通道的图像,总图像数目为 K;
2. 将每张图像拉直成一个行向量,维度大小为 1*m*n*c,记 l=1*m*n*c;
3. 这样,所有图像组成一个矩阵,表示如下:
4. 将图像拉直成行向量的做法与 tensorow 框架一致,而 Adrew Ng 采用列向量。
三、网络设置
1. 假设网络有 H 层;
2. 以 ReLU 函数为例,除最后一层激活函数为 Softmax 外,其余层激活函数为
ReLU;
3. 网络最后一层的节点数目等于类别数目;
4. 采用交叉熵作为损失函数。
四、符号标记
:表示第 h 层网络;
:第 h 层网络节点(神经元)的数目;
:第 h-1 层输出向第 h 层映射的权重矩阵,Size: ;
:第 h 层的偏置向量,Size: ;
:激活前第 h 层的线性输出,Size: ;
: 经过激活函数后的输出, Size: ;
ma_studd
- 粉丝: 131
- 资源: 3
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- 27页智慧街道信息化建设综合解决方案.pptx
- 计算机二级Ms-Office选择题汇总.doc
- 单链表的插入和删除实验报告 (2).docx
- 单链表的插入和删除实验报告.pdf
- 物联网智能终端项目设备管理方案.pdf
- 如何打造品牌的模式.doc
- 样式控制与页面布局.pdf
- 武汉理工Java实验报告(二).docx
- 2021线上新品消费趋势报告.pdf
- 第3章 Matlab中的矩阵及其运算.docx
- 基于Web的人力资源管理系统的必要性和可行性.doc
- 基于一阶倒立摆的matlab仿真实验.doc
- 速运公司物流管理模式研究教材
- 大数据与管理.pptx
- 单片机课程设计之步进电机.doc
- 大数据与数据挖掘.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0