CS231n
课
程
笔
记
翻
译
：
反向
传
播
笔
记
原
文
如
下
：
内容列表：
简介
简单表达式和理解梯度
复合表达式，链式法则，反向传播
直观理解反向传播
模块：Sigmoid例子
反向传播实践：分段计算
回传流中的模式
用户向量化操作的梯度
小结
简
介
目
标
：本节将帮助读者对
反向
传
播
形成直观而专业的理解。反向传播是利用
链
式
法
则
递归计算表达式的梯度的方
法。理解反向传播过程及其精妙之处，对于理解、实现、设计和调试神经网络非常
关
键
。
问
题
陈
述
：这节的核心问题是：给定函数 ，其中 是输入数据的向量，需要计算函数 关于 的梯度，也就是
。
目
标
：之所以关注上述问题，是因为在神经网络中 对应的是损失函数（ ），输入 里面包含训练数据和神经网
络的权重。举个例子，损失函数可以是SVM的损失函数，输入则包含了训练数据 、权重 和偏差
。注意训练集是给定的（在机器学习中通常都是这样），而权重是可以控制的变量。因此，即使能用反向传播计算
输入数据 上的梯度，但在实践为了进行参数更新，通常也只计算参数（比如 ）的梯度。然而 的梯度有时
仍然是有用的：比如将神经网络所做的事情可视化便于直观理解的时候，就能用上。
如果读者之前对于利用链式法则计算偏微分已经很熟练，仍然建议浏览本篇笔记。因为它呈现了一个相对成熟的反
向传播视角，在该视角中能看见基于实数值回路的反向传播过程，而对其细节的理解和收获将帮助读者更好地通过
本课程。
简
单
表
达
式
和
理
解
梯
度
从简单表达式入手可以为复杂表达式打好符号和规则基础。先考虑一个简单的二元乘法函数 。对两个
输入变量分别求偏导数还是很简单的：
解
释
：牢记这些导数的意义：函数变量在某个点周围的极小区域内变化，而导数就是变量变化导致的函数在该方向
上的变化率。
相望_相忘
- 粉丝: 6
- 资源: 32
我的内容管理
收起
- 我的资源
快来上传第一个资源
我的收益 登录查看自己的收益
我的积分
登录查看自己的积分
我的C币
登录后查看C币余额
我的收藏 
我的下载 
下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
评论0