关于Relu文章的理解翻译DeepSparseRectifierNeuralNetworks_ReLU论文 - CSDN文库

1星需积分: 23 133 浏览量更新于2023-03-16 评论 1 收藏 515KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

http://proceedings.mlr.press/v15/glorot11a/glorot11a.pdf

This is a transcription of some ideas in Recifier Network Paper.

2 Background

2.1 Neuroscience Observations

对于生物学的神经元模型，激活函数是我们期望的发射率，因为它是一个当前

突触的输入信号产生的总输入(Dayan and Abott, 2001)。一个激活函数被称为反

对称或者对称的，当它对一个“非强刺激输入”的响应是强烈的抑制或者激

活，当对非强烈刺激输入的响应是 0 的时候它就是单边的。我们期望在计算神

经元模型和机器学习模型间的主要的差距包括以下：

关于脑力消耗的研究表明神经元在编码信息时是稀疏和分布式的(Attwell and

Laughlin, 2001)，估计出同一时刻神经元被激活的比例介于 1~4%之间(Lennie,

2003)。这对应了表达的丰富度和小动作电位的能量消耗的折衷。在没有额外的

规则话，例如 L1 惩罚因子，一般的前向神经元并不带这项属性。例如，

sigmoid 激活在 0.5 附近有一个稳定的状态区间，因而在初始化了很小的权重

之后，所有的神经元在它们饱和范围的一半处被激活。这在生物学上是不合理

的并且不利于基于梯度的优化(LeCun et al., 1998; Bengio and Glorot, 2010)。

生物学和机器学习模型的重要分歧与非线性激活函数有关。一个常用的生物学

神经元模型，leakyintegrate-and-fire （LIF）(Dayan and Abott, 2001)，给出下

面关于激活率和输入流的关系

这里 t

ref

是不应期（refractoryperiod，在两次激活动作间的最小时间），I

是输入流，Vr是静息电位，Vth 是临界电位（满足 Vth>Vr）,R,E,t 是膜电

阻，势电位和时间常量。深度学习和神经网络最常用的激活函数是标准的罗杰

斯第 sigmoid 和双曲正切（tanh），它们相当于一个线性变换。双曲正切在 0

处又一个稳定状态，故在优化的角度更可取(LeCun et al., 1998; Bengio and

Glorot, 2010)，但是它在 0 附近强制制造出反对称，这在生物神经元里是反常

的。

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余3页未读，立即下载

评论1

酸奶酱卍

2021-11-30

没什么用....

popoala

粉丝: 22
资源: 12

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈