在Tensorflow中实现leakyRelu操作详解(高效) - CSDN文库

6 浏览量更新于2023-05-11 收藏 94KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源推荐

在在Tensorflow中实现中实现leakyRelu操作详解操作详解(高效高效)

主要介绍了在Tensorflow中实现leakyRelu操作详解(高效)，具有很好的参考价值，希望对大家有所帮助。一起

跟随小编过来看看吧

从github上转来，实在是厉害的想法，什么时候自己也能写出这种精妙的代码就好了

原地址：简易高效的LeakyReLu实现

代码如下：代码如下：

我做了些改进，因为实在tensorflow中使用，就将原来的abs()函数替换成了tf.abs()

import tensorflow as tf

def LeakyRelu(x, leak=0.2, name="LeakyRelu"):

with tf.variable_scope(name):

f1 = 0.5 * (1 + leak)

f2 = 0.5 * (1 - leak)

return f1 * x + f2 * tf.abs(x) # 这里和原文有不一样的，我没试验过原文的代码，但tf.abs()肯定是对的

补充知识：补充知识：激活函数激活函数ReLU、、Leaky ReLU、、PReLU和和RReLU

“激活函数”能分成两类——“饱和激活函数”和“非饱和激活函数”。

sigmoid和tanh是“饱和激活函数”，而ReLU及其变体则是“非饱和激活函数”。使用“非饱和激活函数”的优势在于两点：

1.首先，“非饱和激活函数”能解决所谓的“梯度消失”问题。

2.其次，它能加快收敛速度。

Sigmoid函数需要一个实值输入压缩至[0,1]的范围

σ(x) = 1 / (1 + exp(−x))

tanh函数需要讲一个实值输入压缩至 [-1, 1]的范围

tanh(x) = 2σ(2x) − 1

ReLU

ReLU函数代表的的是“修正线性单元”，它是带有卷积图像的输入x的最大函数(x,o)。ReLU函数将矩阵x内所有负值都设为零，

其余的值不变。ReLU函数的计算是在卷积之后进行的，因此它与tanh函数和sigmoid函数一样，同属于“非线性激活函数”。这

一内容是由Geoff Hinton首次提出的。

ELUs

ELUs是“指数线性单元”，它试图将激活函数的平均值接近零，从而加快学习的速度。同时，它还能通过正值的标识来避免梯

度消失的问题。根据一些研究，ELUs分类精确度是高于ReLUs的。下面是关于ELU细节信息的详细介绍：

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余1页未读，立即下载

weixin_38519387

粉丝: 3
资源: 931

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈