MATLAB实现三种深度学习激活函数绘图
需积分: 1 132 浏览量
更新于2024-10-12
收藏 891B RAR 举报
常见的激活函数有Sigmoid函数、ReLU(Rectified Linear Unit)函数和双曲正切(tanh)函数。以下是使用Matlab软件绘制这三种激活函数图像的代码实现。"
知识点一:Sigmoid函数
Sigmoid函数,也称为逻辑斯蒂函数,是一种在输入为实数时输出为(0,1)之间的S形曲线函数。它的数学表达式为:
\[ \sigma(x) = \frac{1}{1 + e^{-x}} \]
Sigmoid函数的代码实现(sigmod_pic.m):
```matlab
x = -10:0.1:10; % 创建一个从-10到10的向量,步长为0.1
y = 1./(1 + exp(-x)); % 计算Sigmoid函数值
plot(x, y); % 绘制Sigmoid函数图像
title('Sigmoid Function'); % 添加标题
xlabel('Input value (x)'); % x轴标签
ylabel('Output value (y)'); % y轴标签
grid on; % 显示网格
```
在Matlab中运行上述代码后,会生成一个S型的曲线,展示了Sigmoid函数的输入与输出之间的关系。
知识点二:ReLU函数
ReLU函数,全称为修正线性单元,是深度学习中最常用的激活函数之一。ReLU函数的数学表达式为:
\[ f(x) = \max(0, x) \]
这意味着如果输入x为正数,ReLU函数的输出就是x本身;如果x为负数,输出则为0。ReLU函数的代码实现(relu.m):
```matlab
x = -10:0.1:10; % 创建一个从-10到10的向量,步长为0.1
y = max(0, x); % 计算ReLU函数值
plot(x, y); % 绘制ReLU函数图像
title('ReLU Function'); % 添加标题
xlabel('Input value (x)'); % x轴标签
ylabel('Output value (y)'); % y轴标签
grid on; % 显示网格
```
运行上述代码,可以得到一个从原点开始,右侧呈直线分布的图像,左侧则为水平的x轴,这表示负数输入被抑制为0。
知识点三:双曲正切函数
双曲正切(tanh)函数是一种数学函数,它将输入值压缩和映射到区间(-1, 1)内。双曲正切函数的数学表达式为:
\[ \tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} \]
双曲正切函数的代码实现(tanh.m):
```matlab
x = -10:0.1:10; % 创建一个从-10到10的向量,步长为0.1
y = tanh(x); % 计算双曲正切函数值
plot(x, y); % 绘制双曲正切函数图像
title('Hyperbolic Tangent (tanh) Function'); % 添加标题
xlabel('Input value (x)'); % x轴标签
ylabel('Output value (y)'); % y轴标签
grid on; % 显示网格
```
在Matlab中执行这段代码后,可以观察到双曲正切函数的输出值在-1和1之间波动,随着输入值的增加,输出值趋近于1;随着输入值的减少,输出值趋近于-1。
总结:
在深度学习模型中,激活函数的选择对网络的性能有着直接的影响。Sigmoid函数和tanh函数都具有平滑、连续的特性,但是存在梯度消失的问题,尤其是在神经网络的深层部分。ReLU函数由于其简洁性和有效性成为了现代深度神经网络中最受欢迎的激活函数之一。在实际应用中,选择合适的激活函数是构建高效神经网络的重要步骤。通过Matlab绘制这些激活函数的图像,可以帮助我们直观地了解它们的特性,从而更好地选择和应用这些函数。
2946 浏览量
152 浏览量
120 浏览量
135 浏览量
610 浏览量
542 浏览量
2023-04-02 上传
116 浏览量

人工智能算法研究院
- 粉丝: 6w+
最新资源
- Swift实现渐变圆环动画的自定义与应用
- Android绘制日历教程与源码解析
- UCLA LONI管道集成Globus插件开发指南
- 81军事网触屏版自适应HTML5手机网站模板下载
- Bugzilla4.1.2+ActivePerl完整安装包
- Symfony SonataNewsBundle:3.x版本深度解析
- PB11分布式开发简明教程指南
- 掌握SVN代码管理器,提升开发效率与版本控制
- 解决VS2010中ActiveX控件未注册的4个关键ocx文件
- 斯特里尔·梅迪卡尔开发数据跟踪Android应用
- STM32直流无刷电机控制实例源码剖析
- 海豚系统模板:高效日内交易指南
- Symfony CMF路由自动化:routing-auto-bundle的介绍与使用
- 实现仿百度下拉列表框的源码解析
- Tomcat 9.0.4版本特性解析及运行环境介绍
- 冒泡排序小程序:VC6.0实现代码解析