MATLAB实现三种深度学习激活函数绘图
需积分: 1 100 浏览量
更新于2024-10-12
收藏 891B RAR 举报
常见的激活函数有Sigmoid函数、ReLU(Rectified Linear Unit)函数和双曲正切(tanh)函数。以下是使用Matlab软件绘制这三种激活函数图像的代码实现。"
知识点一:Sigmoid函数
Sigmoid函数,也称为逻辑斯蒂函数,是一种在输入为实数时输出为(0,1)之间的S形曲线函数。它的数学表达式为:
\[ \sigma(x) = \frac{1}{1 + e^{-x}} \]
Sigmoid函数的代码实现(sigmod_pic.m):
```matlab
x = -10:0.1:10; % 创建一个从-10到10的向量,步长为0.1
y = 1./(1 + exp(-x)); % 计算Sigmoid函数值
plot(x, y); % 绘制Sigmoid函数图像
title('Sigmoid Function'); % 添加标题
xlabel('Input value (x)'); % x轴标签
ylabel('Output value (y)'); % y轴标签
grid on; % 显示网格
```
在Matlab中运行上述代码后,会生成一个S型的曲线,展示了Sigmoid函数的输入与输出之间的关系。
知识点二:ReLU函数
ReLU函数,全称为修正线性单元,是深度学习中最常用的激活函数之一。ReLU函数的数学表达式为:
\[ f(x) = \max(0, x) \]
这意味着如果输入x为正数,ReLU函数的输出就是x本身;如果x为负数,输出则为0。ReLU函数的代码实现(relu.m):
```matlab
x = -10:0.1:10; % 创建一个从-10到10的向量,步长为0.1
y = max(0, x); % 计算ReLU函数值
plot(x, y); % 绘制ReLU函数图像
title('ReLU Function'); % 添加标题
xlabel('Input value (x)'); % x轴标签
ylabel('Output value (y)'); % y轴标签
grid on; % 显示网格
```
运行上述代码,可以得到一个从原点开始,右侧呈直线分布的图像,左侧则为水平的x轴,这表示负数输入被抑制为0。
知识点三:双曲正切函数
双曲正切(tanh)函数是一种数学函数,它将输入值压缩和映射到区间(-1, 1)内。双曲正切函数的数学表达式为:
\[ \tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} \]
双曲正切函数的代码实现(tanh.m):
```matlab
x = -10:0.1:10; % 创建一个从-10到10的向量,步长为0.1
y = tanh(x); % 计算双曲正切函数值
plot(x, y); % 绘制双曲正切函数图像
title('Hyperbolic Tangent (tanh) Function'); % 添加标题
xlabel('Input value (x)'); % x轴标签
ylabel('Output value (y)'); % y轴标签
grid on; % 显示网格
```
在Matlab中执行这段代码后,可以观察到双曲正切函数的输出值在-1和1之间波动,随着输入值的增加,输出值趋近于1;随着输入值的减少,输出值趋近于-1。
总结:
在深度学习模型中,激活函数的选择对网络的性能有着直接的影响。Sigmoid函数和tanh函数都具有平滑、连续的特性,但是存在梯度消失的问题,尤其是在神经网络的深层部分。ReLU函数由于其简洁性和有效性成为了现代深度神经网络中最受欢迎的激活函数之一。在实际应用中,选择合适的激活函数是构建高效神经网络的重要步骤。通过Matlab绘制这些激活函数的图像,可以帮助我们直观地了解它们的特性,从而更好地选择和应用这些函数。
246 浏览量
125 浏览量
点击了解资源详情
152 浏览量
120 浏览量
135 浏览量
610 浏览量
542 浏览量
2023-04-02 上传

人工智能算法研究院
- 粉丝: 6w+
最新资源
- Python大数据应用教程:基础教学课件
- Android事件分发库:对象池与接口回调实现指南
- C#开发的斗地主网络版游戏特色解析
- 微信小程序地图功能DEMO展示:高德API应用实例
- 构建游戏排行榜API:Azure Functions和Cosmos DB的结合
- 实时监控系统进程CPU占用率方法与源代码解析
- 企业商务谈判网站模板及技术源码资源合集
- 实现Webpack构建后自动上传至Amazon S3
- 简单JavaScript小计算器的制作教程
- ASP.NET中jQuery EasyUI应用与示例解析
- C语言实现AES与DES加密算法源码
- 开源项目实现复古游戏机控制器输入记录与回放
- 掌握Android与iOS异步绘制显示工具类开发
- JAVA入门基础与多线程聊天售票系统教程
- VB API实现串口通信的调试方法及源码解析
- 基于C#的仓库管理系统设计与数据库结构分析