MATLAB实现三种深度学习激活函数绘图

资源摘要信息:"在深度学习中，激活函数是神经网络的核心组成部分之一，负责为模型引入非线性因素。常见的激活函数有Sigmoid函数、ReLU（Rectified Linear Unit）函数和双曲正切（tanh）函数。以下是使用Matlab软件绘制这三种激活函数图像的代码实现。" 知识点一：Sigmoid函数 Sigmoid函数，也称为逻辑斯蒂函数，是一种在输入为实数时输出为(0,1)之间的S形曲线函数。它的数学表达式为： \[ \sigma(x) = \frac{1}{1 + e^{-x}} \] Sigmoid函数的代码实现（sigmod_pic.m）： ```matlab x = -10:0.1:10; % 创建一个从-10到10的向量，步长为0.1 y = 1./(1 + exp(-x)); % 计算Sigmoid函数值 plot(x, y); % 绘制Sigmoid函数图像 title('Sigmoid Function'); % 添加标题 xlabel('Input value (x)'); % x轴标签 ylabel('Output value (y)'); % y轴标签 grid on; % 显示网格 ``` 在Matlab中运行上述代码后，会生成一个S型的曲线，展示了Sigmoid函数的输入与输出之间的关系。 知识点二：ReLU函数 ReLU函数，全称为修正线性单元，是深度学习中最常用的激活函数之一。ReLU函数的数学表达式为： \[ f(x) = \max(0, x) \] 这意味着如果输入x为正数，ReLU函数的输出就是x本身；如果x为负数，输出则为0。ReLU函数的代码实现（relu.m）： ```matlab x = -10:0.1:10; % 创建一个从-10到10的向量，步长为0.1 y = max(0, x); % 计算ReLU函数值 plot(x, y); % 绘制ReLU函数图像 title('ReLU Function'); % 添加标题 xlabel('Input value (x)'); % x轴标签 ylabel('Output value (y)'); % y轴标签 grid on; % 显示网格 ``` 运行上述代码，可以得到一个从原点开始，右侧呈直线分布的图像，左侧则为水平的x轴，这表示负数输入被抑制为0。 知识点三：双曲正切函数 双曲正切（tanh）函数是一种数学函数，它将输入值压缩和映射到区间(-1, 1)内。双曲正切函数的数学表达式为： \[ \tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} \] 双曲正切函数的代码实现（tanh.m）： ```matlab x = -10:0.1:10; % 创建一个从-10到10的向量，步长为0.1 y = tanh(x); % 计算双曲正切函数值 plot(x, y); % 绘制双曲正切函数图像 title('Hyperbolic Tangent (tanh) Function'); % 添加标题 xlabel('Input value (x)'); % x轴标签 ylabel('Output value (y)'); % y轴标签 grid on; % 显示网格 ``` 在Matlab中执行这段代码后，可以观察到双曲正切函数的输出值在-1和1之间波动，随着输入值的增加，输出值趋近于1；随着输入值的减少，输出值趋近于-1。 总结： 在深度学习模型中，激活函数的选择对网络的性能有着直接的影响。Sigmoid函数和tanh函数都具有平滑、连续的特性，但是存在梯度消失的问题，尤其是在神经网络的深层部分。ReLU函数由于其简洁性和有效性成为了现代深度神经网络中最受欢迎的激活函数之一。在实际应用中，选择合适的激活函数是构建高效神经网络的重要步骤。通过Matlab绘制这些激活函数的图像，可以帮助我们直观地了解它们的特性，从而更好地选择和应用这些函数。