请简述人工神经网络中 2 个常用的激活函数,2 个常用的损失函 数(适用于连续型、离散型输出各列举 1 个);并分别介绍下所 列激活函数和损失函数为什么适用于人工神经网络。
时间: 2024-04-07 10:28:29 浏览: 70
好的,我可以为您简述人工神经网络中两个常用的激活函数和两个常用的损失函数,以及它们的适用原因。
1. 激活函数
(1) Sigmoid 函数
Sigmoid 函数是一种常用的激活函数,它可以将输入映射到 (0,1) 的区间内,因此适用于需要进行二分类的场景。Sigmoid 函数的公式为:$$ f(x) = \frac{1}{1+e^{-x}} $$
Sigmoid 函数的优点是它的输出在 0 到 1 之间,可以用来表示一个概率值,而且在输入比较小或比较大的情况下,输出会趋近于 0 或 1,这可以帮助网络进行分类。
(2) ReLU 函数
ReLU 函数是另一种常用的激活函数,它可以将输入映射到 [0,∞) 的区间内。ReLU 函数的公式为:$$ f(x) = max(0,x) $$
ReLU 函数的优点是它的计算速度比较快,而且在输入为正数时,输出为该输入,这可以帮助网络更好地学习正数特征。
2. 损失函数
(1) 均方误差(MSE)
均方误差是一种适用于连续型输出的常用损失函数,它可以衡量模型预测值与真实值之间的平均偏差。均方误差的公式为:$$ MSE = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y_i})^2 $$
其中,$y_i$ 是真实值,$\hat{y_i}$ 是模型的预测值,n 是训练样本的数量。
(2) 交叉熵(Cross-Entropy)
交叉熵是一种适用于离散型输出的常用损失函数,它可以衡量模型预测值与真实值之间的差异性。交叉熵的公式为:$$ H(p,q) = -\sum_{i=1}^n p_i \log q_i $$
其中,$p_i$ 是真实值的概率分布,$q_i$ 是模型的预测概率分布,n 是离散值的个数。
适用原因:
Sigmoid 函数适用于需要进行二分类的场景,因为它可以将输入映射到 (0,1) 的区间内,并输出表示概率的值。
ReLU 函数适用于需要学习正数特征的场景,因为它在输入为正数时输出为该输入。
均方误差适用于连续型输出的场景,因为它可以衡量模型预测值与真实值之间的平均偏差。
交叉熵适用于离散型输出的场景,因为它可以衡量模型预测值与真实值之间的差异性。在分类问题中,交叉熵通常用来评估模型的预测准确性。
阅读全文