在CNN中如何选择合适的激活函数

# 1.1 激活函数的类型和特性

激活函数是神经网络中非线性变换的基石，它将神经元的输入信号映射到输出信号。根据其非线性程度，激活函数可分为线性激活函数和非线性激活函数。

### 1.1.1 线性激活函数

线性激活函数的输出与输入成线性关系，如恒等激活函数 `f(x) = x`。这种激活函数在简单线性模型中使用，但无法引入非线性，限制了神经网络的表达能力。

### 1.1.2 非线性激活函数

非线性激活函数引入非线性，使神经网络能够学习复杂模式。常见的非线性激活函数包括：

- **ReLU（修正线性单元）激活函数：** `f(x) = max(0, x)`，当输入小于 0 时输出为 0，否则输出为输入值。ReLU 具有计算效率高、梯度恒定等优点。
- **Sigmoid 激活函数：** `f(x) = 1 / (1 + exp(-x))`，将输入映射到 0 到 1 之间。Sigmoid 激活函数的输出呈 S 形，用于二分类和概率估计。
- **Tanh 激活函数：** `f(x) = (exp(x) - exp(-x)) / (exp(x) + exp(-x))`，将输入映射到 -1 到 1 之间。Tanh 激活函数的输出呈双曲正切形，与 Sigmoid 激活函数类似，但输出范围更宽。

# 2. 激活函数的理论基础

### 2.1 激活函数的类型和特性

激活函数是神经网络中用于引入非线性的基本组件。它们将线性加权和变换为非线性输出，从而使神经网络能够学习复杂模式。激活函数的类型和特性决定了神经网络的表示能力和学习效率。

#### 2.1.1 线性激活函数

线性激活函数以线性方式变换输入，即输出与输入成正比。最常见的线性激活函数是恒等函数：

f(x) = x

**特性：**

* 保持输入的相对大小关系。
* 不引入非线性，限制了神经网络的表示能力。
* 计算简单，但学习效率较低。

#### 2.1.2 非线性激活函数

非线性激活函数引入非线性变换，使神经网络能够学习复杂模式。常见的非线性激活函数包括：

* **Sigmoid函数：**

f(x) = 1 / (1 + e^(-x))

**特性：**

* 输出范围为 (0, 1)。
* 平滑、可微分。
* 梯度消失问题：当输入绝对值较大时，梯度接近 0，阻碍了反向传播的学习。

* **Tanh函数：**

f(x) = (e^x - e^(-x)) / (e^x + e^(-x))

**特性：**

* 输出范围为 (-1, 1)。
* 平滑、可微分。
* 比 Sigmoid 函数具有更快的收敛速度。

* **ReLU函数：**

f(x) = max(0, x)

**特性：**

* 输出范围为 [0, ∞)。
* 计算简单，收敛速度快。
* 存在梯度消失问题，当输入为负时，梯度为 0。

* **Leaky ReLU函数：**

f(x) = max(0.01x, x)

**特性：**

* 改进了 ReLU 函数，解决了梯度消失问题。
* 引入了少量负梯度，有利于反向传播。

* **ELU函数：**

f(x) = x if x >= 0, α(e^x - 1) if x < 0

**特性：**

* 平滑、可微分。
* 输出范围为 (-∞, ∞)。
* 解决了梯度消失问题，并具有更快的收敛速度。

### 2.2 激活函数的选择原则

激活函数的选择取决于神经网络的具体任务和数据分布。以下是一些选择原则：

#### 2.2.1 模型的复杂度

复杂度较高的模型需要更强大的激活函数，例如 ReLU 或 ELU。

####