激活函数在神经网络中扮演的关键角色

# 1. 神经网络基础知识回顾

神经网络作为一种模拟人类神经系统的计算模型，是深度学习的核心。在深入探讨激活函数的基本原理之前，首先需要对神经网络的基础知识进行回顾，包括神经网络的概述和激活函数在神经网络中的作用。接下来将逐一进行讲解。

## 1.1 神经网络概述

神经网络是由大量的人工神经元相互连接而成的网络结构，分为输入层、隐藏层和输出层。通过对输入信号的加权和激活函数的处理，神经网络能够学习输入数据的特征，并进行相应的分类、回归或生成任务。

## 1.2 神经网络中的激活函数作用

激活函数是神经网络中非常重要的一部分，其作用在于引入非线性因素，使得神经网络可以学习和表达更加复杂的函数关系。激活函数对神经元的输入进行转换，常见的激活函数包括Sigmoid、Tanh、ReLU等。不同的激活函数对神经网络的训练和性能影响巨大，因此选择合适的激活函数至关重要。

# 2. 激活函数的基本原理

在神经网络中，激活函数扮演着至关重要的角色。本章将深入探讨激活函数的基本原理，包括其定义、作用以及常见的类型及特点。

### 2.1 激活函数的定义和作用

激活函数是神经网络中的一种非线性变换，它将神经元的输入信号转换为输出信号，引入了非线性因素，帮助神经网络更好地学习复杂的模式和关系。激活函数的引入打破了神经网络仅能表示线性变换的限制，使神经网络能够逼近任意复杂的函数。

激活函数的主要作用包括：
- 引入非线性变换，增强神经网络的表达能力；
- 解决神经网络无法学习非线性关系的问题；
- 控制神经元的激活状态，非线性激活可以限制输出的范围。

### 2.2 常见的激活函数及其特点

#### 2.2.1 Sigmoid 函数
Sigmoid 函数将输入的实数映射到范围 (0, 1) 内，具有平滑的输出和单调递增的特点，但存在梯度消失问题。

import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

# 示例
x = np.arange(-5, 5, 0.1)
y = sigmoid(x)

# 可视化
import matplotlib.pyplot as plt
plt.plot(x, y)
plt.title("Sigmoid Function")
plt.show()

**代码总结**：Sigmoid 函数的输出在 (0, 1) 之间，具有平滑曲线，但对输入较大或较小的值梯度接近于零。

#### 2.2.2 ReLU 函数
ReLU 函数对负输入返回零，对正数输入返回输入值本身，是目前最常用的激活函数之一，简单有效，但存在部分神经元“死亡”问题。

def relu(x):