神经网络逼近线性函数

神经网络可以用来逼近任意非线性的复杂函数，包括线性函数。实际上，在最简单的形式——全连接一层（感知器）的情况下，神经网络确实能够表示线性变换。单层感知器有n个输入节点和m个输出节点，其权重矩阵W是一个大小为(n×m)的二维数组，加上一个偏置项b，可以表示线性组合：

\[ z = w_1x_1 + w_2x_2 + ... + w_nx_n + b \]

这里，\( z \) 是线性输出，\( x_i \) 是输入特征，而 \( w_i \) 和 \( b \) 分别是对应的权重和偏置。如果只有一个输出节点，并且权重矩阵是单位矩阵，那么它就变成了标准的一维线性函数。

然而，随着网络深度增加，神经网络通过堆叠非线性的激活函数（如ReLU、sigmoid等），能够在训练过程中学习到复杂的线性组合，从而达到近似任何线性函数的效果。这种能力使得神经网络非常适用于需要处理线性不可分数据的任务，比如图像分类或回归问题。