全连接神经网络 线性函数

### 全连接神经网络中的线性函数

在全连接神经网络中，每一层的节点都与前一层的所有节点相连。对于给定的一层，输入信号经过加权求和形成线性组合\[z = Wx + b\]，其中\(W\)表示权重矩阵，\(b\)代表偏置向量，而\(x\)则是来自前一层的输入向量[^1]。

#### 线性变换的重要性

线性变换允许模型学习不同特征之间的关系，并调整这些特征的重要性。然而，在多层感知机或多层前馈网络架构里，仅靠线性操作无法捕捉数据内部更深层次的关系模式。因此，通常会在每层之后应用非线性的激活函数来引入必要的非线性特性，从而增强表达能力并使网络能够逼近任意复杂的映射关系[^2]。

尽管如此，线性部分依然是构建有效深层结构的关键组件之一：

- **参数化输入空间**：通过设置不同的权重值，可以改变原始输入的空间分布形式；

- **提供基础运算支持**：作为后续非线性处理的基础，它负责完成初步的数据转换工作；

import numpy as np

def linear_transform(input_vector, weights_matrix, bias_vector):
    """
    实现简单的线性变化过程
    
    参数:
        input_vector (numpy.ndarray): 输入向量
        weights_matrix (numpy.ndarray): 权重矩阵
        bias_vector (numpy.ndarray): 偏差向量
        
    返回:
        transformed_output (numpy.ndarray): 经过线性变化后的输出
    """
    
    # 执行线性变换 z=Wx+b
    transformed_output = np.dot(weights_matrix, input_vector) + bias_vector
    
    return transformed_output

值得注意的是，虽然单个线性层本身不具备强大的表征力，但在堆叠多个带有适当初始化策略及正则化的线性层时，配合恰当的选择激活机制，则可显著提升整体性能表现[^3]。