bp神经网络预测推导

### BP神经网络预测机制及数学推导

#### 一、BP神经网络结构概述
BP（Back Propagation）神经网络是一种多层前馈人工神经网络，能够通过监督学习调整权重以最小化输出误差。该模型由输入层、隐藏层以及输出层构成，在每两层之间存在连接权重。

#### 二、正向传播阶段
在网络接收输入信号 \( \mathbf{x}=[x_1,x_2,\cdots ,x_n]^T\) 后，数据会依次经过各层节点传递至最终的输出单元。对于第\( l \) 层中的任意一个神经元 \( j \)，其净输入可以表示为：

\[ net_j^{(l)}=\sum_{i=0}^{n_l-1}{w_{ji}^{(l)}o_i^{(l-1)}}+b_j^{(l)},\quad o_0^{(l-1)}=1 \]

这里 \( w_{ji}^{(l)} \) 表示来自上一层第 \( i \) 个神经元到当前层第 \( j \) 个神经元之间的连接权重；而 \( b_j^{(l)} \) 则代表偏置项。激活函数作用于上述线性组合得到实际输出值:

\[ o_j^{(l)}=f(net_j^{(l)}) \]

其中常用的Sigmoid型激活函数定义如下：

\[ f(x)=\frac{1}{1+\exp(-x)} \]

此过程一直持续直到计算出最后一层即输出层的结果为止[^1]。

#### 三、反向传播与参数更新
当获得预期目标 \( t_k \)(对应于样本的真实标签), 可依据均方差损失度量两者差异程度并据此修正权值和阈值, 进一步优化模型性能。具体来说，先求得总平方误差 E :

\[ E(\mathbf{W})=\frac{1}{2}\sum_{k}(t_k-o_k)^2 \]

随后利用链式法则沿着梯度方向逐步回溯影响路径上的每一个参数直至收敛条件满足或达到最大迭代次数限制。针对某特定权重 \( w_{ij} \):

\[ \Delta w_{ij}=ηδ_jo_i \]

这里的 η 是学习率超参控制步长大小; δ_j 描述了局部敏感度衡量指标反映了单个神经元对整体代价贡献的影响力度.

特别地，对于输出层而言有:

\[ δ_k=(t_k-o_k)f'(net_k)\]

而对于隐含层则需考虑后续所有关联因素共同决定:

\[ δ_j=f'(net_j)\sum_kw_{kj}δ_k \]

最后按照下述方式刷新各个待估参数的新估计值:

\[ W(t+1):=W(t)+ΔW(t) \]

如此循环往复执行多次训练周期后便能实现较为理想的泛化能力[^2]。

#### 四、预测流程总结
给定一组测试集实例作为新来的观测对象时，只需重复一遍前述提到过的前向传导操作即可得出相应的分类决策或者回归数值。值得注意的是此时不再涉及任何关于反馈调节环节的内容因为已经完成了离线建模工作只保留在线推理部分而已[^3]。

import numpy as np

def sigmoid(z):
    return 1 / (1 + np.exp(-z))

class NeuralNetwork:
    def __init__(self, layers):
        self.layers = layers
        self.weights = []
        for i in range(len(layers)-1):
            weight_matrix = np.random.randn(layers[i]+1,layers[i+1])
            self.weights.append(weight_matrix)

    def forward(self, X):
        activations = [np.atleast_2d(X)]
        for layer_weights in self.weights[:-1]:
            activation = sigmoid(np.dot(np.c_[activations[-1], np.ones((len(activations[-1]), 1))], layer_weights))
            activations.append(activation)
        
        final_layer_output = np.dot(np.c_[activations[-1], np.ones((len(activations[-1]), 1))], self.weights[-1])
        predictions = final_layer_output
        
        return predictions, activations
    
neural_network = NeuralNetwork([input_size, hidden_size, output_size])    
predictions, _ = neural_network.forward(test_data)