"Delta规则是人工神经网络中的一种权重更新策略,由Widrow和Hoff提出,也称为最小均方误差学习规则。这个规则主要用于单层感知器和多层反向传播网络(BP网络)的训练过程。Delta规则的核心思想是通过调整神经元之间的连接权重来减小预测输出与期望输出之间的误差。
在Widrow和Hoff的公式中,权重更新表达式为:
\( W_{ij}(t+1) = W_{ij}(t) + \alpha(y_j - a_j(t))o_i(t) \)
这里的 \( W_{ij} \) 是神经元i到神经元j的权重,\( t \) 表示时间步或训练迭代次数,\( \alpha \) 是学习率,\( y_j \) 是期望输出,\( a_j(t) \) 是神经元j的实际激活值(或输出),\( o_i(t) \) 是神经元i的输出。
该公式可以改写为增量形式:
\( W_{ij}(t+1) = W_{ij}(t) + ∆W_{ij}(t) \)
其中,
\( ∆W_{ij}(t) = \alpha\delta_jo_i(t) \)
\( \delta_j = y_j - a_j(t) \)
这里的 \( \delta_j \) 称为误差项或梯度,表示当前神经元的输出误差。
Grossberg的Delta规则略有不同,它考虑了输入和输出的偏差:
\( ∆W_{ij}(t) = \alpha a_i(t)(o_j(t) - W_{ij}(t)) \)
更一般的Delta规则则更为复杂,包括了多个因素:
\( ∆W_{ij}(t) = g(a_i(t), y_j, o_j(t), W_{ij}(t)) \)
这里,\( g \) 是一个依赖于输入激活 \( a_i \),期望输出 \( y_j \),实际输出 \( o_j \) 和当前权重 \( W_{ij} \) 的函数,这使得权重更新可以根据网络状态和学习目标动态调整。
在人工神经网络的课程中,通常会涵盖这些基本概念,以及更高级的网络模型,如Perceptron(感知器)、Backpropagation(反向传播)、 Competitive Neural Networks(竞争神经网络)、Hopfield网、Bidirectional Association Memories(双向联想记忆)和Adaptive Resonance Theory(自适应共振理论)等。此外,还会讨论智能系统的描述模型,如物理符号系统与连接主义的对比,以及神经网络的历史和发展。
通过学习,学生不仅能够理解智能系统的基本模型,还能够掌握人工神经网络的基本概念和各种网络模型的结构、特点、训练算法、运行方式和应用场景。同时,课程也鼓励学生通过实践和阅读相关文献,将所学知识与自己的研究课题结合起来,以便深入理解和应用人工神经网络。"