人工神经网络入门：DeSieno法与Kohonen网络解析

"DeSieno法是一种神经网络训练策略，源自清华大学神经网络课程的PPT，由蒋宗礼教授讲解。该方法关注的是在Kohonen自组织映射（SOM）网络中如何处理权向量的更新。在DeSieno法中，当一个权向量匹配到的输入向量超过给定阈值（1/h）时，会临时提高该权向量的阈值。这种方法旨在优化网络的训练过程，但可能会导致某些应该被匹配的输入向量在后期被拒绝，从而影响网络的精度。Kohonen在1988年的研究指出，在一个完全训练过的网络中，随机选取的输入向量与任何给定权向量匹配的概率是1/h。此外，按照均匀分布初始化的权向量意味着它们有相等的被匹配概率。课程的目标是让学生熟悉人工神经网络的基本概念、模型和训练算法，并通过实验加深理解。课程涵盖的内容包括Perceptron、反向传播（BP）、竞争学习网络（CPN）、统计方法、Hopfield网、双向联想记忆（BAM）以及自适应 resonance theory（ART）等。" DeSieno法在神经网络中的应用主要涉及自组织映射（Self-Organizing Map, SOM）。SOM是一种无监督学习方法，用于数据的降维和可视化，尤其适用于高维数据集。在SOM中，网络节点（或称为神经元）的权重向量会根据输入向量进行调整，以尽可能接近输入。DeSieno法提出了一种动态调整阈值的策略，以防止过早地对某一特定输入进行过度学习，从而提高网络的整体性能。 在训练过程中，如果一个权向量频繁地匹配到输入向量，它的阈值会增加，这降低了它在未来对相似输入的敏感度。然而，这种策略可能导致一些关键的输入向量在训练后期被忽视，尤其是在输入序列不是随机而是有序的情况下。因此，DeSieno法需要在优化网络训练和避免丢失重要信息之间找到一个平衡。 在神经网络理论中，Perceptron是一种早期的单层线性分类器，能够学习线性可分的数据。反向传播（BP）算法则是多层前馈网络中最常用的训练方法，通过梯度下降来更新权重，以最小化预测输出与实际输出之间的误差。竞争学习网络（如CPN）则基于局部竞争机制，只有一部分神经元在每个训练步骤中被激活，这有助于在网络中发现数据的聚类结构。 Hopfield网是一种用于联想记忆的网络，通过能量函数来描述网络状态，并通过动态演化寻找稳定状态。双向联想记忆（BAM）则允许在网络的两个方向上同时进行信息的存取和处理。ART网络是一种自适应的模型，能够在线学习新的模式，同时保持对旧模式的记忆，它主要用于模式识别和分类任务，特别是在面对未知类别时。 通过蒋宗礼教授的课程，学生不仅能了解到这些经典模型的工作原理，还能通过实验实践深化理解，并学会如何将神经网络的知识应用于实际问题。此外，课程鼓励学生阅读相关文献，以便将所学知识与自己的研究课题相结合，提升研究和应用能力。