人工神经网络入门：最速下降法与极小点探索

"最速下降法要求E的极小点-清华大学--人工神经网络PPT" 这篇PPT来自于清华大学的人工神经网络课程，由蒋宗礼教授主讲。课程旨在引导学生进入人工神经网络的研究领域，讲解了人工神经网络的基本概念、模型、训练算法以及软件实现方法。教材和主要参考书目提供了深入学习的资源。 在神经网络的学习中，最速下降法是一种常用的优化算法，用于寻找误差函数E的极小值点。这个方法基于梯度下降的原理，通过调整网络参数wij来减小误差E。当E大于0时，如果改变wij使得E减小，即Δwij小于0，那么wij应该朝着使E下降的方向更新。相反，如果E小于0，为了减小E，我们应该增加wij，即Δwij应为正。这种策略确保了在网络训练过程中，误差E持续下降，直至找到局部或全局最小值。 课程内容涵盖了从智能系统的描述模型到各种神经网络模型，如感知器(Perceptron)、反向传播(BP)网络、竞争学习(CPN)、统计方法、Hopfield网、双向联想记忆(BAM)和自组织映射(ART)等。这些内容不仅涉及理论知识，还强调了实践操作和通过实验加深理解的重要性。 第一章介绍了智能的定义、智能系统的特点，并对比了物理符号系统和连接主义的观点，同时也回顾了人工神经网络的发展历程。第二章则深入到神经网络的基础，包括生物神经元模型、人工神经元的数学描述、常见的激励函数，以及神经网络的基本结构和特性，如存储类型。 此外，课程鼓励学生通过阅读相关文献，结合自己的研究课题，将所学知识应用于实际，以提升学习深度和应用能力。通过这样的学习，学生不仅可以掌握人工神经网络的基本理论，还能培养解决问题和进行研究的能力。