突破局部极小点：随机神经网络与反馈、模糊与小脑模型比较

随机神经网络是一种为了解决传统神经网络如Hopfield网络容易陷入局部极小点问题而提出的新型网络结构。Hopfield网络，由美国加州理工学院的J.J.Hopfield教授在1982年提出，是一种单层反馈神经网络，其核心是能量函数的概念，它定义了网络运行时的状态稳定性。Hopfield网络分为离散型DHNN(Discrete Hopfield Neural Network)和连续型CHNN(Continuous Hopfield Neural Network)两种形式。 在离散Hopfield网络中，每个神经元采用二值状态，通过wij权重与所有其他神经元的输出相连，形成一个全反馈网络，用于实现状态之间的相互制约。网络状态由所有神经元的状态组成，而网络的输入则是初始状态。网络的目标是通过动态演化过程使能量函数沿着梯度下降，但常规方法可能导致局部极小点的问题。 为克服这个问题，随机神经网络引入了随机性，允许网络在学习过程中随机地改变权重或神经元状态，从而增加了“爬山”搜索全局最优解的可能性。这种随机性有助于跳出局部极小，使得网络能够在复杂的非线性空间中探索更多可能性，提高学习和解决问题的能力。 其中，反馈神经网络包括Hopfield网络、双向联想记忆神经网络、以及Boltzmann机等不同类型，它们都强调了输出对输入的延迟反馈作用，使得网络能够处理时间序列数据，并在训练过程中考虑了输出和输入之间的历史信息。 反馈神经网络的基本概念包括神经元的状态表示、网络状态的定义、以及网络的输入设定。通过这些概念，网络能够有效地进行信息处理和记忆存储，特别是在模式识别、联想记忆和优化问题求解等领域展现出独特的性能。 总结来说，随机神经网络是通过增加随机性来改进传统反馈神经网络的学习效率和泛化能力，尤其在解决复杂问题时提供了新的解决方案，是现代神经网络研究中的一个重要分支。