西安电科大：人工智能入门——神经网络历史与发展

人工神经网络，简称ANN，起源于20世纪40年代的心理学家McCulloch和数学家Pitts的阈值加权和模型（M-P模型），标志着人工神经网络研究的早期探索。这一模型试图模拟人类大脑的工作原理，通过数学模型和电子电路来实现。1949年，Hebb的学习律提出神经元之间突触联系的可变性，进一步推动了神经网络理论的发展。 第一次研究热潮发生在1950年至1968年，以Marvin Minsky和Frank Rosenblatt的单级感知器为代表，人们相信这是通向智能的关键。然而，1969年Minsky和Papert的《Perceptron》揭示了其局限性，特别是对于“异或”运算的处理问题，导致研究进入反思期。 1983年至1990年，J.Hopfield的贡献至关重要，他提出了循环网络，不仅解决了ANN稳定性的问题，还阐述了ANN与动力学的联系，并强调了信息存储在神经元连接中的概念。同年，他设计的Hopfield网在解决旅行商问题上取得了突破，找到了近似最优解，引起了广泛关注。 1984年，圣地牙哥加州大学的Hinton、Rumelhart等人引入随机机制，提出了反向传播算法，这是神经网络训练的重要里程碑，使得深层神经网络能够进行有效的学习和优化。这一阶段，神经网络研究进入了第二次高潮，深度学习的雏形开始显现。 总结来说，人工神经网络是人工智能领域的一个核心分支，它通过对生物神经系统的模仿，发展出了数学模型和硬件实现方式。尽管经历了起伏，但随着技术的进步，特别是反向传播算法的应用，人工神经网络已成为机器学习和深度学习的基础，广泛应用于图像识别、自然语言处理、推荐系统等多个领域。