![](https://csdnimg.cn/release/download_crawler_static/89223184/bg7.jpg)
的 大 部 分 内 容 。 1967 年 Minsky 出 版 了 《 Computation : Finite andInfinite
Machines》一书,它是第一本以书的形式扩展了 McCulloch 和 Pitts1943 年的结果,
并把他们置于自动机理论和计算理论的背景中。
1958 年,计算机科学家 Rosenblatt 提出感知机(Perceptron),首次把神经网
络理论付诸工程实现。这是一种学习和自组织的心理学模型,它基本上符合神经生物
学的知识,模型的学习环境是有噪声的,网络构造中存在随机连接,这是符合动物学
习的自然环境。当时,人们对神经网络的研究过于乐观,认为只要将这种神经元互连
成一个网络,就可以解决人脑思维的模型问题。
但是,随之而来的 Minsky 和 Papert(1969)所著的《Perceptron》一书,利
用数学证明单层感知器所能计算的根本局限,提出感知器的处理能力有限,甚至连
XOR 这样的问题也不能解决,并在多层感知器的总结章中,论述了单层感知器的所
有局限性在多层感知器中是不可能被全部克服的。当时人工智能的以功能模拟为目标
的另一分支出现了转机,产生了以知识信息处理为基础的知识工程(Knowledge
Engineering),给人工智能从实验室走向实用带来了希望。同时,微电子技术的发
展,使传统的计算机的处理能力有很大提高,数字计算机的发展使当时科学界普遍认
为它能解决一切问题,包括模式识别、机器人控制等。因而不必去寻找新的计算理论
与实现方法。而且,当时的工艺水平还未能达到制作实用的具有足够规模的神经网络,
用分离的电子管即使是晶体管所制作的神经网络也只能作示教星的表演。这些因素的
共同作用,促使人们降低了对神经网络研究的热情,从而使神经网络进入萧条时期。
但在其间,一些人工神经网络的先驱仍然致力于这一研究,美国波士顿大学的
Grossberg 提出了自适应共谐振理论(ART 网),芬兰的 Kohonen 提出了自组织映
射(SOM),Amari 致力于神经网络数学理论的研究,这些都为神经网络的进一步
研究与发展奠定了基础。
1982 年,美国加州工学院 Hopfield 提出 Hopfield 神经网络模型,开创了神经
网络用于联想记忆和优化计算的新途径,有力地推动了神经网络的发展。1985 年,
Hinton 和 Sejnowsky 等人提出了 Boltzmann 模型,首次采用了多层网络的学习算
法,在学习中采用统计热力学模拟退火技术,保证整个系统趋于全局稳定点。1986
年 Remelhart 和 McClelland 等人提出了并行分布处理的理论,同时,Werbos 和
Parker 独立发展了多层网络的 BP 算法,这是目前最普遍的网络,广泛用于实际问
题求解。
神经网络的发展已到了一个新时期,它涉及的范围正在不断扩大,其应用渗透到