-230-
第十九章 神经网络模型
§1 神经网络简介
人工神经网络是在现代神经科学的基础上提出和发展起来的,旨在反映人脑结构及
功能的一种抽象数学模型。自 1943 年美国心理学家 W. McCulloch 和数学家 W. Pitts 提
出形式神经元的抽象数学模型—MP 模型以来,人工神经网络理论技术经过了 50 多年
曲折的发展。特别是 20 世纪 80 年代,人工神经网络的研究取得了重大进展,有关的理
论和方法已经发展成一门界于物理学、数学、计算机科学和神经生物学之间的交叉学科。
它在模式识别,图像处理,智能控制,组合优化,金融预测与管理,通信,机器人以及
专家系统等领域得到广泛的应用,提出了 40 多种神经网络模型,其中比较著名的有感
知机,Hopfield 网络,Boltzman 机,自适应共振理论及反向传播网络(BP)等。在这
里我们仅讨论最基本的网络模型及其学习算法。
1.1 人工神经元模型
下图表示出了作为人工神经网络(artificial neural network,以下简称 NN)的基本
单元的神经元模型,它有三个基本要素:
(i)一组连接(对应于生物神经元的突触),连接强度由各连接上的权值表示,权
值为正表示激活,为负表示抑制。
(ii)一个求和单元,用于求取各输入信号的加权和(线性组合)。
(iii)一个非线性激活函数,起非线性映射作用并将神经元输出幅度限制在一定范
围内(一般限制在
)1,0( 或 )1,1(− 之间)。
此外还有一个阈值
k
(或偏置
kk
b
)。
以上作用可分别以数学式表达出来:
∑
=
=
p
j
jkjk
xwu
1
,
kkk
uv
= , )(
kk
vy
式中
p
xxx ,,,
21
L 为输入信号,
kpkk
www ,,,
21
L 为神经元 k 之权值,
k
u 为线性组合结
果,
k
为阈值, )(
为激活函数,
k
y 为神经元
k
的输出。
若把输入的维数增加一维,则可把阈值
k
包括进去。例如
∑
=
=
p
j
jkjk
xwv
0
, )(
kk
uy
此处增加了一个新的连接,其输入为
1
0
x (或 1
),权值为
kk
w
0
(或
k
b ),如
下图所示。