图 3 阶跃激励函数
译注由图可知阶跃函数是一元的,而激励函数既然能把多个输入相加应为多元,故需加以区别。
如果到目前为止你对这些还没有获得很多感觉,那也不必担心。窍门就是 不要企图去感觉它,暂时就
随波逐流地跟我一起向前走吧。在经历本章的若干处后,你最终就会开始弄清楚它们的意义。而现在,
就放松一点继续读下去吧。
3.1 现在需要一些数学了(Now for Some Math)
•今后讨论中,我将尽量把数学降低到绝对少量,但学习一些数学记号对下面还是很有用的。我将把
数学一点一点地喂给你,在到达有关章节时向你介绍一些新概念。我希望采用这样的方式能使你的头脑
能更舒适地吸收所有的概念,并使你在开发神经网络的每个阶段都能看到怎样把数学应用到工作中。现
在首先让我们来看一看,怎样把我在此之前告诉你的所有知识用数学方式表达出来。
•一个人工神经细胞从现在开始,我将把“人工神经细胞”简称它为“神经细胞”可以有任意 个输入,
代表总数。可以用下面的数学表达式来代表所有 个输入:
((((((!'%'E'+'&''
同样•个权重可表达为
((((((<!'<%'<E'<+'<&'<
请记住,激励值就是所有输入与它们对应权重的之乘积之总和,因此,现在就可以写为
(((((()<!!F<%%F<EEF<++F<&&FF<
以这种方式写下的求和式,我在第 & 章“建立一个更好的遗传算法”中已提到,可以用希腊字母 G 来简化:
注:神经网络的各个输入,以及为各个神经细胞的权重设置,都可以看作一个 维的向量。你在许多技
术文献中常常可以看到是以这样的方式来引用的。•
下面我们来考察在程序中应该怎样实现?假设输入数组和权重数组均已初始化为 和 <,则
求和的代码如下
/70:)$
8)$$FF
H
0:F)I<$
J
图 + 以图形的方式表示了此方程。请别忘记,如果激励值超过了阀值,神经细胞就输出 !$如果激活小于
阀值,则神经细胞的输出为 。这和一个生物神经细胞的兴奋和抑制是等价的。我们假设一个神经细胞
有 & 个输入,他们的权重 < 都初始化成正负 ! 之间的随机值3!<!。•表 % 说明了激励值的求和
计算过程。•