收稿日期:2017-05-18 修回日期:2017-09-21 网络出版时间:2017-12-05
基金项目:辽宁省博士科研启动基金(201601099);辽宁省档案科技项目(L-2016-8-7)
作者简介:王嵘冰(1979-),男,博士,讲师,研究方向为数据挖掘、云计算。
网络出版地址:http:/ / kns. cnki. net / kcms / detail / 61. 1450. TP. 20171205. 1436. 132. html
BP 神经网络隐含层节点数确定方法研究
王嵘冰,徐红艳,李 波,冯 勇
(辽宁大学 信息学院,辽宁 沈阳 110036)
摘 要:在 BP 神经网络的众多参数中,隐含层节点数是其中一个非常重要的参数,它的设置对 BP 神经网络的性能影响很
大,而且是导致“过拟合”现象的直接原因。 目前理论上还不存在一种科学普遍的用于确定隐含层节点数的方法,应用时
只是凭借设计者以往的经验以及借助多次实验进行确定,因此无法高效地获得隐含层节点数。 针对 BP 神经网络隐含层
节点数的确定问题,提出一种“三分法”算法,用于快速确定 BP 神经网络的隐含层节点数的最优解。 在 Wine-data 数据集
上,通过 Matlab 仿真实验验证了“三分法” 算法比传统方法获取隐含层节点数的效率提高了 1. 8 倍,是一种行之有效的
方法。
关键词:BP 神经网络;隐含层节点;三分法;最优解
中图分类号:TP301. 6 文献标识码:A 文章编号:1673-629X(2018)04-0031-05
doi:10. 3969 / j. issn. 1673-629X. 2018. 04. 007
Research on Method of Determining Hidden Layer Nodes in
BP Neural Network
WANG Rong-bing,XU Hong-yan,LI Bo,FENG Yong
(School of Information,Liaoning University,Shenyang 110036,China)
Abstract:In the many parameters of BP neural networks,the number of nodes in the hidden layer is a very important one,which has a
great influence on the performance of BP neural networks,and it is the immediate cause of the phenomenon of over-fitting. At present,
there is no scientific and universal method to determine the number of nodes in the hidden layer. In application it is determined just by the
designer,s experience and the help of many experiments,therefore the number of hidden layer nodes can, t be obtained efficiently. Ai-
ming at the problem,we propose a ternary algorithm to rapidly determine the optimal solution of the number of hidden layer nodes in BP
neural networks. In the data set of Wine-data,it is proved that the efficiency of the proposed method which is effective is 1. 8 times high-
er than the traditional method through Matlab simulation.
Key words:BP neural network;hidden layer nodes;ternary algorithm;optimal solution
0 引 言
人工神经网络具有自学习、自组织和优良的非线
性逼近能力,因此众多领域的学者都在对其进行研究
和应用。 在实际应用中,其中一种人工神经网络―BP
神经网络(back propagation neural networks,BPNN) 最
为人们熟知,并广泛应用于人工智能、图像处理、优化
算法、数据挖掘等重要领域。
在对 BPNN 进行深入研究的过程中,学者们提出
了一个非常重要的、不可忽略的问题,即 BPNN 隐含层
节点数确定问题。 由于对神经网络隐含层节点数的确
定缺乏有效的方法,目前仅能凭经验和不断地实验来
确定隐含层节点数。 针对这个问题,文中提出了一种
行之有效的算 法,即 “ 三分 法” 算法。 该 算 法可 以 简
单、快速地确定 BPNN 隐含层节点数。
1 相关研究
1. 1 BPNN
1986 年,Rumelhart 等提出了误差反向传播法,即
BP 算法
[1]
。 BPNN 能够实现 M-N 维的映射关系,而
无需事先知道映射关系的数学方程式。 BPNN 模型由
三部分构成:输入层、隐含层以及输出层
[2]
,模型图如
图 1 所示。
图 1 为三层前馈神经网络,不含 Input 层,整个网
络含 有 两 个 隐 含 层 Hidden
1
和 Hidden
2
,一 个 输 出 层
第 28 卷 第 4 期
2018 年 4 月
计 算 机 技 术 与 发 展
COMPUTER TECHNOLOGY AND DEVELOPMENT
Vol. 28 No. 4
Apr. 2018
万方数据