没有合适的资源?快使用搜索试试~ 我知道了~
首页稳定训练法提升回响状态网络输出权重的性能与稳定性
本文主要探讨了回响状态网络(ESN)中输出连接权重的稳定训练方法,针对Wiener-Hopf方程在实际应用中难以保证自治ESN(自适应ESN)稳定性的问题进行了深入研究。作者首先对ESN稳定性丧失的原因进行了分析,指出传统的学习方法可能由于动态系统的内在复杂性而面临稳定性挑战。 Lyapunov稳定性理论被引入,作为一种衡量系统稳定性的关键工具,作者提出并证明了一个充分条件,即如果ESN满足一定的Lyapunov函数性质,那么它就具备了渐近稳定性。这个条件为评估和提升ESN的稳定性提供了理论依据。 接着,作者将输出连接权重的学习问题转化为了一个非线性约束下的最优化问题,目标是找到既能提高预测输出精度又确保系统稳定的权重参数组合。这种转换使得解决方法不再受限于单一的Wiener-Hopf方法,而是可以借助更广泛的优化技术,如粒子群优化算法。粒子群优化算法以其全局搜索能力和适应性,在处理这类多目标优化问题时表现出色。 通过实验证明,提出的这种方法有效解决了传统方法在保证ESN高精度预测的同时,确保其Lyapunov稳定性的问题。这不仅提高了ESN的性能,而且为其他领域如时间序列预测、信号处理等应用中的ESN设计提供了更加稳健的训练策略。 本文的研究对于理解和改进回响状态网络的训练方法具有重要意义,特别是在保证系统稳定性的同时,提升了ESN在实际问题中的预测能力和可靠性,为神经网络特别是自治ESN的稳定应用奠定了坚实的基础。在未来的研究中,这一工作有望推动ESN技术在更广泛的场景下得到广泛应用。
资源详情
资源推荐
第 26 卷 第 1 期
Vol. 26 No. 1
控 制 与 决 策
Control and Decision
2011 年 1 月
Jan. 2011
回响状态网络输出连接权重的一个稳定训练方法
文章编号: 1001-0920 (2011) 01-0022-05
宋青松
1,2
, 冯祖仁
1
, 李人厚
1
(1. 西安交通大学 系统工程研究所,西安 710049;2. 长安大学 信息工程学院,西安 710064)
摘 要: 鉴于在回响状态网络 (ESN) 的应用中常使用 Wiener-Hopf 方程学习输出连接权重, 但该方法难以保证自
治 ESN 的稳定性, 首先分析了导致该稳定性丧失的原因, 提出并证明了自治 ESN 具备 Lyapunov 稳定性的一个充分
条件; 然后将输出连接权重学习问题转化为一个非线性约束的最优化问题, 并采用粒子群优化算法求解. 仿真结果表
明, 所提方法既能确保 ESN 获取高精度的预测输出, 又能保证 ESN 的 Lyapunov 稳定性.
关键词: 神经网络;回响状态网络;Lyapunov 稳定性;粒子群最优化
中图分类号: TP301 文献标识码: A
Stable training method for output connection weights of echo state
networks
SONG Qing-song
1,2
, FENG Zu-ren
1
, LI Ren-hou
1
(1. Institute of Systems Engineering,Xi’an Jiaotong University,Xi’an 710049,China;2. School of Information
Engineering,Chang’an University,Xi’an 710064,China.Correspondent:SONG Qing-song,E-mail:qssong@
sei.xjtu.edu.cn)
Abstract: In applications of echo state network (ESN), the Wiener-Hopf equation is usually used to learn the ESN’s output
connect weights, but can hardly ensure the stability of the autonomous ESNs. Therefore, The reasons for the loss of the
stability are analyzed firstly, and a sufficient condition of the Lyapunov stability for the autonomous ESNs is proposed
and proved. Then the output connect weight learning problem is translated into an optimization problem with a nonlinear
constraint. Particle swarm optimization algorithm is employed to solve the optimization problem. Finally, the simulation
results show that the method proposed can not only result in high-precision prediction outputs of the ESN, but also ensure its
Lyapunov stability.
Key words: neural network;echo state network;Lyapunov stability;particle swarm optimization
1 引引引 言言言
回响状态网络 (ESN)
[1]
是一类新型的回归神经网
络 (RNN), 在混沌和非线性动态系统建模、辨识和控
制等方面取得了成功应用. 如, 对 Mackey-Glass(MG)
混沌时间序列的前向第 84 步预测, ESN 获取的归一
化均方根误差 (NRMSE) 约为 10
−4.2
, 而常见预测方
法对该任务获取的 NRMSE 仅为10
−1.2
∼10
−2.0
.
ESN 体系结 构通常由一个大规 模稀疏连接的
RNN (称为“库”) 和一个线性读取器构成. 与常见的
RNN 方法相比, ESN 方法最重要的特征是在所有连
接权重中, 仅从库到读取器的连接权重需要训练, 其
他所有连接权重在初始化过程中随机设置, 之后保持
固定. 此外, 由于库对外界输入具有丰富的表达能力,
简单的线性回归方法即可完成其权重学习任务, 从而
有效回避了常规 RNN 方法中遭遇的局部极小、收敛
慢甚至不收敛等权重训练难题
[2]
.
然而, 当 ESN 方法用于轨迹生成或模式发生等
任务时, 输出反馈会形成闭合环路, ESN 在自治模式
下运行, 其 Lyapunov 稳定性丧失, 直接表现为实际输
出远远偏离期望输出. 神经网络的稳定性是成功应
用神经网络的前提. 近年来, 有关 Hopfield 型神经网
络、细胞神经网络、双向联想记忆 (BAM) 网络等网
络模型的稳定性研究已取得丰硕成果, 其中构造适
当的 Lyapunov 泛函是研究诸网络稳定性最常见的方
收稿日期: 2009-10-21;修回日期: 2009-12-28.
基金项目: 国家自然科学基金项目(60875043);国家重点基础研究发展计划项目(2007CB311006).
作者简介: 宋青松(1980−), 男, 博士生, 从事大规模神经网络的研究;冯祖仁(1953−), 男, 教授, 博士生导师, 从事控制
理论与控制工程等研究.
下载后可阅读完整内容,剩余4页未读,立即下载
weixin_38674409
- 粉丝: 7
- 资源: 920
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- C++多态实现机制详解:虚函数与早期绑定
- Java多线程与异常处理详解
- 校园导游系统:无向图实现最短路径探索
- SQL2005彻底删除指南:避免重装失败
- GTD时间管理法:提升效率与组织生活的关键
- Python进制转换全攻略:从10进制到16进制
- 商丘物流业区位优势探究:发展战略与机遇
- C语言实训:简单计算器程序设计
- Oracle SQL命令大全:用户管理、权限操作与查询
- Struts2配置详解与示例
- C#编程规范与最佳实践
- C语言面试常见问题解析
- 超声波测距技术详解:电路与程序设计
- 反激开关电源设计:UC3844与TL431优化稳压
- Cisco路由器配置全攻略
- SQLServer 2005 CTE递归教程:创建员工层级结构
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功