稀疏对角拟牛顿下非单调超记忆梯度算法:大规模优化的高效解决方案
需积分: 9 201 浏览量
更新于2024-08-11
收藏 457KB PDF 举报
本文主要探讨了"基于稀疏对角拟牛顿方向的非单调超记忆梯度算法"在解决大规模无约束优化问题中的应用。作者孙清洼、徐琳琳、刘丽敏和王宣战针对超记忆梯度算法的特性,特别是其迭代简单和存储需求低的优点,提出了一种新的优化策略。他们借鉴了稀疏对角拟牛顿技术,并结合了修正Gu和Mo非单调线搜索步长规则,设计了一种新的算法来处理这类大规模问题。
这个新算法的核心在于建立了一个非单调的超记忆梯度框架,其核心步骤包括使用稀疏对角矩阵来近似Hesse矩阵,这样不仅降低了计算复杂度,而且在存储方面更加高效。与传统拟牛顿方法相比,它采用了不同于经典的对称简单矩阵Ak的取值方式,即采用主元法计算Ak,这进一步减小了算法所需的存储空间,对于大规模问题的求解更具优势。
此外,算法还引入了非单调线搜索策略,通过调整步长规则以确保算法的全局收敛性。这种策略允许算法在优化过程中跳出局部最优,从而更有可能找到全局最优解。作者对算法的全局收敛性进行了理论分析,证明了其在解决病态和大规模优化问题上的有效性。
论文的关键点集中在以下几个方面:
1. 非线性规划的背景下,稀疏对角拟牛顿算法的应用;
2. 非单调线搜索策略在梯度更新中的作用;
3. 主元法在计算Ak时的优化作用,降低存储需求;
4. 算法的全局收敛性分析,确保算法的稳定性和有效性。
这篇论文提供了一种改进的优化算法,适用于处理大规模、病态的无约束优化问题,通过实验证明了其在实际应用中的有效性和稳定性。这对于处理现代大型数据集中的优化任务具有重要意义。
2021-03-28 上传
2017-10-28 上传
2021-03-20 上传
2021-04-25 上传
2021-06-12 上传
2021-05-11 上传
2021-04-28 上传
105 浏览量
点击了解资源详情
weixin_38576922
- 粉丝: 6
- 资源: 904
最新资源
- ES管理利器:ES Head工具详解
- Layui前端UI框架压缩包:轻量级的Web界面构建利器
- WPF 字体布局问题解决方法与应用案例
- 响应式网页布局教程:CSS实现全平台适配
- Windows平台Elasticsearch 8.10.2版发布
- ICEY开源小程序:定时显示极限值提醒
- MATLAB条形图绘制指南:从入门到进阶技巧全解析
- WPF实现任务管理器进程分组逻辑教程解析
- C#编程实现显卡硬件信息的获取方法
- 前端世界核心-HTML+CSS+JS团队服务网页模板开发
- 精选SQL面试题大汇总
- Nacos Server 1.2.1在Linux系统的安装包介绍
- 易语言MySQL支持库3.0#0版全新升级与使用指南
- 快乐足球响应式网页模板:前端开发全技能秘籍
- OpenEuler4.19内核发布:国产操作系统的里程碑
- Boyue Zheng的LeetCode Python解答集