无约束优化:带线搜索的非单调自适应信赖域算法

需积分: 10 0 下载量 47 浏览量 更新于2024-08-08 收藏 724KB PDF 举报
"一类新的带线搜索的非单调自适应信赖域算法 (2012年) 是一篇关于无约束最优化问题的论文,由景书杰和苗荣撰写。该算法提出了一种创新的非单调自适应信赖域方法,结合Wolfe线搜索策略,以减少计算量并确保全局收敛性。" 在无约束最优化问题中,目标是找到函数f(x)的全局最小值,其中x是n维空间中的变量。信赖域方法是一种广泛应用的求解这类问题的数值优化算法。传统的信赖域算法通常包括以下步骤:在当前点x处,通过解决一个局部线性化或二次逼近的子问题来生成试步,然后根据一定的接受准则判断是否采用这个试步。 这篇论文提出的新型算法引入了非单调性和自适应特性。非单调性意味着算法允许函数值在某些迭代步中略有增加,以换取更长远的下降。这有助于跳出局部极小点,增加了找到全局最优解的可能性。自适应技术体现在当试验步不成功时,算法不再重新解决信赖域子问题,而是采用Wolfe线搜索条件来选取下一个迭代点。Wolfe条件是线搜索中常用的一组准则,它兼顾了步长的选择和函数下降,以保证算法的收敛性。 Wolfe线搜索要求新点满足两个条件:(1) 函数值沿着搜索方向下降,即f(x + αp) < f(x),其中α是步长,p是搜索方向;(2) 一阶Taylor展开的负梯度足够减小,即f'(x + αp) < ρf'(x),ρ是预设的阈值。这种策略平衡了下降速度和曲线的曲率,有助于避免过多的局部调整,从而减少了计算量。 论文证明了在适当条件下,新算法具有全局收敛性,这是优化算法设计中的关键指标。全局收敛意味着算法可以保证无论初始点在哪里,都能逐步接近问题的全局最小值。作者通过理论分析和可能的数值实验,展示了算法的有效性和效率。 该算法为无约束最优化问题提供了一个新的解决方案,它的核心优势在于结合非单调性和自适应性,以及利用Wolfe线搜索减少计算成本,同时保持了全局收敛性。这对于实际应用中的大型优化问题尤其有价值,因为它可以在保证算法性能的同时,降低计算复杂度。