无约束优化：带线搜索的非单调自适应信赖域算法

"一类新的带线搜索的非单调自适应信赖域算法 (2012年) 是一篇关于无约束最优化问题的论文，由景书杰和苗荣撰写。该算法提出了一种创新的非单调自适应信赖域方法，结合Wolfe线搜索策略，以减少计算量并确保全局收敛性。" 在无约束最优化问题中，目标是找到函数f(x)的全局最小值，其中x是n维空间中的变量。信赖域方法是一种广泛应用的求解这类问题的数值优化算法。传统的信赖域算法通常包括以下步骤：在当前点x处，通过解决一个局部线性化或二次逼近的子问题来生成试步，然后根据一定的接受准则判断是否采用这个试步。 这篇论文提出的新型算法引入了非单调性和自适应特性。非单调性意味着算法允许函数值在某些迭代步中略有增加，以换取更长远的下降。这有助于跳出局部极小点，增加了找到全局最优解的可能性。自适应技术体现在当试验步不成功时，算法不再重新解决信赖域子问题，而是采用Wolfe线搜索条件来选取下一个迭代点。Wolfe条件是线搜索中常用的一组准则，它兼顾了步长的选择和函数下降，以保证算法的收敛性。 Wolfe线搜索要求新点满足两个条件：(1) 函数值沿着搜索方向下降，即f(x + αp) < f(x)，其中α是步长，p是搜索方向；(2) 一阶Taylor展开的负梯度足够减小，即f'(x + αp) < ρf'(x)，ρ是预设的阈值。这种策略平衡了下降速度和曲线的曲率，有助于避免过多的局部调整，从而减少了计算量。 论文证明了在适当条件下，新算法具有全局收敛性，这是优化算法设计中的关键指标。全局收敛意味着算法可以保证无论初始点在哪里，都能逐步接近问题的全局最小值。作者通过理论分析和可能的数值实验，展示了算法的有效性和效率。 该算法为无约束最优化问题提供了一个新的解决方案，它的核心优势在于结合非单调性和自适应性，以及利用Wolfe线搜索减少计算成本，同时保持了全局收敛性。这对于实际应用中的大型优化问题尤其有价值，因为它可以在保证算法性能的同时，降低计算复杂度。