自适应信赖域算法：非单调与步长调节策略

"自调节步长的非单调新自适应信赖域算法 (2011年) - 西南民族大学学报·自然科学版, 作者: 邵安，王希云" 这篇2011年的学术论文主要探讨了一种用于解决无约束优化问题的新颖的自适应信赖域算法，其特点是引入了可调节步长的非单调策略。无约束优化问题是指寻找使目标函数最小化的变量向量，通常在数学和工程领域有广泛应用。在这样的问题中，优化算法是至关重要的工具。 信赖域方法是这类问题中常用的一种策略，它在每次迭代时会解决一个局部的子问题，即信赖域子问题。在这个子问题中，算法试图找到一个方向向量（dk），使得沿着这个方向的目标函数下降，并且该方向的长度（步长）受到信赖域半径（ßk）的限制。Hessian矩阵Bk（或者其近似值）用于描述函数在当前迭代点的曲率信息。 传统的信赖域算法通常采用固定的半径更新规则，而论文提出的新方法采用了更灵活的自适应技术来调整信赖域半径ßk。当试探步dk不被接受（即未达到预定的下降条件）时，算法能够根据当前迭代点和梯度变化的信息自动调整步长，从而提高计算效率。这种自适应性不仅考虑了梯度gk与dk的内积，还考虑了梯度的增量(gk+1-gk)，使得算法能更好地利用迭代过程中的信息。 非单调技术是另一种关键策略，它允许在某些迭代中目标函数值不降低，以避免过早收敛到局部最小值。文中提到的非单调信赖域算法建立在Grippo的非单调框架之上，旨在改善算法的全局收敛性能。 论文还对比了一些其他的工作，例如Zhang等人的自适应信赖域算法和莫降涛的固定步长非单调信赖域算法。作者指出，这些算法要么在步长选择上不够灵活，要么计算效率不高。因此，他们提出的新算法在不被接受的试探步长上采用自动调节机制，通过缩短步长来寻找更好的迭代点，这显著提升了算法的计算效率。 通过一系列的数值试验，论文证明了新提出的算法在实际应用中的有效性。这种自调节步长的非单调新自适应信赖域算法对于优化问题的求解提供了更高效且更具鲁棒性的解决方案，尤其是在处理复杂的无约束优化问题时。