《数值最优化》——Jorge Nocedal & Stephen J. Wright

"《数值最优化》是一本由Jorge Nocedal和Stephen J. Wright合著的专业书籍，属于Springer Series in Operations Research系列，由Springer出版社出版。本书包含85幅插图，旨在深入讲解优化理论与方法，对于学习这个领域的读者来说是一本宝贵的教材。两位作者分别来自Northwestern University的电气与计算机工程系和数学与计算机科学分部，以及Argonne National Laboratory。此外，该书还得到了Stanford University的Peter Glynn和University of Wisconsin-Madison的Stephen M. Robinson作为系列编辑的支持。封面设计源自Frederick V. Field的前哥伦布时期墨西哥邮票设计，由Dover Publications提供。" 《数值最优化》这本书详细介绍了优化问题的数值计算方法，涵盖了广泛的主题，包括但不限于： 1. 优化问题基础：书中会阐述优化问题的基本概念，如连续可微函数的极小值、梯度和Hessian矩阵等。 2. 一维搜索算法：讨论了线性搜索方法，如Golden Section Search和Armijo Backtracking Line Search，这些方法在单变量最优化中起着关键作用。 3. 多元函数的优化：涵盖多元函数的局部极小值、梯度下降法、牛顿法和拟牛顿法，如BFGS和L-BFGS算法。 4. 约束优化：介绍处理约束条件的算法，如 penalty methods 和 barrier methods，以及如何在有约束的优化问题中应用这些技术。 5. 非线性方程组求解：讨论了高斯-塞德尔迭代、共轭梯度法以及基于最速下降的迭代方法在解决非线性方程组中的应用。 6. 线性规划与对偶理论：详述了线性规划问题的单纯形法，以及其对偶问题的理论。 7. 二次规划：解释了如何高效解决二次优化问题，包括内点法和基于Karush-Kuhn-Tucker (KKT) 条件的算法。 8. 全局优化：探讨全局优化问题，如分支定界法和模拟退火算法，用于寻找全局最优解。 9. 随机优化：介绍了随机搜索和遗传算法等现代优化技术，它们在处理复杂和大规模问题时特别有用。 10. 数值稳定性与收敛性分析：分析各种优化算法的数值稳定性，并讨论它们的收敛性质。 此外，书中还包括了大量的实例和练习题，以帮助读者加深理解和掌握所学知识。通过阅读《数值最优化》，读者不仅可以获得优化理论的扎实基础，还能学习到实际应用中的策略和技巧，从而能够有效地解决各种工程和科学问题中的优化挑战。