凸优化理论：等式约束与KKT条件

"等式约束优化-sysml精粹_试读版" 本文主要讨论了等式约束优化问题，这是优化理论中的一个重要分支，尤其在信息与通信工程领域有着广泛的应用。等式约束优化问题旨在在满足一组等式约束条件下，最小化一个目标函数。具体形式为：求解使函数 \( f(x) \) 最小化的 \( x \)，同时需满足 \( Ax = b \) 的等式约束，其中 \( f(x) \) 是一个凸函数且二次连续可微，\( A \) 是一个 \( p \times n \) 的矩阵，其秩小于 \( p \)。 文章指出，如果最优解存在，那么满足Karush-Kuhn-Tucker（KKT）条件的解即为最优解。KKT条件是求解这类优化问题的必要条件，它要求目标函数的梯度与约束的拉格朗日乘子的和为0，即 \( \nabla f(x) + A^T \lambda = 0 \) 和 \( Ax = b \)。这里的 \( \lambda \) 是拉格朗日乘子，表示约束的权重。 举了一个KKT系统的例子，说明了如何构建和解决这样的系统。对于二次优化问题，即目标函数和约束均为二次函数的形式，可以通过解KKT系统来寻找最优解。KKT矩阵是非奇异的，意味着系统有唯一解，这通常与约束条件下的二次函数的性质有关。 文章还提到了等式约束的消解方法，将原问题转换为无约束优化问题。通过将等式约束 \( Ax = b \) 解出，可以将原问题表示为 \( f(z) \)，其中 \( z \) 在 \( A \) 的零空间范围内。最优解 \( x^* \) 可以通过 \( x^* = Fz^* + x^{\prime} \) 表达，其中 \( z^* \) 是无约束问题的最优解，而 \( x^{\prime} \) 是 \( A \) 等式约束的特解。 该资料由信息与通信工程学院的庄伯金教授提供，涵盖了凸优化的基本概念和理论，包括凸集、凸函数以及相关的优化方法。课程的目标是使学生掌握凸优化理论和算法，能够将实际问题转化为凸优化问题，并解决这些问题。推荐的参考书籍包括Stephen Boyd和Lieven Vandenberghe的《Convex Optimization》以及袁亚湘、孙文瑜的《最优化理论与方法》。