数值优化基础：无约束优化问题解析

"该资源是基于《numerical optimization》的讨论课PPT转换的PDF，内容涵盖无约束优化的基本问题，适合自学使用。" 本文主要介绍了优化问题的基础知识，包括数学描述、问题分类以及凸优化的概念。在无约束优化领域，理解和掌握这些基础知识至关重要。 首先，优化问题被定义为寻找一个函数的极值，即最小化或最大化目标函数。用数学语言表示，给定一个向量变量\( x \)，目标函数\( f(x) \)以及可能存在的约束条件\( c_i(x) \)，最优化问题可以写成如下形式： \[ \min_{x \in \mathbb{R}^n} f(x) \quad \text{subject to} \quad c_i(x) = 0, i \in E \quad \text{and} \quad c_i(x) \geq 0, i \in I \tag{1.1} \] 其中，\( E \)和\( I \)分别代表等式约束和不等式约束所涉及的索引集合，\( c_i(x) \)为约束函数，\( f(x) \)是目标函数，\( x \)是待求解的变量。满足约束条件的解被称为可行解。 接下来，作者提到了优化问题的分类，主要包括： 1. **连续/离散优化**：连续优化处理的是变量在连续域上的问题，而离散优化则涉及到离散或整数变量。 2. **约束/非约束优化**：非约束优化只考虑目标函数的最小化或最大化，而约束优化则需要同时满足某些条件。 3. **线性/非线性优化**：目标函数和约束函数为线性或非线性函数的区别。 4. **全局/局部优化**：全局优化寻找函数的全局极值，局部优化仅关注局部极值。 5. **随机/确定性优化**：随机优化涉及随机变量，而确定性优化处理确定性的输入。 在优化过程中，构建问题模型、选择合适的算法、验证最优解的可行性以及分析解的敏感性是关键步骤。 此外，文中还特别强调了**凸优化**的概念。在凸优化中： - **凸集**：如果集合内的任意两点的线性组合仍在这个集合内，那么这个集合就是凸的。 - **凸函数**：在凸集上，函数的性质是，任意两点的线性组合的函数值不超过这两点各自函数值的线性组合。 - **凹函数**：凹函数是其负值为凸函数的函数。 - **凸优化问题**：如果目标函数是凸的，等式约束为线性，且不等式约束函数是凹的，那么这个问题就被认为是凸优化问题。 凸优化在实际应用中具有重要的意义，因为它通常更容易求解，并能保证找到全局最优解，而非局部最优解。掌握这些基础理论对于理解和解决实际的优化问题至关重要。