常见的相关最优化方法总结
0 基本概念定义
0.1.非线性方程定义及最优化方法简述
指因变量与自变量之间的关系不是线性的关系，比如平方关系、对数关系、指数关系、
三角函数关系等等。对于此类方程，求解
n
元实函数
f
在整个
n
维向量空间
R
n
上的最优值点
往往很难得到精确解，经常需要求近似解问题。
求解该最优化问题的方法大多是逐次一维搜索的迭代算法，基本思想是在一个近似点
处选定一个有利于搜索方向，沿这个方向进行一维搜索，得到新的近似点。如此反复迭代
知道满足预定的精度要求为止。根据搜索方向的取法不同，这类迭代算法可分为两类：
解析法：需要用目标函数得到函数，
梯度法：又称最速下降法，是早期的解析法，收敛速度较慢
牛顿法：收敛速度快，但不稳定，计算也较困难。高斯牛顿法基于其改进，但目标作
用不同
共轭梯度法：收敛较快，效果好
变尺度法：效率较高，常用 DFP 法(Davidon Fletcher Powell)
直接法：不涉及导数，只用到函数值。有交替方向法(又称坐标轮换法)、模式搜索法、
旋转方向法、鲍威尔共轭方向法和单纯形加速法等。
0.2.非线性最小二乘问题
非线性最小二乘问题来自于非线性回归，即通过观察自变量和因变量数据，求非线性目
标函数的系数参数，使得函数模型与观测量尽量相似。
高斯牛顿法解决非线性最小二乘问题的最基本方法，并且它只能处理二次函数。(使用
时必须将目标函数转化为二次的)
0.3.基本数学表达
梯度 gradient，由多元函数的各个偏导数组成的向量以三元函数为例，其梯度为：
∇ f
(
x, y , z
)
=grad f
(
x , y , z
)
=
(
∂ f
∂ x
,
∂ f
∂ y
,
∂ f
∂ z
)
黑森矩阵 Hessian matrix，由多元函数的二阶偏导数组成的方阵，描述函数的局
部曲率，以二元函数为例：
H (f
(
x , y
)
)=
[
∂
2
f
∂ x
2
∂
2
f
∂ x ∂ y
∂
2
f
∂ y∂ x
∂
2
f
∂ y
2
]
雅可比矩阵 Jacobian matrix，是多元函数一阶偏导数以一定方式排列成的矩阵，
体现了一个可微方程与给出点的最优线性逼近。以二元函数为例，
评论0