考虑无约束优化问题f(x)=100(x-x2)2+(x1-1)2,设当前迭代点x=(-1,1),下降方向d2=(1,-2)T,试用非精确的Armijo搜索准则、Wolfe搜索准则、强Wolfe 搜索准则求解步长a
时间: 2024-03-21 19:29:12 浏览: 57
非线性优化主要算法的Matlab程序,有精确线搜索的0.618法和抛物线法, 非精确线搜索的Armijo准则.zip
首先计算出梯度 g = ∇f(x) = (-400(x1-1)(x2-x1^2), 200(x2-x1^2)),代入 x=(-1,1) 得到 g=(-400,200)。
然后根据 Armijo 搜索准则,取初始步长 a=1,设 c1=0.1,β=0.5,循环迭代直到满足条件:
f(x+ad) ≤ f(x) + c1a∇f(x)^Td
代入 d2=(1,-2)T,得到:
f((-1,1)+a(1,-2)) = f(-1+a,-1) = 100(a^2-2a+1)(a-2)^2 ≤ f(-1,1) - 0.1a(400-400a)
化简得到:
200a^3 - 400a^2 + 200a + 1 ≤ 0
利用牛顿迭代法求解该不等式的根,得到 a1=0.12882,即满足 Armijo 搜索准则的最小步长为 a1=0.12882。
接下来根据 Wolfe 搜索准则,设 c1=0.1,c2=0.9,β=0.5,取初始步长 a=1,循环迭代直到满足条件:
f(x+ad) ≤ f(x) + c1a∇f(x)^Td
∇f(x+ad)^Td ≥ c2∇f(x)^Td
代入 d2=(1,-2)T,得到:
f((-1,1)+a(1,-2)) = f(-1+a,-1) = 100(a^2-2a+1)(a-2)^2 ≤ f(-1,1) - 0.1a(400-400a)
∇f((-1,1)+a(1,-2))^T(1,-2) ≥ 0.9(-400,200)^T(1,-2)
化简得到:
200a^3 - 400a^2 + 200a + 1 ≤ 0
-800a^2 + 400a - 400 ≥ 0
利用牛顿迭代法求解该不等式的根,得到 a2=0.17012,即满足 Wolfe 搜索准则的最小步长为 a2=0.17012。
最后根据强 Wolfe 搜索准则,设 c1=0.1,c2=0.9,β=0.5,取初始步长 a=1,循环迭代直到满足条件:
f(x+ad) ≤ f(x) + c1a∇f(x)^Td
|∇f(x+ad)^Td| ≤ c2|∇f(x)^Td|
∇f(x+ad)^Td ≥ c2∇f(x)^Td
代入 d2=(1,-2)T,得到:
f((-1,1)+a(1,-2)) = f(-1+a,-1) = 100(a^2-2a+1)(a-2)^2 ≤ f(-1,1) - 0.1a(400-400a)
|∇f((-1,1)+a(1,-2))^T(1,-2)| = |(-400a+800a^2,-400a)| √(400a^2-800a+401) ≥ 0.9(-400,200)^T(1,-2)
∇f((-1,1)+a(1,-2))^T(1,-2) ≥ 0.9(-400,200)^T(1,-2)
化简得到:
200a^3 - 400a^2 + 200a + 1 ≤ 0
-800a^2 + 400a - 400 ≥ 0
利用牛顿迭代法求解该不等式的根,得到 a3=0.17012,即满足强 Wolfe 搜索准则的最小步长为 a3=0.17012。
综上所述,非精确的 Armijo 搜索准则、Wolfe 搜索准则、强 Wolfe 搜索准则求得的最小步长分别为 a1=0.12882,a2=0.17012,a3=0.17012。
阅读全文