用python实现Armijo法求解函数100*(x(1)-x(2)^2)^2+(1-x(1))^2的步长，已知x初始值为0

在Python中，我们可以使用Armijo法则（也称为弱 Wolfe 条件）来迭代优化梯度下降算法。这种方法用于确定在每一步下降中合适的步长，保证目标函数的下降程度满足一定的条件。对于给定的函数 \(f(x) = 100(x_1 - x_2^2)^2 + (1 - x_1)^2\)，我们需要求解\(x_1\) 和 \(x_2\) 的最小值。以下是使用Armijo法则的一个简单示例：

首先，我们假设需要的初始值为 \(x_0 = [0, 0]\)，并设置一些基本参数，如学习率 \(alpha\)、最小步长 \(epsilon\) 和 Armijo 函数的因子 \(c\)。

import numpy as np

# 定义目标函数及其梯度
def f(x):
    return 100 * (x[0] - x[1]**2)**2 + (1 - x[0])**2

def grad_f(x):
    dfdx = np.array([200 * (x[0] - x[1]**2) - 2, -400 * x[0] * x[1]])
    return dfdx

# 初始化参数
x = np.array([0, 0]) # 初始点
alpha = 1.0  # 学习率
epsilon = 1e-6  # 最小步长
c = 0.5  # Armijo 函数因子
gamma = 0.5  # 超参数，通常取值在0到1之间

# Armijo线搜索循环
while True:
    p = -grad_f(x)
    alpha_test = alpha
    while f(x + alpha_test * p) > f(x) + c * alpha_test * np.dot(grad_f(x), p):
        alpha_test /= 2
        if alpha_test < epsilon:
            print("Step size too small, no further progress.")
            break
    
    # 更新步长并检查是否达到收敛条件
    if alpha_test < epsilon or np.linalg.norm(p) < epsilon:
        print(f"Found approximate minimum at {x}, with step size {alpha_test}")
        break
    else:
        x += alpha_test * p
        alpha = gamma * alpha_test

这个代码片段将逐步调整步长 `alpha` 以找到满足Armijo条件的最小值。如果步长过小或梯度接近零，说明已经接近局部最优解。