Python最速下降法收敛曲线

Python最速下降法是一种求解无约束优化问题的迭代算法，其核心思想是在每一步迭代中，沿着当前点的梯度方向进行搜索，找到下降最快的方向，并以一定步长进行下降。这样不断迭代，直到满足一定的停止准则为止。最速下降法的收敛速度较慢，但是实现简单，是许多优化算法的基础。

下面是Python实现最速下降法的收敛曲线代码：

import numpy as np
import matplotlib.pyplot as plt

def f(x):
    return x[0]**2 + 2*x[1]**2

def grad_f(x):
    return np.array([2*x[0], 4*x[1]])

def backtracking_line_search(x, d, alpha=0.5, beta=0.8):
    t = 1
    while f(x + t*d) > f(x) + alpha*t*np.dot(grad_f(x), d):
        t *= beta
    return t

def steepest_descent(x0, max_iter=1000, tol=1e-6):
    x = x0
    x_list = [x]
    for i in range(max_iter):
        d = -grad_f(x)
        t = backtracking_line_search(x, d)
        x = x + t*d
        x_list.append(x)
        if np.linalg.norm(grad_f(x)) < tol:
            break
    return np.array(x_list)

x_list = steepest_descent(np.array([1, 1]))
plt.plot(x_list[:, 0], x_list[:, 1], '-o')
plt.xlabel('x')
plt.ylabel('y')
plt.title('Convergence curve of steepest descent method')
plt.show()