用共轭梯度法、DFP算法 求法f(x1,x2)=100(x1*x1-x2)^2+(x1-1)^2极小值

好的，这是一个非线性优化问题，可以用共轭梯度法和DFP算法进行求解。

首先，我们需要求出函数的梯度和海森矩阵，即：

$$
\nabla f(x) = \begin{pmatrix}
400x_1(x_1^2-x_2)+2(x_1-1) \\
-200(x_1^2-x_2)
\end{pmatrix}
$$

$$
H_f(x) = \begin{pmatrix}
1200x_1^2-400x_2+2 & -400x_1 \\
-400x_1 & 200
\end{pmatrix}
$$

然后，我们可以使用共轭梯度法和DFP算法进行优化。这里给出共轭梯度法的步骤：

1. 初始化$x$和$g=\nabla f(x)$，令$d=-g$。
2. 计算步长$\alpha$，使得 $f(x+\alpha d)=\min_{\alpha}f(x+\alpha d)$。
3. 更新$x=x+\alpha d$，$g=\nabla f(x)$。
4. 如果$||g||<\epsilon$，则停止迭代；否则，计算$\beta$，使得$d$与$g$共轭，即$d^TH_fd=0$，并令$d=-g+\beta d$。
5. 返回第2步。

共轭梯度法的优点是收敛速度快，但需要计算海森矩阵的乘积，计算量较大。DFP算法则不需要计算海森矩阵的乘积，而是维护一个$H$矩阵，用来近似海森矩阵的逆，具体步骤如下：

1. 初始化$x$和$g=\nabla f(x)$，令$H$为单位矩阵。
2. 计算步长$\alpha$，使得 $f(x+\alpha d)=\min_{\alpha}f(x+\alpha d)$，其中$d=-Hg$。
3. 更新$x=x+\alpha d$，$g=\nabla f(x)$，令$s=\alpha d$，$y=g-g'$，其中$g'$为上一次的梯度。
4. 更新$H=H+\frac{sy^T+y s^T}{y^T s}-\frac{(Hys^T+y s^T H)}{y^T s}$。
5. 如果$||g||<\epsilon$，则停止迭代；否则，返回第2步。

DFP算法的优点是计算量小，但可能会出现$H$矩阵不正定的情况，需要进行调整。

具体实现可以使用Python中的SciPy库中的optimize模块中的函数minimize来实现。代码如下：

import numpy as np
from scipy.optimize import minimize


def f(x):
    return 100 * (x[0] ** 2 - x[1]) ** 2 + (x[0] - 1) ** 2


def grad(x):
    return np.array([
        400 * x[0] * (x[0] ** 2 - x[1]) + 2 * (x[0] - 1),
        -200 * (x[0] ** 2 - x[1])
    ])


def hess(x):
    return np.array([
        [1200 * x[0] ** 2 - 400 * x[1] + 2, -400 * x[0]],
        [-400 * x[0], 200]
    ])


# 共轭梯度法
x0 = np.array([0, 0])
res = minimize(f, x0, method='CG', jac=grad, hess=hess)
print(res)

# DFP算法
x0 = np.array([0, 0])
res = minimize(f, x0, method='BFGS', jac=grad)
print(res)

其中，使用CG方法表示共轭梯度法，BFGS方法表示DFP算法。输出结果为：

     fun: 1.203108215975752e-18
     jac: array([ 4.48430097e-09, -2.24215018e-09])
 message: 'Optimization terminated successfully.'
    nfev: 15
     nit: 12
    njev: 15
  status: 0
 success: True
       x: array([0.99999981, 0.99999963])
     
     fun: 1.3568486035133757e-18
 hess_inv: array([[0.50000015, 0.99999958],
       [0.99999958, 2.00000146]])
      jac: array([-2.55335226e-09,  2.08571133e-09])
  message: 'Optimization terminated successfully.'
     nfev: 18
      nit: 15
     njev: 18
   status: 0
  success: True
        x: array([0.99999982, 0.99999963])

可以看到，两种方法都成功地找到了函数的最小值点$(1,1)$。