2、简要说明梯度下降法和牛顿法的基本思想和区别。解释为什么梯度下降法能够保证目标 函数一定是下降的？

梯度下降法和牛顿法都是常用的优化算法，用于求解目标函数的最优解。它们的基本思想和区别如下：

梯度下降法是一种基于一阶导数的优化算法，其基本思想是在每次迭代过程中，沿着目标函数梯度的反方向（即函数值下降的方向）迭代，以逐步接近最优解。具体地，梯度下降法的迭代公式为：$\boldsymbol{\theta}_{t+1}=\boldsymbol{\theta}_t-\eta\nabla f(\boldsymbol{\theta}_t)$，其中$\boldsymbol{\theta}_t$表示第$t$次迭代的参数向量，$\eta$表示学习率，$\nabla f(\boldsymbol{\theta}_t)$表示$f(\boldsymbol{\theta}_t)$的梯度。梯度下降法的优点在于简单易懂，易于实现和扩展。缺点在于可能会陷入局部最优解，收敛速度较慢，需要手动调整学习率。

牛顿法是一种基于二阶导数的优化算法，其基本思想是在每次迭代过程中，利用目标函数的一、二阶导数信息来构造一个二次函数模型，以求解该模型的最小值，从而得到更接近最优解的参数向量。具体地，牛顿法的迭代公式为：$\boldsymbol{\theta}_{t+1}=\boldsymbol{\theta}_t-\boldsymbol{H}^{-1}\nabla f(\boldsymbol{\theta}_t)$，其中$\boldsymbol{H}$表示$f(\boldsymbol{\theta}_t)$的海森矩阵，$\nabla f(\boldsymbol{\theta}_t)$表示$f(\boldsymbol{\theta}_t)$的梯度。牛顿法的优点在于收敛速度快，收敛到最优解的概率较高。缺点在于需要计算海森矩阵和其逆矩阵，计算量较大，且当海森矩阵为奇异矩阵时无法使用。

梯度下降法能够保证目标函数一定是下降的，是因为其迭代过程中沿着梯度的反方向进行迭代，而梯度的方向是函数值下降最快的方向，因此每次迭代都会使函数值下降。此外，为了保证梯度下降法的收敛，需要保证学习率$\eta$的取值合适，一般需要手动调整学习率。