![](https://csdnimg.cn/release/download_crawler_static/88284337/bg1.jpg)
期中测试复习参考提纲
1. 什么是梯度下降法?它的基本思想是什么?
梯度下降法利用函数梯度来改善所要优化的函数值(往往是损失函数)的方法
用来更新权重寻找最优参数,其更新方法为:w = w0 – lr * w_grad, lr 为学习
率,对每一个参数都减去步长乘损失函数对该参数的梯度,也就是将该参数值
往梯度的反方向移动一小步来减少误差。
2. 梯度下降法的优缺点是什么?
对于凸函数的优化表现最好。
但是,深度学习中的问题很难表现成凸优化的形式,即存在鞍点和局部最
小值点的干扰,此值并非全局最优解。
还存在梯度消失和梯度爆炸问题。
3. 什么是批量梯度下降法?与随机梯度下降法有什么区别?
批量梯度下降法是最原始的形式,它是指在每一次迭代时使用所有样本来
进行梯度的更新。我们要不断重复这一步直到算法收敛,也就是参数不断
更新,直到梯度为 0。但是,我们的每次迭代更新,都要对所有的 m 个随
机梯度下降法不同于批量梯度下降,它的具体思路是:算法中对 Theta 的
每次更新不需要再全部遍历一次整个样本,只需要查看一个训练样本进行
更新,之后再用下一个样本进行下一次更新,像批梯度下降一样不断迭代
更新。
随机梯度下降算法调整参数的速度会快很多,在批梯度下降法还没有
完成一次迭代的时候,随机梯度下降法便已经走了好远了。但是随机梯度
下降存在一定的问题,噪音比批梯度下降要多,使得它并不是每次迭代都
向着整体最优化方向迈出的,因此算法虽然会逐渐走向全局最小值的位
置,但是可能无法站到那个最小值得那一点,而是在最小值的附近徘徊。
4.什么是动量梯度下降法?它的作用是什么?
指在梯度下降算法中引入动量的优化方法,积累了梯度指数级衰减的移动
平均值,避免了局部最小值问题。
5.什么是自适应学习率的梯度下降法?它的优点是什么
是指一类用于调节超参数的优化算法。它基于一些增量或者小批量,来适
应模型参数的学习率。包括 AdaGrad、Adam 等。这些优化算法在超参数
的选择上具有一定的鲁棒性,可以进行深度学习模型的优化。
4. 逻辑回归和线性回归有什么区别?
线性回归的预测输出是(负无穷,正无穷), 逻辑回归的输出是(0,1)
损失函数不同,前者可以为平方差损失函数,逻辑回归为交叉熵损失函
数。
二者梯度下降更新参数时 也就不同,逻辑回归一般预测值是二分类一般
给预测值一个阈值产生两种值分别对应两个类别,线性回归是一个实数
5. 逻辑回归的损失函数是什么?如何最小化损失函数?