线性分类有哪些常见优化算法？

线性分类中的常见优化算法主要有以下几种：

1. **梯度下降法 (Gradient Descent)**：这是最基本的优化方法，通过迭代更新模型参数，使得损失函数值逐渐减小。有批量梯度下降（Batch GD）、随机梯度下降（SGD）和小批量梯度下降（Mini-batch GD），其中SGD通常用于大规模数据集，速度快但收敛速度可能较慢。

2. **牛顿法 (Newton's Method)**：这是一种局部二阶导数的优化算法，利用海森矩阵计算更精确的模型参数更新方向，收敛速度较快，但在计算成本上较高，适用于目标函数光滑的情况。

3. **共轭梯度法 (Conjugate Gradient Method)**：针对凸二次函数设计的一种优化算法，它不需要存储整个Hessian矩阵，对于大型稀疏矩阵问题效率较高。

4. **L-BFGS (Limited-memory Broyden–Fletcher–Goldfarb–Shanno)**：是一种基于拟牛顿法的优化算法，通过记忆最近的梯度信息来近似Hessian矩阵，适合处理大规模问题且内存消耗较少。

5. **Adagrad、RMSprop 和 Adam**：这些都是自适应学习率优化算法，如Adagrad对每个参数独立调整学习率，而Adam结合了动量和指数移动平均，适用于非平稳目标函数。