除了交叉熵损失函数和随机梯度下降优化算法，还有哪些常用的损失函数和优化算法？

除了交叉熵损失函数和随机梯度下降（SGD）优化算法，还有很多其他常用的选择：

1. **均方误差（Mean Squared Error, MSE）**：适用于回归问题，测量预测值与真实值之间的平均平方差。对于连续型目标变量，MSE是一个常见的选择。

2. **二元交叉熵（Binary Cross-Entropy, BCE）**：用于二分类问题，当标签只有0和1时，BCE可以直接度量预测概率与真实概率的差异。

3. **Huber损失**：结合了MSE对小误差的敏感性和绝对误差对大误差的鲁棒性，尤其在异常值较多的情况下更有效。

4. **Hinge Loss**：支持向量机（SVM）中常使用的损失函数，鼓励模型找到最大化间隔的决策边界。

5. **Adam优化器**：自适应矩估计算法，是对SGD的一种改进，考虑了历史梯度的一阶矩估计（动量）和二阶矩估计，通常学习效率更高。

6. **RMSprop**：另一种自适应学习率优化算法，基于指数加权平均移动平方根的动量调整。

7. **Adagrad**：根据每个权重的历史梯度大小自适应地调整学习率，有利于稀疏梯度环境。

8. **Nesterov Accelerated Gradient (NAG)**：一种改进的动量优化方法，预测下一个梯度方向后再更新。

每种损失函数和优化器都有其特定的应用场景，选择哪种取决于具体的任务特性、模型复杂度以及数据分布等因素。