机器学习实验：模型评估与指标分析

"该资源是西南交通大学机器学习课程的一个实验文档，主要涵盖了模型评估的相关内容。实验目的是让学生理解和掌握回归问题与分类问题的评估方法，包括如何使用均方误差（MSE）、最大绝对误差（MAE）和均方根误差（RMSE）评估回归模型，以及如何利用错误率、精度、查全率、查准率和F1分数来评价分类模型。实验内容包括编程实现这些评测指标，并对比分析不同模型的表现。实验环境基于Python语言，并使用numpy库。文档中给出了问题1的代码示例，用于计算三个预测模型（pred1, pred2, pred3）相对于真实标签（y）的MSE、MAE和RMSE。问题2的代码未在摘要中提供，但可以推测是针对二分类问题的混淆矩阵评估和相关指标计算。" 在机器学习中，模型评估是至关重要的步骤，它能帮助我们理解模型的性能并选择最佳模型。回归问题关注的是预测连续数值，而分类问题涉及的是将数据分配到预定义的类别中。在这个实验中，我们关注两种类型的模型： 1. 回归模型评估： - 均方误差（Mean Squared Error, MSE）：MSE衡量了预测值与实际值之间的平均差的平方，越小表示模型性能越好。公式为MSE = (1/n) * Σ(yi - ŷi)^2，其中yi是真实值，ŷi是预测值，n是样本数量。 - 最大绝对误差（Mean Absolute Error, MAE）：MAE计算预测值与实际值之间绝对误差的平均值，同样，较小的MAE表明模型表现更优。公式为MAE = (1/n) * Σ|yi - ŷi|。 - 均方根误差（Root Mean Squared Error, RMSE）：RMSE是MSE的平方根，也是误差的标准差，有助于直观比较不同量级的数据。RMSE = √(MSE)。 2. 分类模型评估： - 错误率：错误率是分类错误的样本数占总样本数的比例。 - 精度：精度是分类正确的样本数占总样本数的比例，但仅在类别分布均匀时才有意义。 - 查全率（Recall或Sensitivity）：查全率是真正例（被正确分类为正类的样本）占所有正例的比例，衡量模型识别正类的能力。 - 查准率（Precision）：查准率是真正例占所有被预测为正类的样本的比例，衡量模型预测正类的准确性。 - F1分数：F1分数是查全率和查准率的调和平均数，综合考虑两者，尤其在不平衡数据集上具有较高的参考价值。 实验代码中，问题1的实现计算了三个预测模型的MSE、MAE和RMSE，通过比较这些指标可以评估每个模型的性能。问题2的代码可能涉及二分类问题，需要计算混淆矩阵（Confusion Matrix），进一步得到错误率、精度、查全率、查准率和F1分数，从而全面评价分类模型的表现。混淆矩阵包括真正例（True Positives, TP）、假正例（False Positives, FP）、真负例（True Negatives, TN）和假负例（False Negatives, FN），这些指标都是评估分类模型的重要依据。