机器学习实验：线性回归与分类

"本次实验主要涉及机器学习中的基础模型，包括一元线性回归、多元线性回归/对数线性回归（二选一）、对数几率回归以及线性判别分析。实验基于真实数据集，如Kaggle的房价预测数据集和垃圾邮件分类问题，旨在提升模型预测和分类能力的评估。" 实验内容详细说明： 1.1 一元线性回归 在这一部分，实验者使用Kaggle的房价预测数据集，通过打乱数据并划分训练集（70%）和测试集（30%）。实验者需手动实现最小二乘法来求解模型参数，而非依赖第三方库。接着，使用LotArea、BsmtUnfSF和GarageArea三个特征作为输入，SalePrice作为输出，构建三个不同的模型。实验者需自行计算模型在测试集上的平均绝对误差（MAE）和均方根误差（RMSE）。此外，还要求绘制训练集和测试集的预测曲线，并可选尝试处理异常值以观察模型性能的变化。 1.2 多元线性回归/对数线性回归 实验者可以选择进行多元线性回归或者对数线性回归。在多元线性回归中，选取多个特征进行房价预测，通过十折交叉验证评估模型性能，计算MAE和RMSE，比较不同特征组合的影响。此部分可以利用sklearn库的LinearRegression模型。对于对数线性回归，实验者需要自由选择特征，同样计算十折交叉验证下的MAE和RMSE，观察模型性能的变化。 1.3 对数几率回归 这部分实验涉及分类任务，如垃圾邮件分类和Dota2比赛结果预测。实验者需运用对数几率回归模型，计算十折交叉验证下的精度（accuracy）、查准率（precision）、查全率（recall）以及F1值。理解这些评估指标的定义和计算方式是关键，例如精度是正确分类样本数与总样本数的比例，查准率是真正例（TP）除以预测为正例的总数（TP+FP），查全率是真正例（TP）除以实际正例总数（TP+FN），而F1值是查准率和查全率的调和平均数。 1.4 线性判别分析 最后，实验者应用线性判别分析进行分类任务，可能如垃圾邮件识别。线性判别分析是一种统计方法，用于找到最佳的超平面以最大程度地区分不同类别的样本。 这个实验旨在加深对几种基础机器学习模型的理解，同时强调手动实现部分算法和评估模型性能的重要性，以及如何根据数据特性选择合适的模型。通过实践，实验者可以提高数据分析和模型构建的能力。