机器学习周志华课后题第三章

1. 什么是泛化能力？泛化能力和过拟合之间有什么关系？

泛化能力是指模型在新的、未见过的数据上的表现能力。模型的泛化能力与其对训练数据的拟合程度有关，通常来说，过拟合的模型泛化能力较差。

2. 什么是交叉验证？交叉验证的作用是什么？

交叉验证是一种通过将数据集分成若干个子集来进行模型评估的方法。具体地，将数据集分成k个子集，每个子集都轮流作为测试集，其余子集作为训练集，重复k次，最终得到k个模型的评估结果的平均值。交叉验证的作用是提高模型评估的可靠性和泛化能力。

3. 留出法、k折交叉验证和留一法的区别是什么？它们各自适用于什么情况？

留出法是将数据集分成两部分，一部分作为训练集，另一部分作为测试集。留出法适用于数据集较大的情况。

k折交叉验证是将数据集分成k个子集，每个子集都轮流作为测试集，其余子集作为训练集，重复k次，最终得到k个模型的评估结果的平均值。k折交叉验证适用于数据集较小的情况。

留一法是k折交叉验证的一种特殊情况，即将数据集分成n个子集，每个子集都作为测试集，其余子集作为训练集，重复n次。留一法适用于数据集较小且样本数较少的情况。

4. 为什么要对数据进行预处理？数据预处理的方法有哪些？

数据预处理可以提高模型的表现，并且可以减少过拟合的风险。数据预处理的方法包括：标准化、归一化、缺失值填充、特征选择、特征降维等。

5. 什么是特征选择？特征选择的方法有哪些？

特征选择是指从所有特征中选择出对模型预测结果有重要贡献的特征。特征选择的方法包括：过滤式方法、包裹式方法和嵌入式方法。其中，过滤式方法是基于特征间的关系进行特征选择，包裹式方法是基于模型的性能进行特征选择，嵌入式方法是将特征选择嵌入到模型训练中。