中科大机器学习期末考题：模型复杂度、朴素贝叶斯、决策树、SVM与关联规则详解

本资源是中国科学技术大学计算机学院2016级研究生《机器学习与知识发现》课程的期末考试试题，涵盖了多个核心知识点。首先，要求学生绘制训练误差和测试误差随模型复杂度变化的曲线图，这涉及到模型选择和泛化能力的理解，以及对奥卡姆剃刀原则（Ockham's Razor）的应用，即在假设相同预测效果的情况下，最简单的模型更优。 接着，题目要求学生使用朴素贝叶斯方法处理给定的训练数据，通过表格学习分类器并判断特定特征向量x=(2，S，T)的类别。这涉及到朴素贝叶斯分类器的理论和实践应用，包括特征独立性和条件概率的计算。 第三部分涉及决策树，学生需要根据提供的天气数据构建决策树，分析信息熵（衡量样本纯度）的定义，何时达到最大值，以及如何选择信息增益作为决策树的第一分类属性。同时，还涉及连续型属性处理的方法，如离散化或使用核函数。 在分类算法评价中，recall（召回率）衡量的是正确预测出正例的比例，而precision（精确率）衡量的是预测为正例中实际为正例的比例。关于决策树的多样性，问题询问了在给定特征和类别数时，可能产生的不同决策树数量。 SVM部分，学生需要使用支持向量机对给定的数据进行分类，找到最大间隔分离超平面，并识别支持向量。这涉及SVM的核心概念，如最大边距和支持向量的选择。 关联规则挖掘方面，要求学生分析购物篮数据，包括最大可提取规则的数量（包括支持度为零的规则）、频繁项集的最大长度、3-项集的数量表达式以及具有最大支持度的项集。这是理解关联规则挖掘算法在实际场景中的应用。 最后，集成学习部分探讨了随机森林相较于决策树Bagging在训练速度上的优势，以及多样性增强方法（如Bootstrap Aggregating）的前提条件。集成学习的多样性增强方法可能包括样本采样（如Bootstrap）、特征选择和模型多样性等。 在聚类分析部分，领导者算法与K均值进行比较，强调其优点如适应性高和能够处理异常值，但也可能存在缺点如对初始聚类中心敏感。同时，需要利用相似度矩阵来分析该算法的实际操作。 整个试题覆盖了机器学习的关键技术，包括模型选择、统计推断、决策树、SVM、关联规则挖掘和集成学习，以及聚类分析的理论与实践应用。学生需要深入理解并运用这些概念和方法来解决问题。