中科大统计学习作业与编程题详解

本资源是中科大研究生课程《统计学习》中的作业和编程题集，由刘东教授提供。课程强调实践和理解的重要性，而非过分注重分数，要求学生在规定时间内独立完成。作业分为两类：Paper Exercises（纸笔或电子文档完成）和Programming Exercises（计算机编程完成），前者要求概念阐述和理论解答，后者则需要实际编程技能。 1. Paper Exercises部分探讨了机器学习领域的问题，询问除了统计学习之外是否存在其他方法，提示参考T.M. Mitchell的《机器学习》一书，鼓励学生对广义的机器学习概念进行思考和扩展研究。 2. 第二题涉及到回归问题的另一种估计方法，使用样本均值的平方根代替简单平均，即用平方根平均（Root Mean Square, RMS）来估计变量。学生被要求找到这种情况下对应的最小化问题，即寻找最小化RMS误差的数学模型。 3. 第三题涉及概率论和统计，要求证明高斯随机变量的均值、中位数和众数相等，这将考验学生的统计推导能力。 4. 第四题挑战学生证明高斯分布中标准差σ²的最大似然估计（Maximum Likelihood Estimation, MLE）存在偏差，需要深入理解MLE原理及其可能带来的问题。 5. 第五题关注基础函数在特定情况下的应用，当基础函数取常数1时，即线性函数，学生需要计算对应的等价核函数，这是核方法（Kernel Method）中的基础知识。 6. 第六题未给出具体内容，但可能是关于核方法的进一步应用或理论分析，可能涉及核函数的作用、选择以及在统计学习中的重要作用。 这份作业集合涵盖了统计学习的多个核心概念，包括机器学习方法的扩展、回归问题的不同估计策略、概率分布特性、最大似然估计的性质以及核方法的基础知识。通过这些题目，学生不仅能够巩固课堂所学，还能提升问题解决和编程实践能力。