山东大学2018级人工智能实验班机器学习期末考题回顾与关键知识点梳理

在山东大学计算机学院人工智能实验班（2018级）2020年7月的机器学习与模式识别期末考试中，涵盖了多个关键知识点。首先，理论部分包括了对过拟合和欠拟合概念的理解以及缓解策略，过拟合是指模型在训练数据上表现优秀但泛化能力较差，欠拟合则是模型无法充分捕捉数据特征，通常通过增加模型复杂度、正则化等手段来解决。Bagging（集成学习的一种方法）的中文名也被提及，尽管个别考生可能对这个术语不熟悉。 Huber损失函数是一个在统计学和机器学习中常用的损失函数，它结合了均方误差和绝对误差的优势，能够抵抗异常值的影响。模型参数和超参数的区别在于，参数是模型在训练过程中自动学习的，而超参数是人为设定的控制模型复杂度的参数，优化超参数通常通过交叉验证等方法进行。 逻辑回归中的目标函数涉及到极大似然法，当y取±1时，目标是对参数进行估计以最大化似然函数。在数学表达上，需要利用sigmoid函数的导数。另一个重要部分是Singular Value Decomposition (SVD)的使用，特别是在PCA（主成分分析）中，SVD被用来降低数据维度并保留主要信息。 Fβ评估方程是衡量分类模型性能的指标，尤其关注精确度和召回率的平衡。朴素贝叶斯分类器中，通过频率代替概率的处理方式基于二项分布和极大似然原理，这是因为朴素贝叶斯假设特征之间相互独立，简化了概率计算。 计算题部分，涉及到了支持向量机(SVM)的核心概念，包括原始问题的目标函数和对偶问题的目标函数，以及在特定核函数下的求解。此外，还考察了查准率和召回率的计算，这是评估信息检索或分类任务效果的重要指标。线性回归问题也有所涉及，如平方损失函数的使用、梯度下降算法的变种（SGD和BGD），以及加入L1正则化后的目标函数及其作用。 本次考试覆盖了机器学习的基础理论、模型优化、模型评估、特定算法的数学细节以及实践应用，对考生的理论知识和计算能力都有较高的要求。随着教学计划的调整，不同年级的考试题目有一定的连续性，但也会引入新的知识点和技能挑战。