机器学习面试指南：从监督学习到正则化

"这份资料包含了机器学习面试中常见的问题，主要涉及有监督学习与无监督学习的区别、正则化及其目的、过拟合的原因与解决方法，以及线性分类器与非线性分类器的差异。" 有监督学习与无监督学习是机器学习的两大基本类型。有监督学习是基于标记的训练数据进行模型训练，目的是为了能够对未知数据进行准确分类或预测，如逻辑回归(LR)、支持向量机(SVM)、反向传播(BP)、随机森林(RF)和梯度提升决策树(GBDT)等。无监督学习则是在未标记数据上进行，目的是发现数据内部的结构或模式，如K-Means聚类和深度学习(DL)。 正则化是一种解决过拟合的技术，它通过在损失函数中加入模型参数的范数作为惩罚项，如L1正则和L2正则。正则化有助于保持模型的简洁性，防止模型过于复杂而过度拟合训练数据。过拟合发生时，模型在训练数据上的表现很好，但在新数据上的泛化能力差。其主要原因包括样本不足、抽样方法不当、噪声数据过多以及模型复杂度过高。解决过拟合的方法包括增加样本数量、降维、采用验证集、改进抽样策略、清理噪声数据、控制模型复杂度、利用正则化、早期停止训练、决策树剪枝等。 线性分类器，如逻辑回归、朴素贝叶斯、单层感知机和线性回归，它们的分类决策边界是参数的线性组合。这类模型计算效率高，易于实现，但可能无法很好地适应非线性关系。非线性分类器，如决策树、随机森林、梯度提升决策树和多层感知机，它们可以处理非线性可分问题，虽然编程相对复杂，但具备更强的拟合能力。对于支持向量机(SVM)，其线性核对应线性分类器，而高斯核则能处理非线性问题。 在LR模型中，sigmoid函数（Sigmoid函数，也称为logistic函数）常用于将连续的预测值转化为概率，这是因为sigmoid函数的输出范围在0到1之间，符合概率的定义，使得模型能够输出预测的概率。此外，LR模型还有解析解，训练效率较高，适合处理大规模数据。