机器学习面试必备：算法精要总结

"这篇文档是作者对机器学习中常见算法的个人总结，主要涵盖了朴素贝叶斯、逻辑回归和线性回归、KNN算法、SVM、决策树、随机森林以及GBDT等算法的原理、特点和应用。" 1. **朴素贝叶斯** - **工作原理**: 朴素贝叶斯算法基于贝叶斯定理，假设各特征之间相互独立，利用先验概率和条件概率来预测类别。 - **工作流程**: 计算每个类别的先验概率，然后计算每个特征在给定类别下的条件概率，最后通过贝叶斯公式组合这些概率来决定样本的类别。 - **属性特征**: 假设特征之间独立，这在实际应用中可能不成立，但朴素贝叶斯在许多情况下仍能表现出良好的性能。 - **Laplace校准**: 用于处理未在训练集中出现的特征值，避免概率为零导致的错误。 - **优缺点**: 优点是简单快速，对缺失数据不敏感；缺点是假设过于简化，可能不准确。 2. **逻辑回归和线性回归** - **梯度下降法**: 一种常用的优化方法，用于最小化损失函数，更新模型参数。 - **其他优化方法**: 包括牛顿法、拟牛顿法等，用于提高模型训练效率。 - **过拟合问题**: 可能通过正则化、增加数据量等方式解决。 - **多分类问题**: 使用softmax函数进行多分类，或者构建多个二分类LR模型。 - **softmax与k个LR**: softmax更通用，适用于多分类；而k个LR可能在某些特定场景下更适用。 3. **KNN算法** - **三要素**: 距离度量、k值选择、最近邻规则。 - **k值选择**: 影响模型复杂度和准确性，通常通过交叉验证确定。 - **KNN回归**: 将K个最近邻的输出均值作为预测值。 - **优缺点**: KNN简单直观，但计算量大，对异常值敏感。 - **KD树**: 一种空间分割数据结构，加速KNN查询速度。 - **KD树的搜索**：通过递归查找最近邻节点，降低搜索复杂度。 4. **SVM（支持向量机）** - **线性SVM**: 划分数据的超平面最大化间隔，解决二分类问题。 - **对偶求解**: SVM通过求解对偶问题来优化，便于引入核函数。 - **损失函数**: 通常使用Hinge损失，惩罚分类错误的样本。 - **对偶算法原因**: 对偶形式可以处理非线性问题，引入核函数。 - **核函数**: 把原始特征映射到高维空间，使非线性可分。 - **SVM优缺点**: 优点是泛化能力强，缺点是训练时间长，对大规模数据不友好。 - **SMO算法**: 用于高效求解SVM的对偶问题。 - **SVM多分类**: 通过一对一或一对多策略解决多分类问题。 5. **决策树** - **ID3/C4.5/CART**: 分别是早期的决策树算法，用于分类和回归。 - **停止条件**: 通常是达到预设深度、叶子节点纯度阈值或无更多可分割特征。 - **特征与目标值**: 特征选择依据信息增益或基尼指数。 - **过拟合解决**: 通过剪枝、限制树深度、随机森林等方法。 - **优缺点**: 决策树易于理解和解释，但易过拟合，不够稳定。 6. **随机森林RF** - **学习过程**: 基于bagging策略生成多棵决策树，每棵树用不同的子集训练。 - **预测过程**: 通过多数投票或平均结果得出预测。 - **参数问题**: 如树的数量、子集大小等影响预测效果。 - **泛化误差估计**: 通过out-of-bag样本评估模型性能。 - **学习算法**: 每棵树的构建都涉及随机性，增加了模型多样性。 - **CART**: 分类与回归树，是随机森林中常用的基础模型。 - **优缺点**: 随机森林鲁棒性强，不易过拟合，但参数调整复杂。 7. **GBDT（梯度提升决策树）** - **Shrinkage**: 通过学习率控制每步更新的幅度，防止过拟合。 - **调参**: 包括树的数量、树的深度、学习率等，需通过验证调整。 - **优缺点**: GBDT具有很好的预测性能，但计算成本较高，易过拟合。 这篇总结提供了机器学习面试时可能会遇到的关键算法的概览，有助于理解这些算法的基本思想和应用场景。