机器学习面试必备：线性回归与最小二乘法解析

"3. 如何评估线性回归模型的性能？(续) （4）平均绝对误差（MAE）：MAE是预测值与实际值差异的绝对值的平均值。它直观地衡量了预测误差的平均大小，MAE值越小，表示模型在预测中的平均偏差越小，性能更优。 （5）均方根对数误差（RMSElog）：对于具有广泛变化范围的响应变量，使用对数转换有时会改善模型性能。RMSElog是转换后预测值与实际值差的平方的平均对数的平方根。它适用于处理比例或比率数据，能更好地反映模型在预测变化幅度时的准确性。 第二章 逻辑回归 4. 逻辑回归是用来做什么的？它与线性回归有何不同？ 逻辑回归是一种广义线性回归模型，主要用于分类问题，尤其是二分类问题。虽然名字中有“回归”，但它实际上用于预测离散的目标变量，如是/否、真/假等。与线性回归不同，逻辑回归不寻找最佳拟合直线，而是通过sigmoid函数将连续的线性预测值转化为介于0和1之间的概率估计，从而实现分类。 第三章 决策树 5. 决策树是如何工作的？ 决策树是一种监督学习算法，通过一系列规则（节点和分支）来做出预测。每个内部节点代表一个特征测试，每个分支代表测试的结果，而叶节点则代表最终的决策或类别。决策树通过不断分割数据集，使得每个子集尽可能属于同一类别，以达到最佳的分类效果。 第四章 随机森林 6. 随机森林是什么？它与单个决策树有什么区别？ 随机森林是集成学习的一种方法，它构建并结合多个决策树来进行预测。与单棵决策树相比，随机森林提高了模型的稳定性和泛化能力。随机森林中，每棵树都用随机子集的特征和样本进行训练，且每棵树的预测结果通过投票或平均等方式综合，降低了过拟合的风险，并提供了更好的预测性能。 第五章 支持向量机 7. 什么是支持向量机（SVM）？它如何进行分类？ 支持向量机是一种二类分类模型，其基本模型是定义在特征空间上的间隔最大的 hyperplane（超平面）。SVM试图找到一个超平面，该超平面最大化了两类样本之间的间隔。通过引入核函数，SVM可以解决非线性分类问题，即使在高维空间也能找到有效的决策边界。 第六章 深度学习 8. 深度学习的核心是什么？它与传统机器学习有何不同？ 深度学习是人工神经网络的一种应用，通过多层非线性变换对数据进行建模。其核心是多层结构，允许模型自动学习数据的多层次表示。与传统机器学习相比，深度学习无需手动特征工程，可以自动从原始数据中学习高级抽象特征，这在图像识别、自然语言处理等领域表现卓越。 总结： 本文涵盖了人工智能和机器学习中的关键概念，包括线性回归、逻辑回归、决策树、随机森林和支持向量机等算法，以及深度学习的基础。这些知识点不仅在面试中常见，也是理解和应用机器学习技术的基础。理解并熟练掌握这些内容，将有助于提升你在机器学习领域的专业素养和实际操作能力。"