机器学习算法概览与关键概念整理

本文档是一份关于机器学习算法的概要总结，适合已有一定基础的学习者回顾和复习，主要涵盖了统计分析、线性回归、逻辑回归以及数据降维四个关键领域。 1. **统计分析**： - 基本概念包括均值、标准差、方差和协方差，以及协方差矩阵，这些是理解数据集内部关系的基础。 - 超参数，如梯度下降中的学习率和KMeans中的簇数，是预先设定的不可训练参数，它们影响模型性能。 - 损失函数与训练误差的概念解释了模型在训练过程中的优化目标，如最小二乘法用于线性回归。 - 正则化是防止过拟合的重要手段，L1和L2正则化分别通过限制非零元素个数和各元素的平方和来达到优化模型的效果。 - 提供了概率分布的基本类型，如连续和离散分布，以及参数估计方法，如点估计、区间估计和最大似然估计。 - 假设检验如t检验和F检验用于验证变量和模型的有效性。 2. **线性回归**： - 使用最小二乘法作为损失函数，评估模型的性能通过判定系数（R²），它反映了拟合程度。 - 总偏差平方和和回归平方和衡量数据的波动性，残差平方和则是模型预测误差的度量。 - 提供了t检验和F检验的运用场景，用于变量重要性和模型整体效果的检验。 3. **逻辑回归**： - 回归函数和损失函数是逻辑回归的核心部分，通常涉及sigmoid函数和交叉熵损失。 - 评价指标包括AUC-ROC（接收者操作特征曲线下的面积），它衡量模型分类的准确性。 4. **数据降维**： - 线性降维方法如主成分分析(PCA)和奇异值分解(SVD)，其中PCA通过找到数据的主要方向减少维度，而SVD提供更高效的计算方法。 - 有监督的线性降维，如线性判别分析(LDA)，强调类别之间的区分性，常与PCA结合使用。 - 非线性降维技术，如局部线性嵌入（LLE）或自编码器，能够捕捉数据的复杂模式，但可能更难理解和实现。 本文档对机器学习算法的核心概念进行了简洁而深入的概述，对于需要巩固基础或准备面试的人来说，是非常有用的参考资料。不过，由于它是针对有一定基础的学习者的，初学者可能需要结合更详细的教材和实践来深化理解。