斯坦福CS229机器学习笔记：从线性回归到SVM

"这是一份详细的斯坦福大学CS229机器学习课程的个人学习笔记，涵盖了从基础的线性回归到高级的增强学习等多个主题。笔记由一位研究生在学习过程中整理，主要依据Andrew Ng教授的讲义和视频，同时也包含了一些其他资料。笔记可能存在个人理解和错误，建议读者在遇到疑问时参考原始讲义和视频，或者寻求专业人士的帮助。笔记作者还分享了自己的研究方向和兴趣，如分布式计算和大数据处理，并欢迎交流和合作。" 正文: 1. 线性回归与Logistic回归 - 线性回归是一种预测模型，通过找到最佳拟合直线来描述输入特征与输出之间的关系。它适用于连续数值型的预测问题。 - Logistic回归则是线性回归的扩展，用于二分类问题，通过sigmoid函数将线性组合转换为概率输出。 2. 判别模型与生成模型 - 判别模型直接学习决策边界，如SVM，关注的是如何划分样本空间，不关心数据的生成过程。 - 生成模型如朴素贝叶斯，不仅学习决策边界，还学习数据的概率分布，可以用于生成新样本。 3. 支持向量机(SVM) - SVM是一种最大化边距的分类器，通过寻找最大间隔超平面进行分类。上下两部分分别介绍了SVM的基本概念和复杂情况下的处理，如核函数的应用。 4. 规则化与模型选择 - 规则化是为了防止过拟合，通过添加正则项来限制模型的复杂度，如L1和L2正则化。 - 模型选择涉及到交叉验证、网格搜索等方法，旨在选取最优的模型参数。 5. 聚类算法 - K-means是常见的无监督学习算法，通过迭代调整簇中心和样本分配来达到聚类目的。 - 混合高斯模型(GMM)利用概率模型进行聚类，EM算法用于求解GMM的参数。 6. 主成分分析(PCA) - PCA用于降维，通过找到数据方差最大的方向，保留主要信息，去除噪声。 7. 在线学习 - 在线学习是一种处理流式数据的算法，每次更新基于单个或小批量样本，适合大规模数据集。 8. 其他 - 独立成分分析(ICA)寻找信号的原始非高斯分量。 - 线性判别分析(LDA)和因子分析用于特征提取和降维，常用于分类问题。 9. 增强学习 - 增强学习是通过与环境交互，通过奖励机制学习最优策略。 10. 关联规则与典型关联分析 - 发现数据集中项集之间的频繁模式，如"购买了A的人往往也会购买B"。 11. 偏最小二乘法回归(PLSR) - PLSR用于处理多重共线性和高维数据的回归问题，同时考虑响应变量和自变量之间的相关性。 这些笔记内容全面，覆盖了机器学习的基础理论和常用算法，对于初学者和进阶者都是宝贵的参考资料。然而，由于是个人笔记，可能存在一些错误，建议结合正式教材和专业资源进行深入学习。