吴恩达机器学习课程笔记：从线性回归到归一化

"这是一份详细的Andrew Ng吴恩达机器学习课程笔记，涵盖了从机器学习基础到高级主题的全面内容，包括单变量和多变量线性回归、多项式回归、逻辑回归以及归一化（正则化）等关键概念。笔记由Ryan Cheung整理，适合学习者系统性地了解和掌握机器学习基础知识。" 在吴恩达的机器学习课程中，首先介绍了机器学习的基本概念。机器学习是一种让计算机通过经验学习并改进的方法，不依赖于明确编程。课程分为多个周进行，第一周主要讲解了机器学习的两大主要分支：监督学习和非监督学习。监督学习是通过已有的输入-输出对来训练模型，而非监督学习则是在没有标签的情况下，试图发现数据中的内在结构和模式。 接下来，课程详细探讨了线性回归，首先是单变量线性回归，它用于预测一个数值型结果。模型表达通常是一个线性方程，通过最小化代价函数来优化模型参数，这个过程可以使用梯度下降算法来实现。在多变量线性回归中，模型考虑了多个输入特征，并使用多变量梯度下降来更新参数。特征缩放和学习率的选择也是这一阶段的重要话题，它们影响着模型的收敛速度和性能。 多项式回归引入了更高次幂的特征，以适应非线性关系，这可以通过添加多项式项来实现。而正规方程提供了一种直接求解线性回归模型参数的解析方法，尤其适用于特征数量较小的情况，避免了迭代过程。 第三周，课程转向分类问题，特别是逻辑回归。逻辑回归虽然名字中带有“回归”，但实际上是一种二分类模型，通过sigmoid函数将连续的线性输出转化为概率值。逻辑回归可以用来构建判定边界，解决二分类问题。通过多类逻辑回归，可以扩展到处理多分类任务。 最后，课程讲解了归一化，也就是正则化，这是防止模型过拟合的有效策略。过拟合发生在模型过于复杂，对训练数据过度拟合，导致在新数据上的表现不佳。正则化通过对模型参数添加一个惩罚项到代价函数中，控制模型复杂度，提高泛化能力。在线性回归和逻辑回归中，L1和L2正则化被广泛使用。 这份笔记详细记录了每个主题的关键点，是学习者深入理解吴恩达机器学习课程的宝贵参考资料。