机器学习简述：监督学习与无监督学习

"这篇资源是关于机器学习的个人学习笔记，源自斯坦福大学2014年的机器学习课程。笔记作者黄海广分享了他对课程的理解，包括监督学习、无监督学习以及机器学习最佳实践等内容。课程涵盖了监督学习的参数与非参数算法、支持向量机、核函数和神经网络，无监督学习的聚类、降维和推荐系统，以及如何应用这些技术到实际问题中，如智能机器人、文本理解、计算机视觉等。课程结构清晰，每节课配有PPT，并有中英文字幕。笔记还包含了对视频内容的翻译和整理，旨在帮助学习者更好地理解和应用机器学习知识。" 在"简化的成本函数和梯度下降-贴片电子元件丝印查询（带完整目录）"这一主题中，主要探讨的是在多类分类问题中如何使用简化成本函数和梯度下降法。多类分类不同于二分类问题，它需要处理超过两个类别的预测，例如预测天气情况。为了解决这个问题，可以采用一对多（One-vs-All）策略，即将多类问题转化为多个二分类问题。 在一对多方法中，对于每个类别，我们建立一个二分类模型，将该类别标记为正类（y=1），其余类别作为负类。例如，预测天气时，我们可以先建立一个模型专门预测“晴天”，然后是“多云”，接着是“下雨”和“下雪”，分别与其余天气类型比较。每个模型都会有一个相应的成本函数，通过梯度下降法来优化模型参数，以最小化预测错误的成本。 梯度下降是一种优化算法，用于寻找成本函数的局部最小值。在这个过程中，我们计算成本函数关于模型参数的梯度，然后沿着梯度的负方向更新参数，以期望每次迭代后成本函数值下降。在多类分类的一对多策略中，对每个类别执行这个过程，最终得到一组模型。当需要预测新样本时，我们会运行所有模型，并选择具有最高概率的那个类别作为预测结果。 总结来说，这个资源涉及了机器学习中的多类分类问题，讲解了一对多策略的应用，以及如何通过简化成本函数和梯度下降法进行模型训练。这种方法在实践中被广泛使用，特别是在各种复杂的分类任务中，如文本分类、图像识别等。