机器学习简述：从数据驱动到深度学习

"这篇笔记主要概述了机器学习的基础概念，包括模型驱动与数据驱动的学习方式，以及各种机器学习方法如监督、半监督和无监督学习。笔记还详细介绍了神经网络和深度学习，特别是深度学习中的卷积神经网络，强调了深度对模型表达能力的影响，并提到了防止过拟合的技术。" 在机器学习中，模型驱动和数据驱动是两种主要的学习策略。模型驱动通常涉及预先定义的数学模型，而数据驱动则依赖大量数据来发现规律。强化学习是一种典型的模型驱动方法，它通过当前状态到最优决策的映射来学习。 映射的好坏通常由准确率(accuracy rate)来衡量。训练数据用于构建模型，而交叉验证和测试数据则用于防止过拟合并评估模型性能。监督学习是使用带标签的数据来训练模型，半监督学习结合了标注和未标注数据，无监督学习则完全基于未标注数据。 迁移学习是一种从源域学习并转移到目标域的方法，旨在解决源域和目标域数据分布差异的问题。特征选择和子空间学习是处理这种差异的有效手段，它们帮助找到两个域之间的共性特征。 神经网络是现代机器学习的核心，深度学习可以视为神经网络的深化。感知机是最简单的神经网络模型，其工作原理是通过激活函数（如sigmoid、tanh或ReLU）实现非线性转换。多层前馈神经网络通过反向传播算法进行训练，梯度下降法用于最小化损失函数。然而，深度网络也面临局部最优、梯度消失和过拟合等问题，这些问题可以通过正则化、dropout、数据增强和早期停止等技术来缓解。 深度学习的深度指的是网络的层数，更深的网络能捕获更复杂的特征和全局信息。卷积神经网络(CNN)是深度学习的重要组成部分，其特性包括局部连接、权值共享和池化操作，这些特点使得CNN在图像处理等领域表现出色。卷积层、池化层和全连接层共同构建了CNN的架构，辅助层如反卷积层和BatchNormalization层则进一步优化网络性能。Dropout层则是防止过拟合的常用工具，它随机关闭一部分神经元以增加模型的泛化能力。