深度学习历程与应用：从Perceptron到卷积神经网络

深度学习(DL)是一种强大的人工智能技术，它在近年来吸引了大量的关注。李宏毅的课程资料中概述了深度学习的历史发展与关键里程碑。从早期的感知器（1958年的Perceptron）到多层感知机（1980s），尽管这些模型在今天看来可能与深度神经网络(DNN)相似，但它们在深度结构上的局限性是显著的。1986年引入的反向传播算法是重要的突破，但直到2006年，通过RBM（受限玻尔兹曼机）的初始化方法解决了深层网络的训练难题，才真正推动了深度学习的发展。 在深度学习的三个关键步骤中，首先是定义一个函数集合，然后评估每个函数的好坏，最后选择最好的函数。虽然这个过程看似简单，但背后的网络结构和参数优化却极其复杂。神经网络的核心是“神经元”，不同的连接方式决定了网络的结构。全连接前馈网络（Fully Connect Feedforward Network）是深度学习的一种基础架构，其权重和偏置构成了参数𝜃，比如sigmoid函数被用于非线性转换。 Sigmoid函数表达式为\( f(z) = \sigma(z) = \frac{1}{1 + e^{-z}} \)，它具有平滑的S型曲线，常用于激活函数。网络中的节点通过加权和加上偏置后，通过sigmoid函数进行非线性变换，这使得网络能够处理更复杂的输入特征。 深度学习的兴起始于2009年GPU的大规模应用，极大地提升了计算效率。这一时期，深度学习在语音识别领域开始流行，并在2011年达到了转折点，当时它在ImageNet图像识别挑战赛中取得了显著胜利，标志着深度学习在计算机视觉领域的重大突破。此后，深度学习逐渐成为主流技术，应用于诸如自然语言处理、计算机视觉、强化学习等多个领域，展现出了强大的预测和决策能力。 总结来说，深度学习是一场技术革命，通过不断迭代和优化，从最初的线性模型发展到现代的深度神经网络，它已经深深地改变了我们理解和解决许多现实世界问题的方式。尽管历程中经历过起伏，但每一次技术革新都为深度学习带来了新的生命力，使其成为现代信息技术中的核心技术之一。