从零开始深度学习：实战教程

需积分: 0 176 浏览量更新于2024-07-01 收藏 12.19MB PDF 举报

"《动手深度学习1》是一本由Aston Zhang、Mu Li、Zachary C. Lipton和Alexander J. Smola编著的深度学习入门书籍，出版日期为2019年7月24日。该书提供了一个实践导向的学习路径，旨在帮助读者通过实际操作来理解和掌握深度学习的基础概念和技术。书中分为多个章节，从深度学习的起源和发展、预备知识，如代码获取与运行环境设置、数据操作和自动求梯度等，到具体的深度学习基础应用，如线性回归和softmax回归。在预备知识部分，作者强调了如何获取和运行本书提供的代码，包括下载代码、安装运行环境，并指导读者如何利用GPU版的MXNet进行高效计算。内容涵盖了数据处理，如创建NDArray、运算、广播机制、索引、内存管理以及NDArray和NumPy之间的转换。此外，书中详细介绍了自动求梯度的概念，通过实例演示训练模式和预测模式的区别，以及如何处理Python控制流的梯度计算。在深度学习基础章节中，作者以线性回归为例，逐步介绍了从数据集生成、读取、模型参数初始化、定义模型结构、损失函数和优化算法的全过程。同时，还提供了两种实现方式，一是从零开始构建，二是通过简洁的接口进行，以帮助读者理解不同复杂度下的实现策略。softmax回归部分则着重于介绍分类问题和softmax模型的构建。《动手深度学习1》是一本适合初学者和进阶者使用的教材，通过实战演练的方式，让读者在实践中深入理解深度学习的核心原理，从而快速上手并掌握这一领域的核心技术。"

10.2.2 层序somax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434

10.3 word2vec的实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 436

10.3.1 处理数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 437

10.3.2 负采样 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 440

10.3.3 读取数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 440

10.3.4 跳字模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442

10.3.5 训练模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443

10.3.6 应⽤词嵌⼊模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 445

10.4 ⼦词嵌⼊（fastText） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447

10.5 全局向量的词嵌⼊（GloVe） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 448

10.5.1 GloVe模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449

10.5.2 从条件概率⽐值理解GloVe模型 . . . . . . . . . . . . . . . . . . . . . . . 450

10.6 求近义词和类⽐词 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 452

10.6.1 使⽤预训练的词向量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 452

10.6.2 应⽤预训练词向量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 453

10.7 ⽂本情感分类：使⽤循环神经⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . 456

10.7.1 ⽂本情感分类数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 456

10.7.2 使⽤循环神经⽹络的模型 . . . . . . . . . . . . . . . . . . . . . . . . . . 459

10.8 ⽂本情感分类：使⽤卷积神经⽹络（textCNN） . . . . . . . . . . . . . . . . . . 462

10.8.1 ⼀维卷积层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462

10.8.2 时序最⼤池化层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 464

10.8.3 读取和预处理IMDb数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . 464

10.8.4 textCNN模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 465

10.9 编码器—解码器（seq2seq） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 469

10.9.1 编码器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 470

10.9.2 解码器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 471

10.9.3 训练模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 471

10.10 束搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 472

10.10.1 贪婪搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 473

10.10.2 穷举搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 474

10.10.3 束搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 474

10.11 注意⼒机制 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 476

10.11.1 计算背景变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 477

10.11.2 更新隐藏状态 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 479

xiv

10.11.3 发展 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 479

10.12 机器翻译 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 480

10.12.1 读取和预处理数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 481

10.12.2 含注意⼒机制的编码器—解码器 . . . . . . . . . . . . . . . . . . . . . . . 482

10.12.3 训练模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 485

10.12.4 预测不定⻓的序列 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 487

10.12.5 评价翻译结果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 487

11 附录 491

11.1 主要符号⼀览 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 491

11.1.1 数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 491

11.1.2 集合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 491

11.1.3 操作符 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 492

11.1.4 函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 492

11.1.5 导数和梯度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 492

11.1.6 概率和统计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493

11.1.7 复杂度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493

11.2 数学基础 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493

11.2.1 线性代数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493

11.2.2 微分 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 496

11.2.3 概率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 499

11.3 使⽤Jupyter记事本 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 500

11.3.1 在本地编辑和运⾏本书的代码 . . . . . . . . . . . . . . . . . . . . . . . . 501

11.3.2 ⾼级选项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 505

11.4 使⽤AWS运⾏代码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 507

11.4.1 申请账号并登陆 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 507

11.4.2 创建并运⾏EC2实例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 508

11.4.3 安装CUDA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 513

11.4.4 获取本书的代码并安装GPU版的MXNet . . . . . . . . . . . . . . . . . . . 515

11.4.5 运⾏Jupyter记事本 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 516

11.4.6 关闭不使⽤的实例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 517

11.5 GPU购买指南 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 518

11.5.1 选择GPU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 518

11.5.2 整机配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 520

11.6 如何为本书贡献 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 521

4. 有效训练模型、避免数值计算陷阱以及充分利⽤硬件性能所需的⼯程技能；

5. 为解决⽅案挑选合适的变量（超参数）组合的经验。

同样，我们⼏位作者也⾯临前所未有的挑战：我们需要在有限的篇幅⾥糅合深度学习的多⽅⾯知

识，从而使读者能够较快理解并应⽤深度学习技术。本书代表了我们的⼀种尝试：我们将教给读

者概念、背景知识和代码；我们将在同⼀个地⽅阐述剖析问题所需的批判性思维、解决问题所需

的数学知识，以及实现解决⽅案所需的⼯程技能。

包含代码、数学、⽹⻚、讨论的统⼀资源

我们在2017年7⽉启动了写作这本书的项⽬。当时我们需要向⽤⼾解释Apache MXNet在那时的新

接口Gluon。不幸的是，我们并没有找到任何⼀个资源可以同时满⾜以下⼏点需求：

1. 包含较新的⽅法和应⽤，并不断更新；

2. ⼴泛覆盖现代深度学习技术并具有⼀定的技术深度；

3. 既是严谨的教科书，⼜是包含可运⾏代码的⽣动的教程。

那时，我们在博客和GitHub上找到了⼤量的演⽰特定深度学习框架（例如⽤TensorFlow进⾏数

值计算）或实现特定模型（例如AlexNet、ResNet等）的⽰例代码。这些⽰例代码的⼀⼤价值在

于提供了教科书或论⽂往往省略的实现细节，⽐如数据的处理和运算的⾼效率实现。如果不了解

这些，即使能将算法倒背如流，也难以将算法应⽤到⾃⼰的项⽬中去。此外，这些⽰例代码还使

得⽤⼾能通过观察修改代码所导致的结果变化而快速验证想法、积累经验。因此，我们坚信动⼿

实践对于学习深度学习的重要性。然而可惜的是，这些⽰例代码通常侧重于如何实现给定的⽅法，

却忽略了有关算法设计的探究或者实现细节的解释。虽然在像Distill这样的⽹站和某些博客上出

现了⼀些有关算法设计和实现细节的讨论，但它们常常缺少⽰例代码，并通常仅覆盖深度学习的

⼀小部分。

另外，我们欣喜地看到了⼀些有关深度学习的教科书不断问世，其中最著名的要数Goodfellow、

Bengio和Courville的《深度学习》。该书梳理了深度学习背后的众多概念与⽅法，是⼀本极为优

秀的教材。然而，这类资源并没有将概念描述与实际代码相结合，以⾄于有时会令读者对如何实

现它们感到毫⽆头绪。除了这些以外，商业课程提供者们虽然制作了众多的优质资源，但它们的

付费⻔槛依然令不少⽤⼾望而⽣畏。

正因为这样，深度学习⽤⼾，尤其是初学者，往往不得不参考来源不同的多种资料。例如，通过

教科书或者论⽂来掌握算法及其相关数学知识，阅读线上⽂档学习深度学习框架的使⽤⽅法，然

后寻找感兴趣的算法在这个框架上的实现并摸索如何将它应⽤到⾃⼰的项⽬中去。如果你正亲⾝

2 ⽬录

剩余546页未读，继续阅读

图像车间

粉丝: 37
资源: 296

从零开始深度学习：实战教程

动手深度学习

动手学深度学习1

《动手练 深度学习》1

动手深度学习02–task1

动手深度学习 笔记 6

动手深度学习 笔记 8

动手深度学习 笔记5

机器学习知识-动手深度学习

动手学深度学习之深度学习基础

Task2：动手深度学习

最新资源

《动手练深度学习》1

动手深度学习笔记 6

动手深度学习笔记 8

动手深度学习笔记5