深度学习入门指南：实战与预备知识详解

需积分: 0 34 浏览量更新于2024-07-01 收藏 12.92MB PDF 举报

"动手学深度学习"是由阿斯顿·张(Aston Zhang)、李沐(Mu Li)和扎卡里·C1共同编著的一本深度学习教材。该书于2019年6月27日发布测试版本，鼓励读者访问官网<https://zh.d2l.ai>获取最新或正式版本。本书以实践为导向，旨在帮助读者理解并掌握深度学习的基本概念和技术。书中首先介绍了深度学习的基础知识，包括其起源和发展历程，以及深度学习的成功应用案例，如图像识别、自然语言处理等。深度学习的特点，如模型的复杂性、大数据驱动的学习能力和自动化特征提取，也被详细阐述。预备知识部分是学习者进入深度学习的门槛，涵盖了必要的编程和数学背景。作者指导读者如何获取并运行本书的代码，包括安装运行环境、更新代码、利用GPU加速MXNet等工具。数据操作是关键，书中讲解了如何创建NDArray（一种高效的数值计算数组）、基本的运算、广播机制、索引、内存管理以及NDArray与NumPy之间的转换。自动求梯度是深度学习的核心，作者通过实例演示了如何利用自动微分来计算梯度，区分训练模式和预测模式，并讨论了对Python控制流求梯度的技术。此外，书中还强调查阅文档的重要性，提供了查找模块函数、特定函数用法和在线资源的方法。在深度学习基础部分，作者详细地讲解了线性回归，包括模型的基本构成、数据预处理、参数初始化、损失函数和优化算法。不仅有从零开始的实现步骤，还有简洁版本的示例。接着，作者引入了softmax回归，解释了分类问题的背景，展示了如何构建softmax回归模型用于多分类任务。 "动手学深度学习"是一本适合初学者和进阶者的实用教程，它以实践为主导，结合理论和实际例子，帮助读者系统地掌握深度学习的各个方面。无论你是希望入门还是提升技能，这本书都将是宝贵的参考资料。

10.2.2 层序somax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434

10.3 word2vec的实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 436

10.3.1 处理数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 437

10.3.2 负采样 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 440

10.3.3 读取数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 440

10.3.4 跳字模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442

10.3.5 训练模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443

10.3.6 应⽤词嵌⼊模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 445

10.4 ⼦词嵌⼊（fastText） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447

10.5 全局向量的词嵌⼊（GloVe） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 448

10.5.1 GloVe模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449

10.5.2 从条件概率⽐值理解GloVe模型 . . . . . . . . . . . . . . . . . . . . . . . 450

10.6 求近义词和类⽐词 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 452

10.6.1 使⽤预训练的词向量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 452

10.6.2 应⽤预训练词向量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 453

10.7 ⽂本情感分类：使⽤循环神经⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . 456

10.7.1 ⽂本情感分类数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 456

10.7.2 使⽤循环神经⽹络的模型 . . . . . . . . . . . . . . . . . . . . . . . . . . 459

10.8 ⽂本情感分类：使⽤卷积神经⽹络（textCNN） . . . . . . . . . . . . . . . . . . 462

10.8.1 ⼀维卷积层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462

10.8.2 时序最⼤池化层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 464

10.8.3 读取和预处理IMDb数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . 464

10.8.4 textCNN模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 465

10.9 编码器—解码器（seq2seq） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 469

10.9.1 编码器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 470

10.9.2 解码器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 471

10.9.3 训练模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 471

10.10 束搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 472

10.10.1 贪婪搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 473

10.10.2 穷举搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 474

10.10.3 束搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 474

10.11 注意⼒机制 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 476

10.11.1 计算背景变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 477

10.11.2 更新隐藏状态 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 479

xiv

10.11.3 发展 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 479

10.12 机器翻译 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 480

10.12.1 读取和预处理数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 481

10.12.2 含注意⼒机制的编码器—解码器 . . . . . . . . . . . . . . . . . . . . . . . 482

10.12.3 训练模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 485

10.12.4 预测不定⻓的序列 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 487

10.12.5 评价翻译结果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 487

11 附录 491

11.1 主要符号⼀览 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 491

11.1.1 数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 491

11.1.2 集合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 491

11.1.3 操作符 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 492

11.1.4 函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 492

11.1.5 导数和梯度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 492

11.1.6 概率和统计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493

11.1.7 复杂度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493

11.2 数学基础 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493

11.2.1 线性代数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493

11.2.2 微分 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 496

11.2.3 概率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 499

11.3 使⽤Jupyter记事本 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 500

11.3.1 在本地编辑和运⾏本书的代码 . . . . . . . . . . . . . . . . . . . . . . . . 501

11.3.2 ⾼级选项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 505

11.4 使⽤AWS运⾏代码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 507

11.4.1 申请账号并登陆 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 507

11.4.2 创建并运⾏EC2实例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 508

11.4.3 安装CUDA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 513

11.4.4 获取本书的代码并安装GPU版的MXNet . . . . . . . . . . . . . . . . . . . 515

11.4.5 运⾏Jupyter记事本 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 516

11.4.6 关闭不使⽤的实例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 517

11.5 GPU购买指南 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 518

11.5.1 选择GPU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 518

11.5.2 整机配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 520

11.6 如何为本书贡献 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 521

4. 有效训练模型、避免数值计算陷阱以及充分利⽤硬件性能所需的⼯程技能；

5. 为解决⽅案挑选合适的变量（超参数）组合的经验。

同样，我们⼏位作者也⾯临前所未有的挑战：我们需要在有限的篇幅⾥糅合深度学习的多⽅⾯知

识，从而使读者能够较快理解并应⽤深度学习技术。本书代表了我们的⼀种尝试：我们将教给读

者概念、背景知识和代码；我们将在同⼀个地⽅阐述剖析问题所需的批判性思维、解决问题所需

的数学知识，以及实现解决⽅案所需的⼯程技能。

包含代码、数学、⽹⻚、讨论的统⼀资源

我们在2017年7⽉启动了写作这本书的项⽬。当时我们需要向⽤⼾解释Apache MXNet在那时的新

接口Gluon。不幸的是，我们并没有找到任何⼀个资源可以同时满⾜以下⼏点需求：

1. 包含较新的⽅法和应⽤，并不断更新；

2. ⼴泛覆盖现代深度学习技术并具有⼀定的技术深度；

3. 既是严谨的教科书，⼜是包含可运⾏代码的⽣动的教程。

那时，我们在博客和GitHub上找到了⼤量的演⽰特定深度学习框架（例如⽤TensorFlow进⾏数

值计算）或实现特定模型（例如AlexNet、ResNet等）的⽰例代码。这些⽰例代码的⼀⼤价值在

于提供了教科书或论⽂往往省略的实现细节，⽐如数据的处理和运算的⾼效率实现。如果不了解

这些，即使能将算法倒背如流，也难以将算法应⽤到⾃⼰的项⽬中去。此外，这些⽰例代码还使

得⽤⼾能通过观察修改代码所导致的结果变化而快速验证想法、积累经验。因此，我们坚信动⼿

实践对于学习深度学习的重要性。然而可惜的是，这些⽰例代码通常侧重于如何实现给定的⽅法，

却忽略了有关算法设计的探究或者实现细节的解释。虽然在像Distill这样的⽹站和某些博客上出

现了⼀些有关算法设计和实现细节的讨论，但它们常常缺少⽰例代码，并通常仅覆盖深度学习的

⼀小部分。

另外，我们欣喜地看到了⼀些有关深度学习的教科书不断问世，其中最著名的要数Goodfellow、

Bengio和Courville的《深度学习》。该书梳理了深度学习背后的众多概念与⽅法，是⼀本极为优

秀的教材。然而，这类资源并没有将概念描述与实际代码相结合，以⾄于有时会令读者对如何实

现它们感到毫⽆头绪。除了这些以外，商业课程提供者们虽然制作了众多的优质资源，但它们的

付费⻔槛依然令不少⽤⼾望而⽣畏。

正因为这样，深度学习⽤⼾，尤其是初学者，往往不得不参考来源不同的多种资料。例如，通过

教科书或者论⽂来掌握算法及其相关数学知识，阅读线上⽂档学习深度学习框架的使⽤⽅法，然

后寻找感兴趣的算法在这个框架上的实现并摸索如何将它应⽤到⾃⼰的项⽬中去。如果你正亲⾝

2 ⽬录

剩余546页未读，继续阅读

宏馨

粉丝: 23
资源: 293

深度学习入门指南：实战与预备知识详解

动手学深度学习1

李沐-动手学深度学习笔记

动手学深度学习d2l-zh_李沐1

动手学深度第二版d2l包

对于深度强化学习的学习应该看哪些资料

python d2l

推荐几本深度学习算法习题手册

中文翻译的深度学习文献

rhino grasshoper平面线生造型.gh

Webapp_rimw_ebapp协助投资者评估A股上市公司.zip

最新资源