没有合适的资源?快使用搜索试试~ 我知道了~
首页深度学习入门:动手学PyTorch
"动手学深度学习pytorch.pdf" 是一份深度学习的学习文档,专注于通过PyTorch框架进行实践教学。该文档由AstonZhang、ZacharyC.Lipton、MuLi和AlexanderJ.Smola合作编写,内容涵盖深度学习的基础知识、PyTorch的使用以及相关数学概念。
在文档的“预备知识”章节,作者首先介绍了数据操作的基础,包括入门、运算、广播机制、索引和切片、内存管理以及如何将数据转换为其他Python对象。这部分旨在帮助读者熟悉Python和Numpy的基本操作,这对于理解和使用PyTorch至关重要。
接着,文档讲解了数据预处理的步骤,如读取数据集、处理缺失值、转换为张量格式等。这些预处理技术对于准备深度学习模型的输入数据是必要的,能确保数据的质量和模型的训练效果。
然后,文档深入到线性代数部分,涵盖了标量、向量、矩阵、张量的基本概念及其运算规则,例如降维、点积、矩阵-向量和矩阵-矩阵乘法、范数等。这部分内容是深度学习中的基础,因为神经网络的计算本质上就是线性代数操作。
在微分部分,文档详细阐述了导数、微分、偏导数、梯度和链式法则,这些都是优化算法和理解模型学习过程的关键工具。特别是自动求导部分,解释了如何使用PyTorch的自动求导功能进行梯度计算,包括标量和非标量变量的反向传播、分离计算以及在Python控制流中的梯度计算。
概率理论也是深度学习的重要组成部分,文档简单介绍了概率论的基本概念,如处理多个随机变量、期望和方差。这部分知识对于理解和应用概率模型,如神经网络的随机初始化和正则化策略,具有指导意义。
最后,文档还提供了一些查阅文档的技巧,帮助读者更有效地利用Python和PyTorch的官方文档,提升学习效率。
这份“动手学深度学习pytorch.pdf”是深度学习初学者的宝贵资源,它从基础概念出发,逐步引导读者掌握PyTorch框架,并通过实例帮助读者理解并应用深度学习技术。
![](https://csdnimg.cn/release/download_crawler_static/82504067/bg10.jpg)
11.10.3 瑜珈修⾏者 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 502
11.10.4 摘要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503
11.10.5 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503
11.11 学习率调度器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503
11.11.1 玩具问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 504
11.11.2 调度程序 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 506
11.11.3 策略 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 508
11.11.4 摘要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 514
11.11.5 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 514
12 计算性能 515
12.1 编译器和解释器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 515
12.1.1 符号式编程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 516
12.1.2 混合式编程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 518
12.1.3 Sequential的混合式编程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 518
12.1.4 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 520
12.1.5 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 520
12.2 异步计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 520
12.2.1 通过后端异步处理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 521
12.2.2 障碍器与阻塞器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 523
12.2.3 改进计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 523
12.2.4 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 523
12.2.5 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 523
12.3 ⾃动并⾏ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 523
12.3.1 基于GPU的并⾏计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 524
12.3.2 并⾏计算与通信 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 525
12.3.3 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 527
12.3.4 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 527
12.4 硬件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 527
12.4.1 计算机 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 528
12.4.2 内存 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 529
12.4.3 存储器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 530
12.4.4 CPU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 531
12.4.5 GPU和其他加速卡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 535
12.4.6 ⽹络和总线 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 537
12.4.7 更多延迟 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 538
12.4.8 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 539
12.4.9 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 540
12.5 多GPU训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 540
12.5.1 问题拆分 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 541
12.5.2 数据并⾏性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 542
12.5.3 简单⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 543
xiv
![](https://csdnimg.cn/release/download_crawler_static/82504067/bg11.jpg)
12.5.4 数据同步 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 544
12.5.5 数据分发 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 545
12.5.6 训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 546
12.5.7 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 548
12.5.8 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 548
12.6 多GPU的简洁实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 549
12.6.1 简单⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 549
12.6.2 ⽹络初始化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 550
12.6.3 训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 550
12.6.4 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 552
12.6.5 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 552
12.7 参数服务器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 552
12.7.1 数据并⾏训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 553
12.7.2 环同步(Ring Synchronization) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 555
12.7.3 多机训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 557
12.7.4 键值存储 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 559
12.7.5 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 560
12.7.6 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 560
13 计算机视觉 561
13.1 图像增⼴ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 561
13.1.1 常⽤的图像增⼴⽅法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 562
13.1.2 使⽤图像增⼴进⾏训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 566
13.1.3 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 569
13.1.4 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 569
13.2 微调 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 569
13.2.1 步骤 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 570
13.2.2 热狗识别 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 571
13.2.3 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 575
13.2.4 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 575
13.3 ⽬标检测和边界框 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 576
13.3.1 边界框 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 577
13.3.2 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 578
13.3.3 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 579
13.4 锚框 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 579
13.4.1 ⽣成多个锚框 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 579
13.4.2 交并⽐(IoU) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 582
13.4.3 标注训练数据的锚框 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 583
13.4.4 使⽤⾮极⼤值抑制预测边界框 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 589
13.4.5 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 593
13.4.6 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 593
13.5 多尺度⽬标检测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 593
xv
![](https://csdnimg.cn/release/download_crawler_static/82504067/bg12.jpg)
13.5.1 多尺度锚框 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 593
13.5.2 多尺度检测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 596
13.5.3 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 596
13.5.4 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 597
13.6 ⽬标检测数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 597
13.6.1 下载数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 597
13.6.2 读取数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 597
13.6.3 ⽰范 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 599
13.6.4 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 600
13.6.5 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 600
13.7 单发多框检测(SSD) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 600
13.7.1 模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 601
13.7.2 训练模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 606
13.7.3 预测⽬标 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 609
13.7.4 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 610
13.7.5 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 610
13.8 区域卷积神经⽹络(R-CNN)系列 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 612
13.8.1 R-CNN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 612
13.8.2 Fast R-CNN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 613
13.8.3 Faster R-CNN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 616
13.8.4 Mask R-CNN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 617
13.8.5 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 617
13.8.6 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 618
13.9 语义分割和数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 618
13.9.1 图像分割和实例分割 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 618
13.9.2 Pascal VOC2012 语义分割数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 619
13.9.3 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 624
13.9.4 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 624
13.10 转置卷积 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 625
13.10.1 基本操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 625
13.10.2 填充、步幅和多通道 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 626
13.10.3 与矩阵变换的联系 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 628
13.10.4 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 629
13.10.5 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 629
13.11 全卷积⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 629
13.11.1 构造模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 630
13.11.2 初始化转置卷积层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 632
13.11.3 读取数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 634
13.11.4 训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 634
13.11.5 预测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 635
13.11.6 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 636
13.11.7 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 636
xvi
![](https://csdnimg.cn/release/download_crawler_static/82504067/bg13.jpg)
13.12 样式迁移 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 637
13.12.1 ⽅法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 637
13.12.2 阅读内容和样式图像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 638
13.12.3 预处理和后处理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 639
13.12.4 抽取图像特征 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 640
13.12.5 定义损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 641
13.12.6 初始化合成图像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 643
13.12.7 训练模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 643
13.12.8 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 644
13.12.9 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 645
13.13 实战 Kaggle ⽐赛:图像分类 (CIFAR-10) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 645
13.13.1 获取并组织数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 646
13.13.2 图像增⼴ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 649
13.13.3 读取数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 649
13.13.4 定义模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 650
13.13.5 定义训练函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 650
13.13.6 训练和验证模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 651
13.13.7 在 Kaggle 上对测试集进⾏分类并提交结果 . . . . . . . . . . . . . . . . . . . . . . . 652
13.13.8 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 653
13.13.9 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 653
13.14 实战 Kaggle ⽐赛:狗的品种识别(ImageNet Dogs) . . . . . . . . . . . . . . . . . . . . . 653
13.14.1 获取和整理数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 654
13.14.2 图像增⼴ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 656
13.14.3 读取数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 656
13.14.4 微调预训练模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 657
13.14.5 定义训练函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 658
13.14.6 训练和验证模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 659
13.14.7 对测试集分类并在 Kaggle 提交结果 . . . . . . . . . . . . . . . . . . . . . . . . . . . 660
13.14.8 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 661
13.14.9 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 661
14 ⾃然语⾔处理:预训练 663
14.1 词嵌⼊(Word2vec) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 664
14.1.1 独热向量是⼀个糟糕的选择 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 664
14.1.2 ⾃监督的word2vec . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 665
14.1.3 跳元模型(Skip-Gram) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 665
14.1.4 连续词袋(CBOW)模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 666
14.1.5 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 668
14.1.6 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 668
14.2 近似训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 668
14.2.1 负采样 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 669
14.2.2 分层Somax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 670
xvii
![](https://csdnimg.cn/release/download_crawler_static/82504067/bg14.jpg)
14.2.3 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 671
14.2.4 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 671
14.3 ⽤于预训练词嵌⼊的数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 671
14.3.1 正在读取数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 671
14.3.2 下采样 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 672
14.3.3 中⼼词和上下⽂词的提取 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 674
14.3.4 负采样 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 675
14.3.5 小批量加载训练实例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 676
14.3.6 把所有的东西放在⼀起 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 678
14.3.7 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 679
14.3.8 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 679
14.4 预训练word2vec . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 679
14.4.1 跳元模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 680
14.4.2 训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 681
14.4.3 应⽤词嵌⼊ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 683
14.4.4 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 684
14.4.5 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 684
14.5 全局向量的词嵌⼊(GloVe) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 684
14.5.1 带全局语料统计的跳元模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 685
14.5.2 GloVe模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 685
14.5.3 从条件概率⽐值理解GloVe模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 686
14.5.4 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 687
14.5.5 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 687
14.6 词的相似性和类⽐任务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 687
14.6.1 加载预训练词向量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 688
14.6.2 应⽤预训练词向量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 690
14.6.3 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 692
14.6.4 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 692
14.7 来⾃Transformers的双向编码器表⽰(BERT) . . . . . . . . . . . . . . . . . . . . . . . . . 692
14.7.1 从上下⽂⽆关到上下⽂敏感 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 692
14.7.2 从特定于任务到不可知任务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 693
14.7.3 BERT:把两个最好的结合起来 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 693
14.7.4 输⼊表⽰ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 694
14.7.5 预训练任务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 697
14.7.6 把所有的东西放在⼀起 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 699
14.7.7 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 700
14.7.8 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 701
14.8 ⽤于预训练BERT的数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 701
14.8.1 为预训练任务定义辅助函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 702
14.8.2 将⽂本转换为预训练数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 704
14.8.3 小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 707
14.8.4 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 707
xviii
剩余744页未读,继续阅读
1186 浏览量
278 浏览量
1463 浏览量
185 浏览量
139 浏览量
142 浏览量
164 浏览量
193 浏览量
455 浏览量
![](https://profile-avatar.csdnimg.cn/d9015d976fd6446d9e23ca0e81689236_weixin_44906759.jpg!1)
普通网友
- 粉丝: 1279
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- Eldrick Tiger Woods主题新标签页插件:4K壁纸与特色功能
- OpenGL基础教程:实现OpenGL的HelloWorld
- 探索工厂游戏设计:因子游戏开发解析
- 银行家算法实现与Python爬虫技术深入探究
- 掌握Elasticsearch核心与进阶技巧第二版
- LeetCode交互式编程挑战:算法与数据结构练习
- FlexViewer 3.0 源代码解析与ArcGIS集成技术
- 打造优雅的Web仪表板:TechGYO与Highcharts技术实现
- Spring3.2结合ehcache进行接口测试技术解析
- 探索中国交通标志CTSDB数据集训练集11的文件结构
- Ubuntu Kylin下Linux 0.11 GCC5编译及Bochs运行指南
- LeetCode交互式编码挑战: 提升算法与数据结构技能
- SuperRss:增强Omeka网站的RSS功能插件
- 智能优化方法在多领域应用的介绍与分析
- 篮球爱好者必备!个性化新标签页壁纸-crx插件
- RabbitMQ基础备忘与安装备忘录指南
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)