![](https://csdnimg.cn/release/download_crawler_static/86326174/bg10.jpg)
10.2.2 层序somax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434
10.3 word2vec的实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 436
10.3.1 处理数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 437
10.3.2 负采样 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 440
10.3.3 读取数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 440
10.3.4 跳字模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442
10.3.5 训练模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443
10.3.6 应⽤词嵌⼊模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 445
10.4 ⼦词嵌⼊(fastText) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447
10.5 全局向量的词嵌⼊(GloVe) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 448
10.5.1 GloVe模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449
10.5.2 从条件概率⽐值理解GloVe模型 . . . . . . . . . . . . . . . . . . . . . . . 450
10.6 求近义词和类⽐词 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 452
10.6.1 使⽤预训练的词向量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 452
10.6.2 应⽤预训练词向量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 453
10.7 ⽂本情感分类:使⽤循环神经⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . 456
10.7.1 ⽂本情感分类数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 456
10.7.2 使⽤循环神经⽹络的模型 . . . . . . . . . . . . . . . . . . . . . . . . . . 459
10.8 ⽂本情感分类:使⽤卷积神经⽹络(textCNN) . . . . . . . . . . . . . . . . . . 462
10.8.1 ⼀维卷积层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462
10.8.2 时序最⼤池化层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 464
10.8.3 读取和预处理IMDb数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . 464
10.8.4 textCNN模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 465
10.9 编码器—解码器(seq2seq) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 469
10.9.1 编码器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 470
10.9.2 解码器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 471
10.9.3 训练模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 471
10.10 束搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 472
10.10.1 贪婪搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 473
10.10.2 穷举搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 474
10.10.3 束搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 474
10.11 注意⼒机制 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 476
10.11.1 计算背景变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 477
10.11.2 更新隐藏状态 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 479
xiv