10.2.2 层序somax . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 436
10.3 word2vec的实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 438
10.3.1 预处理数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 439
10.3.2 负采样 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442
10.3.3 读取数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442
10.3.4 跳字模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444
10.3.5 训练模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 445
10.3.6 应⽤词嵌⼊模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447
10.4 ⼦词嵌⼊(fastText) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449
10.5 全局向量的词嵌⼊(GloVe) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 450
10.5.1 GloVe模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 451
10.5.2 从条件概率⽐值理解GloVe模型 . . . . . . . . . . . . . . . . . . . . . . . 452
10.6 求近义词和类⽐词 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 454
10.6.1 使⽤预训练的词向量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 454
10.6.2 应⽤预训练词向量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 455
10.7 ⽂本情感分类:使⽤循环神经⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . 458
10.7.1 ⽂本情感分类数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 458
10.7.2 使⽤循环神经⽹络的模型 . . . . . . . . . . . . . . . . . . . . . . . . . . 461
10.8 ⽂本情感分类:使⽤卷积神经⽹络(textCNN) . . . . . . . . . . . . . . . . . . 464
10.8.1 ⼀维卷积层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 464
10.8.2 时序最⼤池化层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 466
10.8.3 读取和预处理IMDb数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . 467
10.8.4 textCNN模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 467
10.9 编码器—解码器(seq2seq) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 471
10.9.1 编码器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 472
10.9.2 解码器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 473
10.9.3 训练模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 473
10.10 束搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 474
10.10.1 贪婪搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475
10.10.2 穷举搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 476
10.10.3 束搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 476
10.11 注意⼒机制 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 478
10.11.1 计算背景变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 479
10.11.2 更新隐藏状态 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 481
xiv
评论0