6.4 通过时间反向传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
6.5 ⻔控循环单元（GRU） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
6.6 ⻓短期记忆（LSTM） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
6.7 深度循环神经⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
6.8 双向循环神经⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
6.9 循环神经⽹络的 Gluon 实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
7 优化算法 241
7.1 优化算法概述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
7.2 梯度下降和随机梯度下降 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246
7.3 梯度下降和随机梯度下降的 Gluon 实现 . . . . . . . . . . . . . . . . . . . . . . . 257
7.4 动量法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
7.5 动量法的 Gluon 实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269
7.6 Adagrad . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
7.7 Adagrad 的 Gluon 实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277
7.8 RMSProp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
7.9 RMSProp 的 Gluon 实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
7.10 Adadelta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286
7.11 Adadelta 的 Gluon 实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290
7.12 Adam . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292
7.13 Adam 的 Gluon 实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297
8 计算性能 301
8.1 命令式和符号式混合编程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301
8.2 异步计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309
8.3 ⾃动并⾏计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
8.4 多 GPU 计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319
8.5 多 GPU 计算的 Gluon 实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325
9 计算机视觉 331
9.1 图⽚增⼴ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 331
9.2 微调 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335
9.3 物体检测和边界框 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341
9.4 锚框 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343
9.5 物体检测数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350
iii
