深度强化学习下的无人驾驶决策：DDPG与DAgger方法比较

在网络的训练与参数更新部分，作者探讨了在深度学习应用于无人驾驶决策算法中的具体实践。在有限的示教数据不足以覆盖所有可能情况时，强化学习中智能体通过与环境互动产生的“自生”数据无法直接应用监督学习。因此，处理这两种数据的方式有所不同： 1. 数据管理：自生数据和示教数据分开存储，自生数据随着训练过程不断增长，而示教数据保持不变。在训练网络时，会按照一定的比例混合这两种数据进行采样。对于自生数据，使用原始的时序差分损失（TD-loss）进行无监督学习；对于示教数据，则采用监督误差和时序差分误差的加权和作为训练目标。 2. 参数更新公式：这里重点介绍了与DDPG（Deterministic Policy Gradient）算法相区别的部分，强调了基于异策略（off-policy）的演员-评论家架构下，目标函数的设计。它涉及到目标策略的价值函数在执行策略状态分布空间上的积分，这是强化学习优化的关键环节。 3. 技术背景：论文提到的数据聚集（DAgger）算法和深度确定性策略梯度算法（Deep Deterministic Policy Gradient, DDPG），两者都是强化学习在决策控制领域的代表算法。DAgger是一种半监督学习方法，而DDPG则是一种连续动作空间下的深度强化学习算法，它结合了深度神经网络的非线性表示能力和Q-learning的在线学习特性。 作者左思翔在硕士论文中深入研究了这两种方法，并选择了它们进行分析，旨在解决无人驾驶车辆的智能决策控制问题，展示了深度强化学习在复杂动态环境中的潜力。通过这种方式，无人驾驶技术可以更好地应对未来的挑战，提高驾驶的安全性和效率。整个研究具有理论价值和实际应用价值，预示着人工智能技术在交通运输领域的广阔前景。