基于注意力的分层深度强化学习在自动驾驶变道行为中的应用基于注意力的分层深度强化学习在自动驾驶变道行为中的应用
摘要
执行安全高效的车道变更是创建全自动驾驶汽车的关键功能。最近的先进技术已经证明了使用深度强化学习的成功车道跟随行
为，但很少考虑与其他车辆在道路上进行交互以改变车道的行为。本文设计了一种分层的深度强化学习（DRL）算法来学习密
集交通中的车道变化行为。通过将整体行为分解为子策略，可以了解更快，更安全的车道变更动作。我们还将时空注意应用于
DRL架构，这有助于车辆将更多的注意力集中在周围的车辆上，并导致更平滑的车道变换行为。我们在TORCS模拟器中进行
实验，其结果在各种车道变更场景中均优于最新的深度强化学习算法。
贡献
1）提出一种分层的深度强化学习算法，该算法可以学习道路上的变道行为。我们的方法可以轻松扩展为在一个模型中学习多
种驾驶策略。
2）开发一种注意力机制，适合通过图像学习驾驶策略。这有助于提高网络的结构性：通过更少的示例来学习更好的性能。
3）与最新的深度强化学习算法相比，讨论和分析车道变更场景下的性能。
图1 算法说明。
图1的结果表明，算法基于与演员和评论家的深度强化学习。参与者网络用于策略学习，评论家网络用于策略评估。提出了分
层动作和注意力机制来产生车道变更行为。我们使用TORCS仿真环境。
图2 车道变更行为的分层操作空间的图示。
评论0