"本文详细介绍了两种深度强化学习DQN的改进方法——深度循环Q网络(DRQN)和深度注意力循环Q网络(DARQN),旨在解决DQN在处理部分可观测马尔可夫决策过程(POMDP)和训练时间过长的问题。"
深度强化学习(DQN)在解决一些基于视觉的决策问题时表现出色,但它有两个主要限制:首先,由于记忆限制,DQN不适合处理需要长期记忆的游戏或任务,这些任务通常表现为部分可观测马尔可夫决策过程(POMDP)。其次,DQN每次决策都依赖于整个游戏画面,无法处理信息不完全的情况。
POMDP是强化学习的一个扩展,其中代理只能观察到部分或噪声污染的状态,而不是完整的环境状态。这使得许多现实世界的任务,如Atari 2600游戏Pong,成为POMDP问题,因为代理只能看到位置信息,无法直接获取速度等其他关键信息。
为了解决这些问题,DRQN(Deep Recurrent Q-Learning)引入了循环神经网络(RNN)结构,特别是长短期记忆网络(LSTM),来处理序列数据和捕捉历史信息。DRQN的网络结构包括一个卷积层用于处理输入图像,然后连接到LSTM单元,最后连接到Q值估计的全连接层。DRQN有两种更新策略:自举序列更新和自举随机更新,论文中采用了后者,因为它更简单,但也认为结果可以推广到前者。
实验部分展示了DRQN在部分信息可见的游戏,如闪烁的乒乓(Flickering Pong)中,即使只使用一帧信息,也能有效地整合帧间信息,证明了其处理POMDP问题的能力。
然而,DQN的另一个问题是训练时间过长,这限制了对模型的优化。DARQN(Deep Attention Recurrent Q-Network)对此进行了改进,引入了注意力机制,允许模型根据当前任务的重要性动态地关注环境的不同方面,从而减少训练时间和提高效率。尽管没有详细描述DARQN的具体实现,但可以推测它结合了RNN和注意力机制,使得学习更加高效和专注。
DRQN和DARQN通过引入序列学习和注意力机制,显著提升了DQN在处理POMDP任务和缩短训练时间方面的性能,这对于解决复杂的、部分可观测的环境中的强化学习问题具有重要意义。