深度强化学习进阶：DRQN与DARQN解析

"本文详细介绍了两种深度强化学习DQN的改进方法——深度循环Q网络(DRQN)和深度注意力循环Q网络(DARQN)，旨在解决DQN在处理部分可观测马尔可夫决策过程(POMDP)和训练时间过长的问题。" 深度强化学习(DQN)在解决一些基于视觉的决策问题时表现出色，但它有两个主要限制：首先，由于记忆限制，DQN不适合处理需要长期记忆的游戏或任务，这些任务通常表现为部分可观测马尔可夫决策过程(POMDP)。其次，DQN每次决策都依赖于整个游戏画面，无法处理信息不完全的情况。 POMDP是强化学习的一个扩展，其中代理只能观察到部分或噪声污染的状态，而不是完整的环境状态。这使得许多现实世界的任务，如Atari 2600游戏Pong，成为POMDP问题，因为代理只能看到位置信息，无法直接获取速度等其他关键信息。 为了解决这些问题，DRQN(Deep Recurrent Q-Learning)引入了循环神经网络(RNN)结构，特别是长短期记忆网络(LSTM)，来处理序列数据和捕捉历史信息。DRQN的网络结构包括一个卷积层用于处理输入图像，然后连接到LSTM单元，最后连接到Q值估计的全连接层。DRQN有两种更新策略：自举序列更新和自举随机更新，论文中采用了后者，因为它更简单，但也认为结果可以推广到前者。 实验部分展示了DRQN在部分信息可见的游戏，如闪烁的乒乓(Flickering Pong)中，即使只使用一帧信息，也能有效地整合帧间信息，证明了其处理POMDP问题的能力。 然而，DQN的另一个问题是训练时间过长，这限制了对模型的优化。DARQN(Deep Attention Recurrent Q-Network)对此进行了改进，引入了注意力机制，允许模型根据当前任务的重要性动态地关注环境的不同方面，从而减少训练时间和提高效率。尽管没有详细描述DARQN的具体实现，但可以推测它结合了RNN和注意力机制，使得学习更加高效和专注。 DRQN和DARQN通过引入序列学习和注意力机制，显著提升了DQN在处理POMDP任务和缩短训练时间方面的性能，这对于解决复杂的、部分可观测的环境中的强化学习问题具有重要意义。