竞争架构DQN与深度强化学习模型优化：原理与应用

本文主要探讨了基于竞争架构的深度强化学习（Deep Reinforcement Learning, DRL）在遥感数字图像处理中的应用以及相关模型的改进。首先，文章介绍了一种改进的深度Q网络（DQN），即在DQN的基础上引入了A_L和P_AL误差项，这些误差项有助于增强最优和次优动作对应值函数间的差异，从而提高Q值评估的精确性。实验结果显示，这种改进在Atari 2600等游戏中表现优秀，特别是在使用P_AL误差项时，学习效果显著提升。 其次，针对DQN中经验回放机制的局限性，文中提及了基于优先级采样的深度双Q网络（Double Deep Q-Network with Proportional Prioritization, DDQN+PP）。这种方法通过根据TD误差（Temporal Difference Error）的大小赋予样本不同的采样概率，高误差样本被优先选择，这样既保证了样本多样性，又加速了最优策略的学习。作者引用的研究表明，这种方法在多个Atari 2600游戏中提升了训练效率和游戏得分。 接着，文章提到动态跳帧DQN（Dynamic Frame Skip DQN, DFDQN）和动态归一化操作（如Pop-Art）的应用，它们旨在优化重复动作的处理方式和目标Q值的尺度一致性，从而改善代理在复杂游戏中的性能。此外，还有研究者提出了自适应折扣因子和学习率的深度循环Q网络（Deep Recurrent Q-Network, DRQN），这有助于加快模型收敛速度。 最后，文章重点介绍了基于竞争架构的DQN，其核心思想是引入竞争网络结构，通过分离状态值函数和动作优势函数的计算路径，让智能体能更快地识别出最佳行为。这种设计通过结合状态值流和动作优势流，使得Q值估计更为准确，降低了决策过程中的不确定性。 总结来说，本文涵盖了深度强化学习在遥感图像处理中的关键应用，包括误差项优化、优先级采样策略、模型结构创新（如竞争架构）以及多种策略改进，这些都在提升DRL在复杂环境下的决策能力方面起到了重要作用。