深度强化学习：结合感知与决策的新范式

"这篇文章是关于2018年中国科技核心(统计源)期刊目录中的一篇研究，主题聚焦于基于状态“伪”访问次数的内在激励在强化学习(RL)中的应用，特别是针对复杂深度强化学习(DRL)任务。文章讨论了如何在状态空间庞大的情况下，量化那些从未被访问过状态的新颖度，从而改进探索策略。" 在强化学习中，通常通过状态或状态-动作对的经验访问次数来衡量不确定性和新颖性。然而，对于复杂DRL任务，由于状态空间巨大，直接依赖经验的探索方法可能不足。Bellemare等人提出了一种解决方案，即使用序列密度模型来生成未被访问状态的“伪”访问次数。这种方法允许在状态没有实际访问记录的情况下，依然为其分配一个非零概率，从而估算其新颖度。 具体来说，序列密度模型可以用来近似计算新状态novel s被访问的概率。模型基于已有的观察数据，如天气、时间和拥挤程度等因素，构建边缘经验分布。通过模型，即使状态novel s的实际访问次数为0，也能得到一个概率估计，进而生成一个“伪”访问次数n_novel。状态novel s的“伪”访问次数可以通过公式(56)计算得出。 这个“伪”访问次数可以用来定义探索奖励。公式(57)展示了如何根据“伪”访问次数计算奖励，其中β是调整探索强度的参数。将这个探索奖励加入到原有的奖励函数中，形成新的误差项，如公式(58)所示。然后，结合DDQN算法的误差项，形成总误差项，如公式(59)，并通过梯度下降法进行网络训练。 实验表明，采用基于状态“伪”访问次数的内在激励可以显著提升agent在高难度任务中的探索效率，从而优化学习性能。该方法对强化学习，特别是深度强化学习的研究提供了新的思路和工具。 这篇文章的作者团队涉及多个研究方向，包括强化学习、深度学习和自动推理，他们通过国家自然科学基金等多个项目支持进行相关研究。这篇综述性文章总结了深度强化学习的主要方法，前沿研究方向以及相关应用，对理解深度强化学习的最新进展具有重要参考价值。