改进的策略梯度算法：基于iLSTD(λ)的Actor-Critic学习

"基于iLSTD(λ)的Actor-Critic学习 .pdf" 本文主要探讨了强化学习中的策略梯度算法的优化，特别是针对其在梯度估计过程中方差过大，影响算法性能的问题。作者冯涣婷、程玉虎和王雪松提出了基于iLSTD(λ)的Actor-Critic学习算法，旨在提升策略梯度算法的收敛速度和梯度估计的准确性。 策略梯度算法是一种强化学习方法，因其良好的收敛性而在近年来受到广泛关注。然而，算法在估计策略梯度时的高方差是其主要缺点，这导致了收敛速度的减慢。为了解决这一问题，研究者引入了Actor-Critic框架，它结合了值函数和策略梯度方法的优势。Actor负责策略的更新，而Critic则用于估计值函数，从而动态调整策略参数。Actor-Critic方法基于梯度，能保证收敛，并通过Critic的值函数估计减小方差，加快收敛。 策略评估在强化学习中至关重要，通常使用如TD学习这样的方法在线估计值函数。TD学习利用TD误差在每个时间步更新值函数的估计。LSTD算法作为TD学习的一种变体，通过最小化马尔可夫决策过程（MDP）值函数的均方误差来逼近值函数，能更有效地利用观察数据。但LSTD的计算复杂度高，对于高维状态特征空间的问题尤其不适用，这限制了其在实际应用中的效率。 为了解决上述问题，研究者提出了基于iLSTD(λ)的AC算法，该算法结合了LSTD算法的高效数据利用和Actor-Critic框架的优势。iLSTD(λ)是一种改进的LSTD算法，它考虑了资格迹(eligibility trace)的概念，通过λ参数控制对历史信息的衰减，能够在降低计算负担的同时，保持对过去信息的有效利用，从而在解决高维问题时更为有效。 通过在10×10格子世界的仿真实验，所提出的基于iLSTD(λ)的Actor-Critic算法展示了其在收敛速度和估计精度上的优势，验证了其有效性和可行性。这种新算法为强化学习领域的策略优化提供了一个有潜力的解决方案，特别适用于处理高维度状态空间的问题。