强化学习笔记：伯克利CS285前10讲重点概览

"Berkeley CS285 强化学习笔记涵盖了强化学习的基础概念和重要算法，主要讨论了马尔可夫决策过程（Markov Decision Process, MDP）和部分可观测马尔可夫决策过程（Partially Observed Markov Decision Process, POMDP），并涉及Q函数、值函数、策略学习以及批评网络对策略的优化等内容。" 在强化学习中，马尔可夫性质（Markov Property）是关键概念，它指出系统当前状态完全决定了未来的发展，而与过去的历史状态无关。这使得强化学习问题可以通过状态转移概率来建模，简化了问题的复杂性。 行为学习的问题在于，当机器出现轻微错误时，可能会遇到未学习过的情况，导致更多错误，从而逐渐偏离学习到的行为模式。Dagger算法被提出来解决这个问题，但步骤3需要大量数据集，且在涉及记忆时会面临挑战，例如过多的输入可能导致过拟合。 部分可观测马尔可夫决策过程（POMDP）是强化学习的一个扩展，考虑了环境信息的不完全可观察性。在这种情况下，智能体必须依赖于观测历史来推断隐藏状态，增加了学习的复杂度。 Q函数和值函数是评估策略的关键工具，它们分别表示在给定策略下，从某个状态出发，未来可能获得的累积奖励的期望。强化学习的基本思想是通过不断调整策略，使好的状态更可能出现，坏的状态更少发生。 在优化J(θ)梯度的过程中，添加基线是为了减少方差，提高学习效率。实践中，可以采用固定的或随时间变化的基线；理论上，基线应保持策略的期望回报不变。政策学习分为两类：策略学习（on-policy learning）和离策略学习（off-policy learning）。在离策略学习中，学习的策略与执行的策略不一致，如Q-learning。 批评网络（Critic）用于改进策略，通过估计值函数来指导策略的更新，例如在Actor-Critic算法中，批评网络负责评估演员（Actor）提出的行动策略，从而实现策略的迭代优化。这种结合策略和值函数的方法是强化学习中的一种有效策略优化技术。