格隆沃尔-贝尔曼不等式

格隆沃尔-贝尔曼不等式是强化学习中的一个重要概念，用于描述最优策略的价值函数的递归关系。该不等式由两个方向的不等式组成，分别是贝尔曼最优性方程和贝尔曼最优性操作方程。

贝尔曼最优性方程（Bellman Optimality Equation）表示了最优策略的价值函数与其后继状态的价值函数之间的关系。对于一个状态s，其最优价值函数V^*(s)定义为从该状态开始采取最优策略所能获得的最大累积奖励。贝尔曼最优性方程可以表示为：

V^*(s) = max_a [R(s,a) + γ * Σ_s' [P(s'|s,a) * V^*(s')]]

其中，R(s,a)表示在状态s采取动作a所获得的即时奖励，P(s'|s,a)表示在状态s采取动作a后转移到状态s'的概率，γ是折扣因子，用于衡量未来奖励的重要性。

贝尔曼最优性操作方程（Bellman Optimality Operator）表示了最优策略的价值函数与其后继状态的价值函数之间的关系。该方程可以表示为：

V^*(s) = T[V^*](s)
其中，T是一个算子，表示对状态s进行一次更新操作，使其价值函数逼近最优价值函数。

通过迭代计算贝尔曼最优性方程和贝尔曼最优性操作方程，可以逐步逼近最优策略的价值函数，从而找到最优策略。