马尔可夫决策过程模型五元组

马尔可夫决策过程（Markov Decision Process, MDP）模型的五元组包括：状态集合 $S$，动作集合 $A$，状态转移概率矩阵 $P$，奖励函数 $R$，折扣因子 $\gamma$。

- 状态集合 $S$：所有可能的状态组成的集合，例如在智能体控制机器人走迷宫的问题中，$S$ 可以是所有可能的机器人位置的集合。
- 动作集合 $A$：在每个状态下智能体可以采取的所有可能动作的集合，例如机器人可以向上、向下、向左、向右等方向移动。
- 状态转移概率矩阵 $P$：描述在智能体采取某个动作后，环境中状态转移的概率。$P(s,a,s')$ 表示智能体在状态 $s$ 采取动作 $a$ 后转移到状态 $s'$ 的概率。
- 奖励函数 $R$：智能体在每个状态下采取某个动作所获得的即时奖励，也可以是负奖励。$R(s,a,s')$ 表示智能体在状态 $s$ 采取动作 $a$ 后进入状态 $s'$ 所获得的即时奖励。
- 折扣因子 $\gamma$：用于平衡当前奖励和未来奖励的重要性，可以理解为对未来奖励的折扣因子。$0 \leq \gamma \leq 1$，$\gamma$ 越接近 1，考虑未来奖励的程度就越高。