except Sarsa算法

Sarsa（State-Action-Reward-State-Action）算法是一种基于值函数的强化学习算法，用于解决马尔可夫决策过程（MDP）问题。它和Q-learning算法类似，都是基于动作值函数的迭代更新。Sarsa算法在每个时间步中，根据当前状态选择一个动作，执行该动作并观察到下一个状态和相应的奖励，并根据更新规则对Q值进行更新。与Q-learning不同的是，Sarsa算法使用了当前策略下的动作来进行更新。

具体的更新规则为：
Q(s, a) = Q(s, a) + α * (r + γ * Q(s', a') - Q(s, a))

其中，Q(s, a)表示在状态s下执行动作a的动作值函数，α是学习率，r是当前状态执行动作后观察到的奖励，γ是折扣因子，s'和a'分别表示下一个状态和根据当前策略选择的下一个动作。

Sarsa算法的核心思想是通过不断更新Q值来学习最优动作值函数，并逐步优化策略。它可以用于解决各种强化学习问题，如迷宫问题、控制问题等。