q-learning流程图

以下是Q-learning算法的流程图：

1. 初始化Q-table，即将所有状态-动作对的Q值设为0或随机值；
2. 在每个episode中，重置环境并观察当前状态；
3. 根据当前状态和Q-table，选择一个动作；
4. 执行动作并观察奖励和下一个状态；
5. 使用Bellman方程更新Q值：Q(s, a) = Q(s, a) + α(r + γ maxQ(s', a') - Q(s, a))；
6. 将下一个状态设为当前状态，重复步骤3-5，直到达到终止状态；
7. 重复多个episode，直到Q值收敛或达到指定的训练次数；
8. 使用训练好的Q-table进行测试，选择动作时直接查表获取Q值最大的动作即可。