def evaluate_bellman(env, policy, gamma=1.): # eye()创建4x12单位1对角线矩阵，zeros创建nS大小0矩阵 a, b = np.eye(env.nS), np.zeros(env.nS) for state in range(env.nS - 1): # 表示47个状态（0-46） for action in range(env.nA): pi = policy[state][action] for p, next_state, reward, done in env.P[state][action]: a[state, next_state] -= (pi * gamma * p) b[state] += (pi * reward * p) v = np.linalg.solve(a, b) q = np.zeros((env.nS, env.nA)) for state in range(env.nS - 1): for action in range(env.nA): for p, next_state, reward, done in env.P[state][action]: q[state][action] += ((reward + gamma * v[next_state]) * p) return v, q

这是一个评估贝尔曼方程的函数。它使用给定的环境和策略评估状态值函数和动作值函数。在循环中，对于每个状态和动作组合，计算状态转移概率、奖励以及是否结束的信息。然后，使用这些信息更新矩阵a和向量b。最后，使用线性求解器求解a和b的线性方程组，得到状态值函数v。接下来，计算动作值函数q，通过对每个状态和动作组合进行循环，使用状态转移概率、奖励和更新后的状态值函数计算动作值函数。最终返回状态值函数v和动作值函数q。