求解贝尔曼方程的代码

在MATLAB中，可以使用循环迭代的方式求解贝尔曼方程。以下是一个简单的例子，用于求解一个简单的MDP（马尔可夫决策过程）的最优值函数：

% 定义MDP的参数
S = 3; % 状态数
A = 2; % 动作数
R = [0 1; 2 3; 4 5]; % 奖励矩阵
P = zeros(S, S, A); % 状态转移概率矩阵
P(:,:,1) = [0.8 0.1 0.1; 0.2 0.7 0.1; 0.1 0.3 0.6];
P(:,:,2) = [0.1 0.8 0.1; 0.3 0.4 0.3; 0.6 0.2 0.2];
gamma = 0.9; % 折扣因子

% 初始化值函数
V = zeros(S, 1);

% 迭代求解
max_iter = 1000; % 最大迭代次数
tolerance = 1e-6; % 收敛阈值
for i = 1:max_iter
    V_old = V;
    for s = 1:S
        q = zeros(A, 1);
        for a = 1:A
            q(a) = R(s,a) + gamma * sum(P(:,s,a) .* V_old);
        end
        V(s) = max(q);
    end
    if norm(V - V_old) < tolerance % 判断是否收敛
        break;
    end
end

% 输出结果
disp(['最优值函数：' num2str(V')]);

这个例子中，我们定义了一个3个状态、2个动作的MDP，奖励矩阵R和状态转移概率矩阵P都已知，折扣因子gamma为0.9。我们使用循环迭代的方式求解最优值函数，最大迭代次数为1000次，收敛阈值为1e-6。最后输出求解得到的最优值函数。