马尔可夫决策matlab代码

马尔可夫决策过程（Markov Decision Process, MDP）是决策理论中的一个数学模型，用于在一系列时间步中做出序列决策。在每个时间步，决策者（或系统）观察当前状态，并基于当前状态选择一个动作，然后系统根据给定的概率转移规则转移到一个新状态，并获得相应的奖励。MDP的目的是找到一种策略，使得从任意状态开始的期望累积奖励最大。

在MATLAB中，可以使用内置函数或者自己编写函数来实现MDP的模拟和策略求解。以下是一个简化的马尔可夫决策过程的MATLAB代码示例，其中包括状态转移概率、奖励函数以及策略评估和改进的步骤。

% 假设有三个状态：S1, S2, S3
% 两个动作：A1, A2
% 转移概率矩阵
P = [0.7 0.3 0; 0.1 0.6 0.3; 0 0.2 0.8];
% 奖励矩阵
R = [1; 2; 3];

% 策略，假设初始策略为每个状态下都选择动作A1
policy = [1 1 1];

% 迭代次数
numIter = 100;

% V值初始化
V = zeros(1,3);

% 策略评估：计算当前策略下的状态价值函数
for iter = 1:numIter
    Q = zeros(3,2);
    for i = 1:3
        for j = 1:2
            Q(i,j) = sum(sum(P(i,:,j).*R(j)'));
        end
    end
    V = max(Q);
    policy = find(max(Q,[],2) == Q); % 根据Q值更新策略
end

% 输出最终策略和状态价值函数
disp('最终策略:');
disp(policy);
disp('状态价值函数:');
disp(V);

这段代码展示了如何初始化一个策略，然后使用策略评估和策略改进的方法迭代计算最优状态价值函数和最优策略。这只是一个非常简单的例子，实际应用中MDP模型可能更为复杂，可能需要考虑更多的状态、动作以及更复杂的奖励和转移概率函数。