用matlab代码实现上述功能

以下是用Matlab实现MC Basic算法优化5*5网格世界策略的代码：

% 初始化状态价值函数和策略
V = zeros(5,5);
policy = ones(5,5,4) * 0.25;

% 定义动作向量
actions = [-1,0;1,0;0,1;0,-1];

% 定义迭代次数和采样次数
num_iter = 1000;
num_samples = 100;

% 开始迭代
for i = 1:num_iter
    % 生成样本
    states = zeros(num_samples,2);
    actions_taken = zeros(num_samples,1);
    rewards = zeros(num_samples,1);
    for j = 1:num_samples
        % 随机选择起始状态
        state = [randi([1,5]), randi([1,5])];
        % 选择动作
        action = randsample(1:4, 1, true, policy(state(1),state(2),:));
        % 执行动作并观察奖励和下一个状态
        next_state = state + actions(action,:);
        if next_state(1) < 1 || next_state(1) > 5 || next_state(2) < 1 || next_state(2) > 5
            reward = -1;
            next_state = state;
        else
            reward = 0;
        end
        % 存储样本
        states(j,:) = state;
        actions_taken(j) = action;
        rewards(j) = reward;
        state = next_state;
    end
    
    % 更新状态价值函数
    for j = 1:num_samples
        state = states(j,:);
        G = sum(rewards(j:end));
        V(state(1),state(2)) = V(state(1),state(2)) + (1/(j+1)) * (G - V(state(1),state(2)));
    end
    
    % 更新策略
    for x = 1:5
        for y = 1:5
            for a = 1:4
                if a == actions_taken(states(:,1)==x & states(:,2)==y)
                    policy(x,y,a) = 1 - 0.1 + 0.1/4;
                else
                    policy(x,y,a) = 0.1/4;
                end
            end
        end
    end
end

% 输出策略
[~,best_actions] = max(policy,[],3);
disp("最优策略:");
disp(best_actions);

在上述代码中，我们首先初始化状态价值函数和策略，然后进行迭代，每次迭代都生成一定数量的样本，然后根据样本更新状态价值函数和策略。在样本产生时，我们随机选择起始状态，然后根据当前策略选择动作，并执行动作，记录下执行过程中的状态、动作、奖励序列。在更新状态价值函数时，我们使用蒙特卡罗方法计算出每个状态的价值函数，并将其更新。在更新策略时，我们基于采样得到的动作序列，利用贪心策略更新策略。最后，我们输出得到的最优策略。