sarsa算法matlab

SARSA算法是一种基于状态-动作-回报-状态-动作（SARSA）序列的强化学习算法，用于学习环境中的最优策略。在MATLAB中，可以使用以下代码实现SARSA算法：

% 设置环境
num_states = 100; % 状态数
num_actions = 4; % 动作数
rewards = zeros(num_states, num_actions); % 回报矩阵
% 初始化Q值矩阵
Q = rand(num_states, num_actions);
% 设置超参数
alpha = 0.5; % 学习率
epsilon = 0.1; % 探索率
gamma = 0.9; % 折扣因子
num_episodes = 1000; % 迭代次数
% 迭代训练
for i = 1:num_episodes
    state = randi(num_states); % 随机初始化状态
    action = epsilon_greedy_policy(Q, state, num_actions, epsilon); % 选择动作
    while true % 在状态-动作序列中进行迭代
        % 执行动作并观察回报和下一个状态
        next_state = take_action(action, state);
        reward = rewards(state, action);
        next_action = epsilon_greedy_policy(Q, next_state, num_actions, epsilon);
        % 更新Q值
        Q(state, action) = Q(state, action) + alpha * (reward + gamma * Q(next_state, next_action) - Q(state, action));
        % 更新状态和动作
        state = next_state;
        action = next_action;
        % 判断是否到达终止状态
        if is_terminal(state)
            break;
        end
    end
end
% 输出最优策略
[~, optimal_actions] = max(Q, [], 2);
disp(optimal_actions);

其中，`epsilon_greedy_policy`函数实现了$\epsilon$-贪心策略，用于在给定状态下选择动作；`take_action`函数根据当前状态和动作执行动作并返回下一个状态。在训练过程中，算法通过更新Q值来逐步优化策略，最终输出最优策略。