强化学习的策略梯度matlab代码

以下是一个简单的强化学习策略梯度算法的MATLAB代码示例，用于解决连续动作空间问题，可以作为参考：

% 策略网络的输入和输出维度
input_dim = 4;
output_dim = 2;

% 初始化策略网络
policy_network = randn(output_dim, input_dim);

% 定义策略函数
policy_func = @(s) softmax(policy_network * s);

% 定义学习率和训练轮数
learning_rate = 0.01;
num_episodes = 1000;

% 定义奖励函数
reward_func = @(s, a) (s(1)^2 + s(2)^2 + a(1)^2 + a(2)^2);

% 开始训练
for i = 1:num_episodes
    % 采样环境状态
    state = randn(input_dim, 1);
    
    % 选择动作
    prob = policy_func(state);
    action = randn(output_dim, 1);
    if rand < prob(1)
        action(1) = 1;
    else
        action(2) = 1;
    end
    
    % 计算梯度
    grad = zeros(output_dim, input_dim);
    for j = 1:output_dim
        if action(j) == 1
            grad(j,:) = state';
        end
    end
    
    % 更新策略网络参数
    policy_network = policy_network + learning_rate * reward_func(state, action) * grad;
end

这里的softmax函数使用了MATLAB内置的softmax函数，可以方便地处理神经网络输出的概率分布。在训练过程中，每个状态的动作都是随机采样的，根据策略函数输出的概率来进行选择。在计算梯度时，采用了简单的一步回合法，并使用了奖励函数来计算回报。