matlab强化学习手写代码

### MATLAB 编写的强化学习算法示例

#### Q-Learning 实现
Q-learning 是一种基于价值的方法，用于解决马尔可夫决策过程中的优化问题。下面是一个简单的迷宫求解例子，在这个环境中，智能体通过试错来找到从起点到终点的最佳路径。

% 初始化环境参数
mazeSize = [5, 5]; % 迷宫大小
startPos = [1, 1];
goalPos = [5, 5];

% 定义动作空间 (上下左右移动)
actions = [-1 0; 1 0; 0 -1; 0 1];

% 学习率 alpha 和折扣因子 gamma 的设置
alpha = 0.1;
gamma = 0.9;

% 创建 Q 表并初始化为零矩阵
qTable = zeros(mazeSize(1), mazeSize(2), size(actions, 1));

for episode = 1:1000 % 训练轮次循环
    pos = startPos';
    
    while ~isequal(pos, goalPos')
        % 随机选取行动或依据当前策略选择最佳行动
        if rand() < epsilon || sum(qTable(pos(1), pos(2), :)) == 0
            actionIdx = randi([1, numel(actions)]);
        else [~, actionIdx] = max(qTable(pos(1), pos(2), :));
        
        newPos = pos + actions(actionIdx, :)';

        reward = isequal(newPos, goalPos') * 100 - 1; % 到达目标奖励+100 或者每一步惩罚-1
        
        qMaxNextState = max(qTable(min(max(newPos(1), 1), mazeSize(1)), ...
                                   min(max(newPos(2), 1), mazeSize(2)), :));
                                   
        % 更新 Q 值
        qTable(pos(1), pos(2), actionIdx) = ...
            (1-alpha)*qTable(pos(1), pos(2), actionIdx) + ...
            alpha*(reward + gamma*qMaxNextState);
            
        pos = newPos;
    end
    
end

此代码展示了如何利用MATLAB构建一个基础版本的Q-learning算法[^1]。该实例中定义了一个小型二维网格作为模拟环境，并让代理在这个环境中探索最优路线直到达到指定的目标位置。