Q-learning算法实战代码

Q-learning算法是一种基于贝尔曼方程的强化学习离线学习算法，常用于解决无模型的马尔科夫决策过程（MDP）。以下是使用Python（结合`numpy`和`matplotlib`库）的一个简单Q-learning算法实战代码示例，假设我们有一个简单的迷宫环境：

import numpy as np

# 简单迷宫地图（0代表墙，1代表空地，2代表起点，3代表终点）
maze = np.array([
    [0, 0, 0, 0],
    [0, 1, 1, 0],
    [0, 1, 0, 0],
    [0, 1, 3, 0]
])

# 初始化Q表
q_table = np.zeros([len(maze), len(maze)])

# 定义超参数
alpha = 0.8  # 学习率
gamma = 0.9  # 折扣因子
epsilon = 0.9  # 探索率
num_episodes = 1000  # 总训练次数

for episode in range(num_episodes):
    state = 2  # 从起点开始
    done = False
    
    while not done:
        if np.random.rand() < epsilon:  # 随机选择行动
            action = np.random.choice([0, 1, 2, 3])  # 上下左右
        else:
            action = np.argmax(q_table[state])  # 根据Q表选择最大值

        next_state, reward, done = move(state, action, maze)  # 迷宫移动函数
        
        q_table[state, action] = (1 - alpha) * q_table[state, action] + alpha * (reward + gamma * np.max(q_table[next_state]))

        state = next_state  # 更新当前状态

    # 每隔一定步数降低探索率
    if episode % 100 == 0 and episode != 0:
        epsilon *= 0.95  # 衰减探索率

# 打印最终的Q表
print("Final Q-table:")
print(q_table)

def move(state, action, maze):
    # ... 这里需要根据迷宫规则实现具体的移动逻辑
    pass

这个代码片段展示了如何初始化Q表，设置学习率和其他超参数，然后在一个循环中执行每个步骤，学习和更新Q表。实际的`move`函数需根据环境规则编写。