用C++写一个Q-learning

好的，以下是一个简单的Q-learning算法的C++代码示例，帮助你入门：

#include <iostream>
#include <cmath>
#include <ctime>
#include <cstdlib>

using namespace std;

const int NUM_STATES = 6; // 状态数量
const int NUM_ACTIONS = 2; // 动作数量
const double GAMMA = 0.8; // 折扣因子
const double ALPHA = 0.1; // 学习率
const int MAX_EPISODES = 13; // 最大迭代次数

int R[NUM_STATES][NUM_ACTIONS] = {
    {0, 0},
    {0, 100},
    {0, 0},
    {100, 0},
    {0, 0},
    {0, 0}
}; // 奖励矩阵

int Q[NUM_STATES][NUM_ACTIONS] = {0}; // Q值矩阵

int choose_action(int state) { // 选择动作
    int action;
    if (rand() / (double)RAND_MAX < 0.8) { // 以80%的概率选择Q值最大的动作
        int maxQ = -1;
        for (int i = 0; i < NUM_ACTIONS; i++) {
            if (Q[state][i] > maxQ) {
                maxQ = Q[state][i];
                action = i;
            }
        }
    } else { // 以20%的概率随机选择动作
        action = rand() % NUM_ACTIONS;
    }
    return action;
}

void q_learning() { // Q-learning算法
    for (int i = 0; i < MAX_EPISODES; i++) {
        int state = rand() % NUM_STATES;
        while (state != 5) { // 当状态不是终止状态时
            int action = choose_action(state);
            int next_state;
            if (action == 0) {
                next_state = state - 1;
            } else {
                next_state = state + 1;
            }
            int reward = R[state][action];
            Q[state][action] = (1 - ALPHA) * Q[state][action] + ALPHA * (reward + GAMMA * max(Q[next_state][0], Q[next_state][1])); // 更新Q值
            state = next_state;
        }
    }
}

int main() {
    srand(time(NULL));
    q_learning();
    cout << "Q values:" << endl;
    for (int i = 0; i < NUM_STATES; i++) {
        for (int j = 0; j < NUM_ACTIONS; j++) {
            cout << Q[i][j] << " ";
        }
        cout << endl;
    }
    return 0;
}

以上代码实现了一个简单的Q-learning算法，用于解决一个简单的迷宫问题。其中，R矩阵为奖励矩阵，Q矩阵为Q值矩阵，choose_action函数用于选择动作，q_learning函数用于执行Q-learning算法。在main函数中，我们调用q_learning函数，然后打印出Q值矩阵的值。

请注意，此示例程序仅用于演示Q-learning的基本思想，实际应用中需要根据具体问题进行调整。