dqn 贪吃蛇 流程图

### DQN 实现贪吃蛇游戏流程

#### 初始化阶段
初始化神经网络参数以及经验回放缓冲区。设置初始状态 \( s_0 \)，并定义好环境与代理间的交互接口。

import random
from collections import deque
import numpy as np
import tensorflow.keras as keras

class SnakeDQN:
    def __init__(self, state_size, action_size):
        self.state_size = state_size
        self.action_size = action_size
        
        # 定义超参数
        self.gamma = 0.95     # 折扣率
        self.epsilon = 1.0     # 探索率
        self.epsilon_min = 0.01
        self.epsilon_decay = 0.995
        self.learning_rate = 0.001
        self.memory = deque(maxlen=2000)

        # 构建模型
        self.model = self._build_model()

#### 训练循环
进入训练循环，在每一步中执行以下操作：

- **选择行动**：依据当前策略选取动作，通常采用 ε-greedy 方法平衡探索与利用。

- **执行行动**：根据选定的动作更新游戏状态，并获取即时奖励 \( r_t \) 和下一时刻的状态 \( s_{t+1} \)[^1]。

- **记忆存储**：将此次体验 (state, action, reward, next_state, done) 存入经验回放库中[^3]。

- **随机抽取样本**：从经验池里随机抽样一批次的数据用于后续的学习过程。

- **计算目标 Q 值**：对于每一个被选中的样本，通过贝尔曼方程计算其对应的目标 Q 值 \( y_i=r+\gamma\max_a'Q(s',a';\theta^-)\), 其中 \( \theta^- \) 表示固定下来的目标网络权重。

- **反向传播误差**：调整评估网络的参数以最小化预测 Q 值和实际获得回报之间的均方差损失函数 \( L(\theta)=E[(y-Q(s,a;\theta))^2]\)。

- **同步目标网络**：每隔一定次数的时间步或当条件满足时复制评估网络到目标网络上，即令 \( \theta^-\leftarrow\theta\) 。

graph TD;
A[开始] --> B{是否达到终止条件};
B -- "否" --> C[采取ε-greedy策略决定下一步];
C --> D[执行所选行为并观察新状态及奖励];
D --> E[保存<state,action,reward,next_state>至内存];
E --> F[从内存随机取样若干条记录];
F --> G[使用这些样本更新主网络权值];
G --> H[定期/按需同步辅助网络];
H --> I[返回继续下一轮迭代];
I --> B;
B -- "是" --> J[结束程序运行];