dqn和vdn算法流程图

DQN (Deep Q-Network) 和 VDN (Value Decomposition Network) 都是强化学习中用于多智能体协作的算法，它们主要是应用在马尔科夫决策过程(MDP)框架下。

**DQN (深度Q网络)** 流程大致如下：
1. **环境交互**：智能体观察环境的状态并选择一个动作。
2. **奖励获取**：执行动作后，智能体收到奖励。
3. **经验回放**：将状态、动作、奖励和新状态存入经验池。
4. **训练网络**：从经验池随机采样数据，更新DQN模型，通过损失函数优化Q值估计。
5. **目标网络更新**：定期同步主网络的权重到目标网络，用于稳定训练过程。
6. **策略选择**：基于当前Q值的最大值选取行动。
7. **迭代循环**：重复步骤1-6直到达到预设条件。

**VDN (价值分解网络)** 则更侧重于协作，流程通常包括：
1. **独立评估**：每个智能体都有一个单独的价值函数网络，计算其对整体团队价值的贡献。
2. **价值加权**：将所有智能体的价值函数结果相加，得到整体的团队价值。
3. **策略选择**：根据加权后的总价值选择每个智能体的动作。
4. **交互反馈**：收集所有智能体的局部反馈，更新各自的价值函数。
5. **协同学习**：所有智能体同时进行学习，而非逐个更新。
6. **循环迭代**：重复整个过程，直到收敛或达到最大步数。