编写MADDPG代码,适用于有两个不同奖励函数的智能体,且它们的动作空间是离散的场景

时间: 2024-02-12 19:09:59 浏览: 43
以下是适用于有两个不同奖励函数的智能体,且它们的动作空间是离散的MADDPG代码示例: ```python import numpy as np import torch import torch.nn.functional as F from torch.optim import Adam from collections import deque import random # 定义Actor网络 class ActorNet(torch.nn.Module): def __init__(self, state_dim, action_dim, hidden_dim): super(ActorNet, self).__init__() self.fc1 = torch.nn.Linear(state_dim, hidden_dim) self.fc2 = torch.nn.Linear(hidden_dim, hidden_dim) self.fc3 = torch.nn.Linear(hidden_dim, action_dim) def forward(self, x): x = F.relu(self.fc1(x)) x = F.relu(self.fc2(x)) x = F.softmax(self.fc3(x), dim=1) return x # 定义Critic网络 class CriticNet(torch.nn.Module): def __init__(self, state_dim, action_dim, hidden_dim): super(CriticNet, self).__init__() self.fc1 = torch.nn.Linear(state_dim+action_dim, hidden_dim) self.fc2 = torch.nn.Linear(hidden_dim, hidden_dim) self.fc3 = torch.nn.Linear(hidden_dim, 1) def forward(self, state, action): x = torch.cat([state, action], dim=1) x = F.relu(self.fc1(x)) x = F.relu(self.fc2(x)) x = self.fc3(x) return x # 定义智能体 class MADDPG: def __init__(self, state_dim, action_dim, hidden_dim, lr): self.n_agents = 2 self.state_dim = state_dim self.action_dim = action_dim self.hidden_dim = hidden_dim self.lr = lr # 初始化Actor网络和Critic网络 self.actor_nets = [ActorNet(state_dim, action_dim, hidden_dim) for _ in range(self.n_agents)] self.critic_nets = [CriticNet(state_dim*self.n_agents, action_dim*self.n_agents, hidden_dim) for _ in range(self.n_agents)] self.target_actor_nets = [ActorNet(state_dim, action_dim, hidden_dim) for _ in range(self.n_agents)] self.target_critic_nets = [CriticNet(state_dim*self.n_agents, action_dim*self.n_agents, hidden_dim) for _ in range(self.n_agents)] # 初始化优化器 self.actor_optimizers = [Adam(actor_net.parameters(), lr=self.lr) for actor_net in self.actor_nets] self.critic_optimizers = [Adam(critic_net.parameters(), lr=self.lr) for critic_net in self.critic_nets] # 初始化经验池 self.memory = deque(maxlen=10000) # 初始化超参数 self.batch_size = 128 self.gamma = 0.95 self.tau = 0.01 # 选择动作 def select_action(self, state, agent_id): state = torch.FloatTensor(state).unsqueeze(0) action_probs = self.actor_nets[agent_id](state) action = np.random.choice(self.action_dim, p=action_probs.detach().numpy()[0]) return action # 添加经验 def add_experience(self, state, action, reward, next_state, done): self.memory.append((state, action, reward, next_state, done)) # 更新网络 def update(self): # 从经验池中获取样本 if len(self.memory) < self.batch_size: return batch = random.sample(self.memory, self.batch_size) states, actions, rewards, next_states, dones = zip(*batch) states = torch.FloatTensor(states) actions = torch.LongTensor(actions).view(self.batch_size, -1) rewards = torch.FloatTensor(rewards).view(self.batch_size, -1) next_states = torch.FloatTensor(next_states) dones = torch.FloatTensor(dones).view(self.batch_size, -1) # 计算每个智能体的目标值 target_actions = [] for i in range(self.n_agents): target_action_probs = self.target_actor_nets[i](next_states) target_action = torch.argmax(target_action_probs, dim=1, keepdim=True) target_actions.append(target_action) target_actions = torch.cat(target_actions, dim=1) target_qs = [] for i in range(self.n_agents): target_qs.append(self.target_critic_nets[i](next_states, target_actions)) target_qs = torch.cat(target_qs, dim=1) targets = rewards + self.gamma * target_qs * (1 - dones) # 更新Critic网络 for i in range(self.n_agents): self.critic_optimizers[i].zero_grad() q = self.critic_nets[i](states, actions) critic_loss = F.mse_loss(q, targets.detach()) critic_loss.backward() self.critic_optimizers[i].step() # 更新Actor网络 for i in range(self.n_agents): self.actor_optimizers[i].zero_grad() actions_probs = self.actor_nets[i](states) actions_probs = actions_probs.detach() actions_probs[:, actions[:, i]] = F.softmax(actions_probs[:, actions[:, i]], dim=1) q_values = self.critic_nets[i](states, actions_probs) actor_loss = -q_values.mean() actor_loss.backward() self.actor_optimizers[i].step() # 更新目标网络 for i in range(self.n_agents): for target_param, param in zip(self.target_actor_nets[i].parameters(), self.actor_nets[i].parameters()): target_param.data.copy_(self.tau * param.data + (1 - self.tau) * target_param.data) for target_param, param in zip(self.target_critic_nets[i].parameters(), self.critic_nets[i].parameters()): target_param.data.copy_(self.tau * param.data + (1 - self.tau) * target_param.data) ``` 在这个例子中,我们定义了两个Actor网络和两个Critic网络,每个智能体都有一个Actor和一个Critic。其中,Actor网络的输出是一个概率分布,用于确定智能体的行动;Critic网络的输出是估计的Q值,用于评估智能体的行动。在训练过程中,我们使用经验重放缓存器来存储智能体的经验,然后从缓存器中随机选择一批经验进行训练。在更新Critic网络时,我们使用均方误差作为损失函数;在更新Actor网络时,我们使用Critic网络的输出作为损失函数,并采用随机梯度下降法进行优化。为了避免过度拟合,我们使用了目标网络进行训练,即每个智能体都有一个目标Actor网络和一个目标Critic网络。在每次更新后,我们使用软更新法来更新目标网络的参数。

相关推荐

最新推荐

recommend-type

python2练习题——编写函数,输入数字,判断是否是素数

在Python编程语言中,编写一个函数来判断输入的数字是否为素数是一项常见的练习任务。素数,也称为质数,是指大于1的自然数,它只能被1和它自身整除,没有其他自然数能整除它。理解素数的性质对学习数论和密码学等...
recommend-type

JS中如何比较两个Json对象是否相等实例代码

在JavaScript中,比较两个JSON对象是否相等是一个常见的任务,特别是在进行数据验证或者测试时。在给定的实例中,提供了几种方法来实现这个功能。下面我们将深入探讨这些方法及其背后的逻辑。 首先,我们需要理解...
recommend-type

简单了解为什么python函数后有多个括号

在Python编程语言中,函数是第一类对象,这意味着它们可以被赋值给变量、作为参数传递给其他函数,以及作为其他函数的返回值。当我们看到一个函数调用后面跟着多个括号时,这通常表示函数返回了另一个函数,然后这个...
recommend-type

曾几何时IAR也开始支持函数智能提示了

IAR编程环境智能提示功能是指IAR从某个版本开始支持代码自动补全和参数提示功能,这个功能可以帮助开发者快速完成代码编写,提高开发效率。在本文中,我们将对IAR编程环境智能提示功能进行详细介绍,并提供详细的...
recommend-type

c++ 连接两个字符串实现代码 实现类似strcat功能

这里我们将讨论两种不同的方法来实现类似于C库中的`strcat`函数的功能,该函数用于将一个字符串追加到另一个字符串的末尾。 ### 方法一:逐字符复制 第一种方法是通过逐个复制字符来实现字符串连接。这种方法的...
recommend-type

C语言入门:欧姆定律计算器程序

"这篇资源是关于C语言的入门教程,主要介绍了计算机语言的种类,包括机器语言、汇编语言和高级语言,强调了高级语言,尤其是C语言的特点和优势。同时,通过三个简单的C语言程序示例,展示了C语言的基本语法和程序结构。 在C语言中,`main()`函数是程序的入口点,`printf()`和`scanf()`是输入输出函数,用于显示和获取用户输入的数据。在提供的代码段中,程序计算并输出了一个电路中三个电阻并联时的总电流。程序首先定义了变量`U`(电压),`R1`、`R2`、`R3`(电阻),以及`I`(电流)。然后使用`scanf()`函数接收用户输入的电压和电阻值,接着通过公式`(float)U/R1 + (float)U/R2 + (float)U/R3`计算总电流,并用`printf()`显示结果。 C语言是一种结构化编程语言,它的特点是语法简洁,执行效率高。它支持多种数据类型,如整型(int)、浮点型(float)等,并且拥有丰富的运算符,可以进行复杂的数学和逻辑操作。C语言的程序设计自由度大,但同时也要求程序员对内存管理和程序结构有深入理解。 在C语言中,程序的执行流程通常包括编译和链接两个步骤。源代码(.c文件)需要通过编译器转换成目标代码(.o或.obj文件),然后通过链接器将多个目标代码合并成可执行文件。在运行高级语言程序时,这个过程通常是自动的,由编译器或IDE完成。 在例2中,程序展示了如何定义变量、赋值以及输出结果。`a`和`b`被初始化为100和50,它们的和被存储在变量`c`中,最后通过`printf()`显示结果。例3则演示了如何使用函数来求两个数的最大值,通过定义`max`函数,传入两个整数参数,返回它们之间的最大值。 学习C语言,除了基本语法外,还需要掌握指针、数组、结构体、函数、内存管理等核心概念。同时,良好的编程规范和调试技巧也是必不可少的。对于初学者来说,通过编写简单的程序并逐步增加复杂度,可以有效提高编程技能和理解C语言的精髓。"
recommend-type

管理建模和仿真的文件

管理Boualem Benatallah引用此版本:布阿利姆·贝纳塔拉。管理建模和仿真。约瑟夫-傅立叶大学-格勒诺布尔第一大学,1996年。法语。NNT:电话:00345357HAL ID:电话:00345357https://theses.hal.science/tel-003453572008年12月9日提交HAL是一个多学科的开放存取档案馆,用于存放和传播科学研究论文,无论它们是否被公开。论文可以来自法国或国外的教学和研究机构,也可以来自公共或私人研究中心。L’archive ouverte pluridisciplinaire
recommend-type

神经网络引擎:神经网络的训练与优化,探索高效训练的秘诀,加速人工智能的落地应用

![神经网络引擎](https://img-blog.csdnimg.cn/cabb5b6785fe454ca2f18680f3a7d7dd.png) # 1. 神经网络引擎概述** 神经网络引擎是一种强大的计算架构,专为处理复杂非线性数据而设计。它由大量相互连接的处理单元组成,称为神经元。这些神经元可以学习从数据中提取特征,并执行复杂的决策。 神经网络引擎的结构类似于人脑,它由输入层、隐藏层和输出层组成。输入层接收数据,隐藏层处理数据并提取特征,输出层生成预测或决策。神经元之间的连接权重是可学习的,通过训练数据进行调整,以优化网络的性能。 神经网络引擎被广泛应用于各种领域,包括图像识别
recommend-type

flowable的数据库表

Flowable是一个开源的工作流和业务流程管理平台,它主要基于Java构建,用于自动化任务、审批流程等企业应用。在数据库层面,Flowable使用的是H2作为默认数据库(适用于开发环境),但在生产环境中通常会选择更强大的MySQL或PostgreSQL。 Flowable的数据库包含多个核心表,用于存储工作流的数据,如流程定义、实例、任务、用户任务信息以及历史记录等。以下是一些关键的数据库表: 1. **ACT_RE_PROCDEF**: 存储流程定义的信息,包括流程ID、名称、版本等。 2. **ACT_RU_CASE**: 对于决策表(Decision Table)支持,存储case
recommend-type

C语言:掌握求三角形面积与基础编程实例

本篇C语言入门教程讲述了如何利用C语言求解三角形面积。首先,程序使用`#include "math.h"`导入数学库,以便使用`sqrt()`函数来计算面积。在`main()`函数中,用户通过`scanf()`函数输入三角形的三条边长`a`、`b`和`c`。接下来,程序计算半周长`s`,即半边长的三边之和的一半,公式为`s = (a + b + c) / 2`。然后,使用海伦公式计算面积,即`area = sqrt(s * (s - a) * (s - b) * (s - c))`,其中`s * (s - a)`、`(s - b)`和`(s - c)`分别代表三角形两个较小的两边和它们之间的夹角所对应的线段长度。 C语言在此处展示了其作为高级语言的优势,允许程序员使用相对简洁的代码表示复杂的数学运算,如`y=2x2+3x-1`转换为`area = sqrt(s * (s - a) * (s - b) * (s - c))`,使得代码更易于理解。此外,C语言的语法灵活,但又有一定限制,使得程序设计者可以高效地实现功能,同时保持较高的程序执行效率。 通过这个例子,初学者可以了解到C语言的基本结构,包括主函数`main()`的使用,变量声明和赋值,以及输入输出的处理。例如,`printf()`函数用于输出结果,`scanf()`用于接收用户的输入。同时,该教程也提到了C语言中的函数,如`max()`函数,虽然在这里没有详细实现,但它展示了C语言支持函数的使用,可以将复杂问题分解为独立可重用的部分。 这篇教程不仅教授了如何求解三角形面积,还展示了C语言的基本结构、输入输出处理以及函数的使用,是学习C语言编程的良好起点。通过实际操作和理解这些核心概念,读者可以逐渐掌握C语言并应用于其他计算问题的解决。