![](https://csdnimg.cn/release/download_crawler_static/18892160/bg1.jpg)
ISSN 1000-0054
CN
11-2223/N
清华大学学报 (自然科学版)
J T singhua U niv (Sci& T ech),
2005 年 第 45 卷 第 4 期
2005, V ol.45, N o.4
10/36
467-470
基于群体
Ag ent
合作求解的测试床——
MA S
-
Soccer
张双民, 石纯一
(清华大学 计算机科学与技术系, 北京 100084)
收稿日期: 2004-03-19
基金项目: 国家自然科学基金资助项目 (60373079, 60496323);
国家 “八六三”高技术项目 (2001A A 113120)
作者简介: 张双民 (1977-), 男 ( 汉), 湖 南, 博士 研 究生。
通讯联系人:石纯一,教授,
E
-
mail
:
scy
@
tsin gh u a
.
edu
.
cn
摘 要: 为试验和比较各种先进的群体
Agent
合作求解智
能算法,给群体 A gent合作策略提供一个比较与测试的平
台,该文针对传统的测试平台过分强调具体动作实施细节,
忽略合作策略重要性的问题,给出了一种基于信念愿望意图
(
BDI
)逻辑推理的群体
A gent
合作求解仿真系统——
MAS
-
Soccer。在设计过程中简化 A gent具体行为的执行细节,突
出整体合作策略以及 BDI逻辑推理在比赛中的重要性,并
以此作为测试平台,以机器人足球赛任意球战术配合为实验
内容,验证和比较了基于特征向量提取的再励学习算法与传
统的再励学习算法在学习效果以及学习时间上的优劣。实验
在验证算法的先进性的同时,也表明
MAS
-
S o ccer
测试床能
够准确和方便地进行合作策略的验证与比较。
关键词: 多 A gent; 机器人足球赛; 再励学习; 合作求解
中图分类号:
TP
18 文献标识码:
A
文章编号: 1000-0054(2005)04-0467-04
MAS-Soccer
:
Atestbedbasedon
m u lti-ag ent c oo pe ration
ZHANG S huangmin
,
SHI Chunyi
(
Departm e nt of Computer Science and Technology
,
Tsinghua University
,
Beijing 100084
,
China
)
Abstract
: A testbed is n eeded to test and com pare various
m ulti-ag en t coop erative problem solvin g algorithm s. A m ulti-a gent
cooperative sim u latio n system based on B D I reasonin g,
M A S -S o ccer, w as developed to em phasize the im portan ce o f joint
strategies in m u lti-ag ent sy stem s, rath er tha n th e p erform an ce
details of specific actions. T he system can be used to test
reinforcem ent learning algorithm s b ased on feature vector extraction
and the traditional Q -learning algorithm in the R obocup free kick
gam e. T ests illustrate the efficiency of th e system and that
M A S -S o ccer can efficiently and correctly com pare various
cooperative stra tegies.
Key words
: m ulti-agent; R ob o cup ; reinforcem ent lea rnin g ;
cooperative p roblem solving
国际机器人足球赛(
TheRobotW orldCup
)
[1]
,
简称 R obocup, 是人工智能和机器人研究的一种集
中体现。R obocup 为不同的理论、算法和 A gent 体
系结构提供了一种评价的手段,为了使机器人(真机
器人或者软件模拟的实体)能够比较合理地进行足
球比赛,要求具备许多成熟的技术并且还需完成技
术上的突破。
在机器人足球队的开发方面,近年来迅速发展
的先进智能算法被充分利用,并取得了很好的效果。
P eter S to n e
[2]
使用分层学习技术来设计机器人的基
本动作和定层决策。
KostasKostiadis
[3 ]
利用再励学
习方法实现多机器人系统中的合作行为。Endo K
azuakietal
[4]
利用遗传算法来优化系统的参数。然
而,由于
R obocup
组织提供的标准平台系统强调动
作实现的细节,为了赢取比赛,大多数球队的比赛策
略并不重视群体 A gent 合作算法以及策略学习,而
是将精力放在如何正确实施某个动作上,因此理论
研究的价值并不大。
本文给出一种基于信念愿望意图(BD I)逻辑推
理的群体
Agent
合作求解仿真系统——
MAS
-
S occer
的设计与实现。在设计过程中简化
Agent
具
体行为的执行细节,突出整体合作策略以及 BD I 逻
辑推理在比赛中的重要性,并以此作为测试平台,以
机器人足球赛任意球战术配合为实验内容,验证和
比较了基于特征向量提取的再励学习算法与传统的
再励学习算法在学习效果以及学习时间上的优劣。
1
MAS
-
Soccer
测试床
M A S-Soccer 测试床是基于群体 A gent 合作求
解的软件仿真系统平台,主要由 3 部分构成: 人机
交互平台、服务平台以及
Agent
足球队。3 者相互
独立,其中人机交互平台和 A gent足球队运行于
M A S-Soccer 服务平台之上。如图 1 所示。