OpenAI Gym 入门与提高(一) Gym 环境构建与最简单的 RL agent
By Sujim(sjm.nudt@gmail.com)
2016.06.18
Openai gym 是一个用于开发和比较 RL 算法的工具包,与其他的数值计算库
兼容,如 tensorflow 或者 theano 库。现在主要支持的是 python 语言,以后将支
持其他语言。gym 文档在 https://gym.openai.com/docs。
Openai gym 包含 2 部分:
1、gym 开源库:包含一个测试问题集,每个问题成为环境(environment),可
以用于自己的 RL 算法开发。这些环境有共享的接口,允许用户设计通用的
算法。其包含了 deep mind 使用的 Atari 游戏测试床。
2、Openai gym 服务:提供一个站点和 api 允许用户对他们训练的算法进行性能
比较。
总之,openai gym 是一个 RL 算法的测试床(testbed)。
在增强学习中有 2 个基本概念,一个是环境(environment),称为外部世界,
另一个为智能体 agent(写的算法)。agent 发送 action 至 environment,environment
返回观察和回报。
gym 的核心接口是 Env,作为统一的环境接口。Env 包含下面几个核心方法:
1、reset(self):重置环境的状态,返回观察。
2、step(self,action):推进一个时间步长,返回 observation,reward,done,info
3、render(self,mode=’human’,close=False):重绘环境的一帧。默认模式一般比
较友好,如弹出一个窗口。
一、 环境构建
0 linux 环境
Ubuntu 16.04 LTS X64(含 Python 2.7.11+,OpenJDK 64-Bit Server VM )
需下载:Eclipse for linux 64 +python 插件(pydev,http://pydev.org/updates)
注:可以采用 vmware 安装虚拟机的方式。
1 安装 gym(以 ubuntu16.04 为例,使用 root 用户操作)
安装依赖包:
apt-get install -y python-numpy python-dev cmake zlib1g-dev libjpeg-dev xvfb
libav-tools xorg-dev python-opengl libboost-all-dev libsdl2-dev swig
方式 1:Use git:
git clone https://github.com/openai/gym
cd gym
pip install -e . # minimal install
pip install -e .[all] # full install (this requires cmake and a recent pip version)
方式 2:use pip:
评论1