网站建设资讯

NEWS

网站建设资讯

怎么在Windows上安装和渲染OpenAI-Gym

这篇文章主要介绍了怎么在Windows上安装和渲染OpenAI-Gym,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。

成都创新互联公司专注于长丰网站建设服务及定制,我们拥有丰富的企业做网站经验。 热诚为您提供长丰营销型网站建设,长丰网站制作、长丰网页设计、长丰网站官网定制、小程序定制开发服务,打造长丰网络公司原创品牌,更为您提供长丰网站排名全网营销落地服务。

OpenAI Gym是学习和开发强化学习算法的好地方。它提供了许多有趣的游戏(所谓的“环境”),你可以将自己的策略用于测试。例如,它有一些简单的游戏,例如在小推车上平衡垂直杆(“ CartPole-v1”),将钟摆摆到直立位置(“ Pendulum-v0”),以及一些经典的电子游戏,例如Space Invader 和Pin Ball。

怎么在Windows上安装和渲染OpenAI-Gym

然而,gym是设计在Linux上运行的。尽管它可以使用Conda或PIP安装在Windows上,但它不能在Windows上显示,因为它的呈现是在基于Linux的包PyVirtualDisplay上响应的。因此,在Windows上玩OpenAI Gym很不方便。

那么Windows用户是如何可视化gym呢?

一个简单的解决方案是使用谷歌Colab。它可以通过web浏览器访问,而且大多数包都已经正确设置好了。但是Colab也有缺点:

  1. 频繁的会话超时和断开连接。您的会话可能在餐后超时,您的所有数据将丢失。

  2. 机器配置不高。就连我的戴尔XPS笔记本电脑在许多神经网络模型上的运行速度也比免费的Colab电脑快两倍。如果你已经有一台不错的机器,为什么不使用它呢?

  3. 安装本地驱动器不方便。每次你开始一个会话的时候都需要这样做。

安装Linux / Windows双启动是最干净的解决方案。但是,如果您只是想不时进行一些编码,那么设置一个完整的操作系统似乎是一个过大的选择。安装Linux VM所需的精力要少于双重引导,但仍然需要大量的精力来设置整个虚拟系统,以及解决潜在的兼容性问题,解决库和程序包依赖性等。使用docker映像应该很容易,但是通过docker hub上快速搜索生成的映像无法在我的计算机上运行。另一个github上的代码仅具有“实验性” Windows支持,并且需要从源代码构建看似复杂的Docker映像。众所周知,在另一个操作系统上从源代码构建远非直截了当。

Genevieve Hayes[3]在这篇文章中详细描述了一个纯Windows解决方案。它结合使用Visual Studio、Conda、Pip和Xming。这不是一个简短的步骤列表。我一步一步地遵循这些步骤,但仍然无法构建atari-py和box2d。此外,我有点担心Windows原生解决方案将来可能需要一些源代码修改。

在评估了许多选项之后,我最终自己构建了一个极简的docker映像。这远没有听起来那么难。但如果你想跳过设置环境的工作,你可以通过以下三个简单的步骤直接享受Gym:

下载并安装Docker

从Dock拉出我的docker映像:

 docker pull jxu305/openai_gym_docker:v1.0

从命令行运行docker映像(如果您愿意,可以挂载您喜欢的文件)

 docker run -p :8888 -it -v : jxu305/openai_gym_docker:v1.0

或者只是从Docker桌面GUI启动

怎么在Windows上安装和渲染OpenAI-Gym

为了测试方便,我在图片中添加了一个小notebook 来测试渲染示例环境:Cart Pole v1、Mountain Car v0、Pendulum v0、Lunar Lander v2、Space Invaders v0和Car Racing v0。

怎么在Windows上安装和渲染OpenAI-Gym

如果你对如何制作这个docker感兴趣,请继续阅读。这其实很简单,你所需要的是一个少于30行的Dockerfile。在这里,我将逐步介绍Dockerfile。

首先,为了避免从头开始建造,我从jupyter notebook环境开始建造。由于Geron的机器学习书籍使用tensorflow,我决定在jupyter/tensorflow-notebook图像的基础上进行构建。

 FROM jupyter/tensorflow-notebook

接下来,安装呈现环境所需的一些库。

 USER root
 RUN apt-get update -y && \
     apt-get install -y xvfb && \
     apt-get install -y python-opengl

然后安装OpenAI-gym,以及PyVirtualDisplay。

 USER ${NB_USER}
 RUN pip install gym pyvirtualdisplay

仅此而已。有了这几行代码,你就可以运行和渲染

我在Dockerfile中添加了几行代码,以支持一些需要Box2D, Toy Text,和雅达利的环境。例如,经典的月球着陆器和太空入侵者环境。

 RUN apt-get install -y cmake && \
     apt-get install -y zlib1g zlib1g-dev
 
 RUN conda install swig
 RUN pip install box2d-py atari_py pystan

最后两行只是为了测试方便,将一些文件复制到图像中。

 COPY ./example/env_render.ipynb /home/${NB_USER}/env_render.ipynb
 COPY ./example/18_reinforcement_learning.ipynb /home/${NB_USER}/18_reinforcement_learning.ipynb

这就是Dockerfile的全部内容。构建这个简单的docker也很容易,只需在命令行中运行以下命令:

 $ docker build -t : .

恭喜你!你只要建立你自己的OpenAI-gym docker!现在你可以用Docker桌面启动它并开始你的代码。

感谢你能够认真阅读完这篇文章,希望小编分享的“怎么在Windows上安装和渲染OpenAI-Gym”这篇文章对大家有帮助,同时也希望大家多多支持创新互联,关注创新互联行业资讯频道,更多相关知识等着你来学习!


网站题目:怎么在Windows上安装和渲染OpenAI-Gym
文章地址:http://cdweb.net/article/pjhhjj.html