强化学习如何定制OpenAIGym学习环境

　　OpenAIGym支持定制我们自己的学习环境。有时候AtariGame和gym默认的学习环境不适合验证我们的算法，需要修改学习环境或者自己做一个新的游戏，比如贪吃蛇或者打砖块。已经有一些基于gym的扩展库，比如MADDPG。
　　我们从定向下一步步探索如何建立自己的学习环境。参考链接在文末，我综合了两篇文章结合自己的理解进行实验。OpenAI推荐的文件结构长这个样子：gymsoccer。
　　1。首先确定文件结构：customgymREADME。mdsetup。pycustomgyminit。pyenvsinit。pycustomenv。pycustomenvextend。py
　　不用觉得文件多，我们只是搭个框架，里面要么是空的要么内容很少，我会挨个介绍。框架搭好了可以方便以后部署我们的环境。
　　一级目录为customgym。你可以取任何不冲突的名字。包含setup。py（安装），README。md（说明书）和customgym文件夹（环境主体）。
　　二级目录为customgym。包含init。py（初始化）和envs文件夹（环境脚本）。
　　三级目录为envs。包含init。py（初始化）和两个测试环境脚本customenv。py和customenvextend。py（当然你也可以只测试一个或者多加几个试试）。
　　2。手把手配置各个文件：
　　customgymREADME。md可以空着，等你写好坏境再写描述。
　　customgymsetup。py应该包含：fromsetuptoolsimportsetupsetup（namecustomgym，Secondarydirectoryversion0。1，installrequires〔gym〕Andanyotherdependenciesfooneeds）
　　有兴趣的同学可以参考下OpenAI官方注册格式。
　　customgymcustomgyminit。py应该包含：fromgym。envs。registrationimportregisterregister（idcustomenvv0，Formatshouldbexxxv0，xxxv1。。。。entrypointcustomgym。envs：CustomEnv，Expalinedinenvsinit。py）register（idcustomenvextendv0，entrypointcustomgym。envs：CustomEnvExtend，）
　　customgymcustomgymenvsinit。py应该包含：fromcustomgym。envs。customenvimportCustomEnvfromcustomgym。envs。customenvimportCustomEnvExtend
　　customgymcustomgymenvscustomenv。py应该长这个样子：importgymclassCustomEnv（gym。Env）：definit（self）：print（CustomEnvEnvironmentinitialized）defstep（self）：print（CustomEnvStepsuccessful！）defreset（self）：print（CustomEnvEnvironmentreset）
　　这里省去了render，close等模块，之后的文章会在更具具体的问题来详细设置。这里只做展示目的。
　　同理，customgymcustomgymenvscustomenvextend。py应该长这个样子：importgymclassCustomEnvExtend（gym。Env）：definit（self）：print（CustomEnvExtendEnvironmentinitialized）defstep（self）：print（CustomEnvExtendStepsuccessful！）defreset（self）：print（CustomEnvExtendEnvironmentreset）
　　3。安装与测试：
　　打开AnacondaPrompt（使用Anaconda安装深度强化学习请参照这里），切换目录到一级目录customgym，就是包含setup。py这个文件夹。然后运行：pipinstalle。
　　注意那个小点不能省。
　　接下来就可以愉快的测试了。importgymimportcustomgymenvgym。make（customenvv0）env。step（）env。reset（）env2gym。make（customenvextendv0）env2。step（）env2。reset（）
　　参考：https：www。datahubbs。combuildingcustomgymenvironmentsforrl