OS: Win10 x64
IDE: Visual Studio 2017 Community
Python: Anaconda3 (v5.0.0 python3.6 x64)

下面我們介紹下如何在Windows系統中使用OpenAI Gym，Linux系統中的用法可參考此文。我們從安裝開始。

安裝OpenAI Gym

在Windows下安裝OpenAI Gym目前來說並沒有官方教程。安裝方法也有多種，這裡僅介紹一種比較簡單的、輕量級的安裝方法。其它安裝可參考這篇帖子。

首先，找到Anaconda3的開始選單目錄，找到指令終端：Anaconda Prompt。

較老版本的Anaconda3這裡沒有這一項，無妨，可以去Anaconda3的安裝資料夾下去找。執行這個cmd.exe，切記以管理員身份執行

在指令終端輸入：

pip install gym

然後等待安裝完成即可。當然如果提示你沒有安裝pip，使用Anaconda Navigator安裝，切記管理員身份執行。

下面安裝一些OpenAI gym的模擬環境。

首先安裝遊戲模擬環境Atari，安裝方式也有多種，這裡介紹兩種要求比較少的。其它安裝方式也可參考這篇帖子。
方式一：在指令終端輸入：

pip install git+https://github.com/Kojoley/atari-py.git

然後等待結束即可，當前前提是你的計算機中有安裝 git 否則會失敗。
方式二：去這裡下載你的系統對應的whl檔案。然後回到指令終端輸入：

python -m pip install THE_NAME_OF_THE_FILE_YOU_JUST_DOWNLOADED.whl

注意替換你自己的路徑，這樣安裝不需要git也行。Atari環境可以說是最常用的了。

下面安裝Robotics模擬環境。注意Robotics環境需要MuJoCo物理引擎支援，而且MuJoCo還不是開源的。安裝的具體步驟如下：

Step 1: 去MuJoCo官網申請一個30天免費試用的證書（你要是有學校的郵箱就能申請到完全免費的非商用證書）。填寫一個能用的郵箱就行，然後下載一個id生成器（官網頁面上有連結，選擇你的作業系統），複製生成的ID到網頁上，最後提交。檢視郵箱，你很快就能收到。

Step 2: 下載作業系統對應的MuJoCo壓縮包並解壓縮，這裡介紹的是Windows系統下的使用方法，下載對應的Windows版本即可。下載地址在這裡 可以找到。

Step 3: 將郵件中的mjkey檔案複製到解壓縮後的bin資料夾中。下載的壓縮包中包含幾個例子，完成後為了檢驗是否能用，可以用下試試。當然是基於C++的例子，用法可以參考官方文件。

Step 4: 安裝mujoco-py （未完待續……）

Step 5: 安裝Robotics環境 （未完待續……）

其它環境的安裝可參考這裡。

一個簡單的例子

開啟Visual Studio 2017，新建一個Python應用程式，這裡取名為“HelloGym”，名字你可隨便取。注意Python環境選擇Anaconda3。

然後在Python檔案HelloGym.py（你找你自己的）中輸入程式碼：

import gym
env = gym.make('CartPole-v0')
env.reset()

for _ in range(1000):
    env.render()
    env.step(env.action_space.sample())

完成後執行，你可以看到一個簡單的倒立擺動畫，儘管很快就跑飛了，因為沒有控制演算法。這個例子僅僅是為了你檢測下Gym是否安裝成功。

好了你可以繼續玩了，具體玩法請參考官方手冊，Good Luck ！