強化學習環境安裝
阿新 • • 發佈:2018-11-15
Gym是一個開發和比較強化學習演算法的工具包。它對代理的結構不做任何假設,並且與任何數值計算庫(如TensorFlow或Theano)相容。
1.安裝好Gym和ba``selines
2.這個任務是在[Dietterich2000]中介紹的,以說明分層強化學習中的一些問題。有4個地點(用不同的字母標註),你的工作是在一個地點接乘客,在另一個地點下車。如果你成功的停留了,你會得到+20分,並且在每次停留的時候你會損失1分。非法上下車的行為也會被扣10分。
import gym env = gym.make("Taxi-v2") observation = env.reset() for _ in range(1000): env.render() action = env.action_space.sample() # your agent here (this takes random actions) observation, reward, done, info = env.step(action) 1 2 3 4 5 6 7 1 2 3 4 5 6 7 +---------+ | R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+
+---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (Pickup) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (Dropoff) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (South) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (West) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (West) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (West) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (North) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (West) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (Dropoff) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (East) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (Pickup) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (South) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (South) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (Pickup) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B:_ |
+---------+ (East) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | :_ | |
Y | : | B: |
+---------+ (North) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B:_ |
+---------+ (South) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | :_ | |
Y | : | B: |
+---------+ (North) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | :_ | |
Y | : | B: |
+---------+ (Dropoff) +---------+ |
R: | : :G |
---|---|---|
: : : :_ | ||
: | : | |
Y | : | B: |
+---------+ (North) +---------+ |
R: | : :G |
---|---|---|
: : : :_ | ||
: | : | |
Y | : | B: |
+---------+ (Dropoff) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | :_ | |
Y | : | B: |
+---------+ (South) +---------+ |
R: | : :G |
---|---|---|
: : : :_ | ||
: | : | |
Y | : | B: |
+---------+ (North) +---------+ |
R: | : :G |
---|---|---|
: : : :_ | ||
: | : | |
Y | : | B: |
+---------+ (Pickup) +---------+ |
R: | : :G |
---|---|---|
: : :_: | ||
: | : | |
Y | : | B: |
+---------+ (West) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | _: | |
Y | : | B: |
+---------+ (South) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | _: | |
Y | : | B: |
+---------+ (West) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | _: | |
Y | : | B: |
+---------+ (Dropoff) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (South) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B:_ |
+---------+ (East) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (West) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (South) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | _: | |
Y | : | B: |
+---------+ (North) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | _: | |
Y | : | B: |
+---------+ (West) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | _: | |
Y | : | B: |
+---------+ (Dropoff) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | _: | |
Y | : | B: |
+---------+ (West) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | _: | |
Y | : | B: |
+---------+ (West) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (South) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | _: | |
Y | : | B: |
+---------+ (North) +---------+ |
R: | : :G |
---|---|---|
: : :_: | ||
: | : | |
Y | : | B: |
+---------+ (North) +---------+ |
R: | : :G | : : :_: | |
---|---|---|---|---|
: | : | |||
Y | : | B: |
+---------+ (North) +---------+ |
R: | : :G |
---|---|---|
: : :_: | ||
: | : | |
Y | : | B: |
+---------+ (South) +---------+ |
R: | : :G |
---|---|---|
: : : :_ | ||
: | : | |
Y | : | B: |
+---------+ (East) +---------+ |
R: | : :G |
---|---|---|
: : : :_ | ||
: | : | |
Y | : | B: |
+---------+ (Pickup) +---------+ |
R: | : :G |
---|---|---|
: : :_: | ||
: | : | |
Y | : | B: |
+---------+ (West) +---------+ |
R: | : :G |
---|---|---|
: :_: : | ||
: | : | |
Y | : | B: |
+---------+ (West) +---------+ |
R: | : :G |
---|---|---|
: : :_: | ||
: | : | |
Y | : | B: |
+---------+ (East) +---------+ |
R: | : :G |
---|---|---|
: : :_: | ||
: | : | |
Y | : | B: |
+---------+ (Pickup) +---------+ |
R: | : :G |
---|---|---|
: : : :_ | ||
: | : | |
Y | : | B: |
+---------+ (East) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | :_ | |
Y | : | B: |
+---------+ (South) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B:_ |
+---------+ (South) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B:_ |
+---------+ (Pickup) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B:_ |
+---------+ (Dropoff) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B:_ |
+---------+ (Dropoff) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B:_ |
+---------+ (South) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B:_ |
+---------+ (Pickup) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | :_ | |
Y | : | B: |
+---------+ (North) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | :_ | |
Y | : | B: |
+---------+ (Pickup) +---------+ |
R: | : :G |
---|---|---|
: : : :_ | ||
: | : | |
Y | : | B: |
+---------+ (North) +---------+ |
R: | : :G |
---|---|---|
: : : :_ | ||
: | : | |
Y | : | B: |
+---------+ (East) +---------+ |
R: | : :G |
---|---|---|
: : : :_ | ||
: | : | |
Y | : | B: |
+---------+ (East) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | :_ | |
Y | : | B: |
+---------+ (South) +---------+ |
R: | : :G |
---|---|---|
: : : :_ | ||
: | : | |
Y | : | B: |
+---------+ (North) +---------+ |
R: | : :G | : : : :_ | |
---|---|---|---|---|
: | : | |||
Y | : | B: |
+---------+ (North) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (North) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (North) +---------+ |
R: | :_:G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (West) +---------+ |
R: | _: :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (West) +---------+ |
R: | :_:G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (East) +---------+ |
R: | _: :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (West) +---------+ |
R: | : :G | : :_: : | |
---|---|---|---|---|
: | : | |||
Y | : | B: |
+---------+ (South) +---------+ |
R: | : :G | :_: : : | |
---|---|---|---|---|
: | : | |||
Y | : | B: |
+---------+ (West) +---------+ |
R: | : :G | :_: : : | |
---|---|---|---|---|
: | : | |||
Y | : | B: |
+---------+ (Dropoff) +---------+ |
R: | : :G | :_: : : | |
---|---|---|---|---|
: | : | |||
Y | : | B: |
+---------+ (Pickup) +---------+ |
R:_ | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (North) +---------+ |
R:_ | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (East) +---------+ |
R:_ | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (Pickup) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (West) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (Pickup) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (Pickup) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (Pickup) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (West) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (Pickup) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (Pickup) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (Pickup) +---------+ |
R: | : :G | _: : : : | |
---|---|---|---|---|
: | : | |||
Y | : | B: |
+---------+ (South) +---------+ |
R: | : :G | _: : : : | |
---|---|---|---|---|
: | : | |||
Y | : | B: |
+---------+ (Pickup) +---------+ |
R: | : :G | _: : : : | |
---|---|---|---|---|
: | : | |||
Y | : | B: |
+---------+ (West) +---------+ |
R: | : :G | :_: : : | |
---|---|---|---|---|
: | : | |||
Y | : | B: |
+---------+ (East) +---------+ |
R: | : :G | :_: : : | |
---|---|---|---|---|
: | : | |||
Y | : | B: |
+---------+ (Dropoff) +---------+ |
R: | : :G | :_: : : | |
---|---|---|---|---|
: | : | |||
Y | : | B: |
+---------+ (Dropoff) +---------+ |
R: | : :G | :_: : : | |
---|---|---|---|---|
: | : | |||
Y | : | B: |
+---------+ (Dropoff) +---------+ |
R: | : :G |
---|---|---|
:_: : : | ||
: | : | |
Y | : | B: |
+---------+ (South) +---------+ |
R: | : :G | :_: : : | |
---|---|---|---|---|
: | : | |||
Y | : | B: |
+---------+ (North) +---------+ |
R: | : :G | :_: : : | |
---|---|---|---|---|
: | : | |||
Y | : | B: |
+---------+ (Dropoff) +---------+ |
R:_ | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (North) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (West) +---------+ |
R: | : :G | _: : : : | |
---|---|---|---|---|
: | : | |||
Y | : | B: |
+---------+ (South) +---------+ |
R: | : :G | _: : : : | |
---|---|---|---|---|
: | : | |||
Y | : | B: |
+---------+ (Dropoff) +---------+ |
R: | : :G |
---|---|---|
_: : : : | ||
: | : | |
Y | : | B: |
+---------+ (South) +---------+ |
R: | : :G | _: : : : | |
---|---|---|---|---|
: | : | |||
Y | : | B: |
+---------+ (North) +---------+ |
R: | : :G | :_: : : | |
---|---|---|---|---|
: | : | |||
Y | : | B: |
+---------+ (East) +---------+ |
R: | : :G | :_: : : | |
---|---|---|---|---|
: | : | |||
Y | : | B: |
+---------+ (Pickup) +---------+ |
R: | : :G | : :_: : | |
---|---|---|---|---|
: | : | |||
Y | : | B: |
+---------+ (East) +---------+ |
R: | : :G |
---|---|---|
: :_: : | ||
: | : | |
Y | : | B: |
+---------+ (South) +---------+ |
R: | : :G |
---|---|---|
: :_: : | ||
: | : | |
Y | : | B: |
+---------+ (Dropoff) +---------+ |
R: | : :G |
---|---|---|
:_: : : | ||
: | : | |
Y | : | B: |
+---------+ (West) +---------+ |
R: | : :G |
---|---|---|
: :_: : | ||
: | : | |
Y | : | B: |
+---------+ (East) +---------+ |
R: | : :G |
---|---|---|
: : :_: | ||
: | : | |
Y | : | B: |
+---------+ (East) +---------+ |
R: | : :G |
---|---|---|
: : :_: | ||
: | : | |
Y | : | B: |
+---------+ (Dropoff) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | _: | |
Y | : | B: |
+---------+ (South) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | _: | |
Y | : | B: |
+---------+ (Dropoff) +---------+ |
R: | : :G |
---|---|---|
: : :_: | ||
: | : | |
Y | : | B: |
+---------+ (North) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | _: | |
Y | : | B: |
+---------+ (South) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | :_ | |
Y | : | B: |
+---------+ (East) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | :_ | |
Y | : | B: |
+---------+ (East) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | _: | |
Y | : | B: |
+---------+ (West) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | :_ | |
Y | : | B: |
+---------+ (East) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | _: | |
Y | : | B: |
+---------+ (West) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | :_ | |
Y | : | B: |
+---------+ (East) +---------+ |
R: | : :G |
---|---|---|
: : : :_ | ||
: | : | |
Y | : | B: |
+---------+ (North) +---------+ |
R: | : :G |
---|---|---|
: : : :_ | ||
: | : | |
Y | : | B: |
+---------+ (East) +---------+ |
R: | : :G |
---|---|---|
: : :_: | ||
: | : | |
Y | : | B: |
+---------+ (West) +---------+ |
R: | : :G |
---|---|---|
: :_: : | ||
: | : | |
Y | : | B: |
+---------+ (West) +---------+ |
R: | : :G |
---|---|---|
:_: : : | ||
: | : | |
Y | : | B: |
+---------+ (West) +---------+ |
R: | : :G |
---|---|---|
: :_: : | ||
: | : | |
Y | : | B: |
+---------+ (East) +---------+ |
R: | : :G |
---|---|---|
:_: : : | ||
: | : | |
Y | : | B: |
+---------+ (West) +---------+ |
R: | : :G |
---|---|---|
:_: : : | ||
: | : | |
Y | : | B: |
+---------+ (Pickup) +---------+ |
R: | : :G | :_: : : | |
---|---|---|---|---|
: | : | |||
Y | : | B: |
+---------+ (North) +---------+ |
R: | : :G | : :_: : | |
---|---|---|---|---|
: | : | |||
Y | : | B: |
+---------+ (East) +---------+ |
R: | : :G | :_: : : | |
---|---|---|---|---|
: | : | |||
Y | : | B: |
+---------+ (West) +---------+ |
R:_ | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (North) +---------+ |
R:_ | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (East) +---------+ |
R:_ | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (North) +---------+ |
R:_ | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (Pickup) +---------+ |
R:_ | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (East) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (West) +---------+ |
R: | : :G | _: : : : | |
---|---|---|---|---|
: | : | |||
Y | : | B: |
+---------+ (South) +---------+ |
R: | : :G | _: : : : | |
---|---|---|---|---|
: | : | |||
Y | : | B: |
+---------+ (West) +---------+ |
R: | : :G | :_: : : | |
---|---|---|---|---|
: | : | |||
Y | : | B: |
+---------+ (East) +---------+ |
R: | : :G | _: : : : | |
---|---|---|---|---|
: | : | |||
Y | : | B: |
+---------+ (West) +---------+ |
R: | : :G |
---|---|---|
_: : : : | ||
: | : | |
Y | : | B: |
+---------+ (South) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
_ | : | : |
Y | : | B: |
+---------+ (South) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (South) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (West) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (East) +---------+ |
R: | : :G |
---|---|---|
: : : : | ||
: | : | |
Y | : | B: |
+---------+ (West) +---------+ |
---|