openai 健身房 env.P，AttributeError 'TimeLimit' 对象没有属性 'P'

Question

我目前正在阅读 Sudharsan Ravichandiran 的《Python 强化学习实践》，在我遇到这个 AttributeError 的第一个示例中：

AttributeError 'TimeLimit' object has no attribute 'P'

由以下行提出：

for next_sr in env.P[state][action]:

我找不到任何有关 

env.P

的文档，但我在这里找到了用 python2 编写的类似示例：https://gym.openai.com/evaluations/eval_48sirBRSRAapMjotYzjb6w/ 我想

env.P

是过时库的一部分（即使这本书是在 2018 年 6 月出版的，并且有罪的代码是 python3 中的），那么我该如何替换它呢？

Answer 1

env = env.unwrapped

Answer 2

for next_sr in env.env.P[state][action]:

注意开始时额外的“env”

对于一般用途，请尝试

>>> dir(class_name)

这将给出成员函数列表。

Answer 3

此 github 问题链接

中提出的解决方案对我有用。 正如github问题中所解释的，最新版本的gym中的监控已被包装器取代，因此监控不适用于最新的gym。要在最新版本的 Gym 中重新实现监控，请更改类似于以下内容的代码：

env.monitor.start('cartpole-hill/', force=True)

到

env = gym.wrappers.Monitor(env,directory='cartpole-hill/',force=True,write_upon_reset=True)

Answer 4

max_steps = args.max_timesteps or env.spec.max_episode_steps