在OpenAI健身房的classic_control环境中无法更改模型参数

Question

我正在使用CartPole-v1环境，正在尝试更改一些模型参数（例如force_mag），以测试带有模型变化的算法的稳健性。我正在尝试使用以下代码：

env = gym.make('myCartPole-v1) 
env.force_mag = -10.0 # nominal is +10.0

但是在用我学到的策略测试模型行为时，我看不到模型行为有任何变化（应该会失败/会恶化，但不会）。更改其他参数（例如，质量，长度...）。我想念什么吗？对模型进行局部更改的最佳方法是什么？

Answer 1

通过创建环境实例并调用env.unwrapped解决了问题。示例中的代码应类似于：env = gym.make('myCartPole-v1).unwrapped