ValueError：在 Python OpenAI Gym 中设置带有序列的数组元素

Question

我正在致力于使用 OpenAI Gym 的 MountainCar-v0 环境实现 Q 学习算法。但是，我遇到以下错误：

discrete_state = (state - env.observation_space.low) / discrete_os_win_size

ValueError：用序列设置数组元素。请求的数组在 1 维之后具有不均匀的形状。检测到的形状为 (2,) + 不均匀部分。

我不知道如何解决这个问题。有人可以帮助我了解导致此错误的原因以及如何修复它吗？

代码：

import gym
import numpy as np
env = gym.make("MountainCar-v0", render_mode='human')
env.reset()

LEARNING_RATE = 0.1
DISCOUNT = 0.95
EPISODES = 25000
SHOW_EVERY = 2000
DISCRETE_OS_SIZE = [20] * len(env.observation_space.high)
discrete_os_win_size = (env.observation_space.high - env.observation_space.low) / np.array(DISCRETE_OS_SIZE)
q_table = np.random.uniform(low=-2, high=0, size=(DISCRETE_OS_SIZE + [env.action_space.n]))

def get_discrete_state(state):
    print('this is the state:', state)
    discrete_state = (state - env.observation_space.low) / discrete_os_win_size
    return tuple(discrete_state.astype(np.int))

for episode in range(EPISODES):
    if episode % SHOW_EVERY == 0:
        print(episode)
        render = True
    else:
        render = False

    discrete_state = get_discrete_state(env.reset())

    done = False
    while not done:
        action = np.argmax(q_table[discrete_state])

        new_state, reward, done, _ = env.step(action)[:4]

        new_discrete_state = get_discrete_state(new_state)

        if render:
            env.render()

        if not done:
            max_future_q = np.max(q_table[new_discrete_state])
            current_q = q_table[discrete_state][action]
            new_q = (1 - LEARNING_RATE) * current_q + LEARNING_RATE * (reward + DISCOUNT * max_future_q)
            q_table[discrete_state][action] = new_q
        elif new_state[0] >= env.goal_position:
            q_table[discrete_state][action] = 0 
        discrete_state = new_discrete_state

env.close()

Answer 1

我遇到了同样的错误

Setting an array element with a sequence ...

在我的例子中，当使用

gym

和以下代码时：

gym.spaces.flatten(self.observation_space,state).reshape(1,-1)

gym.spaces.flatten(self.observation_space,state).reshape(1,-1),reward,done,info

问题可能是因为新版本的

gym==0.26.1

提供了比预期更多的输出，这导致更多的参数被传递给

numpy

。我升级环境后，安装了新版本的

gym==0.26.1

，就出现了这个问题。在此之前，我使用

gym==0.18.0

并没有遇到任何错误。

以下是我的解决方案：

(1) 将

gym

降级到兼容的旧版本，例如在我的例子中 0.18.0，使用

pip install gym==0.18.0

或另一种解决方案：

(2) 使用新版本

gym==0.26.1

（或更高版本）时修改代码。例如，在您的情况下，以下代码可能会有所帮助：

s, _ = env.reset()
discrete_state = get_discrete_state(s)

new_state, reward, done, _, _ = env.step(action)[:4]

请参阅健身房API网站

https://www.gymlibrary.dev/api/core/

了解更多关于新健身房版本变化的详细信息。

最好