具有离散值和框值的 OpenAI Gym 观察空间

Question

我正在尝试为 OpenAi Gym 创建自定义环境。

我的观察空间将具有如下一些值：

• 读数：10x -1 至 1 连续
• 计数：0到1000离散
• 开/关：0或1离散

从文档看来，我可以创建一个具有一些低值和高值或离散值或元组的盒子。

那么如果我用这 12 个东西（10 个连续的，2 个离散的）创建一个 Box 并将其定义为 float32 这仍然有效吗？或者有更好的方法吗？

我尝试将其定义为 Dict 空间，但看起来这仅适用于 GoalEnv 并且具有一组非常特定的键。

Answer 1

现在（04/2024）您可以创建 Dict 空间，其中可以包含不同类型步速的组合，就像您在 2020 年所请求的那样。

体育馆文档。

代码示例：

# gymnasium is the evolution of gym
# pip install gymnasium

import gymnasium as gym 

observation_space = gym.spaces.Dict({
    "readings": gym.spaces.Box(-1, 1, shape=(1,), dtype=np.float32),
    "count": gym.spaces.Discrete(1000, start=1),
    "on": gym.spaces.Discrete(1),  # Starts at 0 by default.
})