使用 ReinforcementLearning.jl 时 DQN 的大型离散状态

Question

我正在使用 Julia 包 ReinforcementLearning.jl。我希望从 DQN 不需要枚举和修改整个状态空间这一事实中获益。所以，我的问题是如何描述离散环境的 state_space 而无需枚举状态。换句话说，假设状态由 N 个元素的数组表示，并且每个元素都可以采用 M 个可能的值，我想避免枚举 N^M 潜在状态，而代之以一些生成函数。

我通过使用 ReinforcementLearning.jl 针对操作和状态离散的环境实现了 DQN。为此，我在 state_space 定义中枚举了状态。它工作得很好，但是枚举使我无法获得 DQN 的计算优势。

Answer 1

你能展示一下你的状态和state_space定义的代码吗？