深度强化学习中的状态值

Question

我正在学习深度强化学习。我在状态值方面有点困惑。是否可以在状态中使用动态值，还是我们必须使用离散值，并为每个值创建一个状态？