马尔可夫强化学习的拟合值迭代算法

Question

在Andrew Ng的拟合值迭代算法中，我给出了如下的详细步骤，它将尝试在步骤3中找到一个状态s（i）的最佳动作。当代理在s（i）中时，我们执行可能的行动a（1）我们过渡到s（i）'。

我的问题是我们如何能够再次回到s（i）并执行第二个可能的动作a（2）？假设，我们使用这种算法来控制直升机，我想我们不能轻易地恢复状态。

Algorithm

1. Randomly sample m states s(1), s(2), . . . s(m) ∈ S.
2. Initialize θ := 0.
3. Repeat {
    For i = 1, . . . , m {
        For each action a ∈ A {
            Sample s′ 1, . . . , s′ k ∼ Ps(i)a (using a model of the MDP).
            Set q(a) = k1 Pk j=1 R(s(i)) + γV (s′ j)
            // Hence, q(a) is an estimate of R(s(i))+γEs′∼P
            s(i)a[V (s′)].
        }
        Set y(i) = maxa q(a).
        // Hence, y(i) is an estimate of R(s(i))+γ maxa Es′∼P
        s(i)a[V (s′)].
   }
   // In the original value iteration algorithm (over discrete states)
   // we updated the value function according to V (s(i)) := y(i).
   // In this algorithm, we want V (s(i)) ≈ y(i), which we’ll achieve
   // using supervised learning (linear regression).
   Set θ := arg minθ 1 2 Pm i=1 θT φ(s(i)) − y(i)2
}

Answer 1

请注意，您在4.2.2节中描述的算法是“父”部分4.2的一部分。值函数逼近。第一部分是4.2.1使用模型或模拟。

在第一部分中，我们可以阅读：

为了开发一个值函数逼近算法，我们假设我们有一个MDP模型或模拟器。非正式地，模拟器是一个黑盒子，它将任何（连续值）状态s_t和动作a_t作为输入，并输出根据状态转移概率s_{t+1}采样的下一状态P_{s_t, a_t}。

因此，算法假设您可以使用de model / simulator来模拟您将所有可能的操作应用于同一状态。正如您所注意到的，如果您拥有真实的环境（即，不是模型或模拟器），如直升机，则无法将多个动作应用于同一状态，因为在应用动作后，状态会发生变化。