[Reinforcement Learning] 馬爾可夫決策過程
在介紹馬爾可夫決策過程之前，我們先介紹下情節性任務和連續性任務以及馬爾可夫性。
情節性任務 vs. 連續任務
- 情節性任務（Episodic Tasks），所有的任務可以被可以分解成一系列情節，可以看作為有限步驟的任務。
- 連續任務（Continuing Tasks），所有的任務不能分解，可以看作為無限步驟任務。
馬爾可夫性
引用維基百科對馬爾可夫性的定義：
馬爾可夫性：當一個隨機過程在給定現在狀態及所有過去狀態情況下，其未來狀態的條件概率分佈僅依賴於當前狀態。
用數學形式表示如下：
A state \(S_t\) is Markov if and only if\[P[S_{t+1}|S_t] = P[S_{t+1}|S_1, ..., S_t]\]
馬爾可夫過程
馬爾可夫過程即為具有馬爾可夫性的過程，即過程的條件概率僅僅與系統的當前狀態相關，而與它的過去歷史或未來狀態都是獨立、不相關的。
馬爾可夫獎賞過程
馬爾可夫獎賞過程（Markov Reward Process，MRP）是帶有獎賞值的馬爾可夫過程，其可以用一個四元組表示 \(<S, P, R, \gamma>\) 。
- \(S\) 為有限的狀態集合；
- \(P\) 為狀態轉移矩陣， \(P_{ss^{'}} = P[S_{t+1} = s^{'}|S_t = s]\) ；
- \(R\) 是獎賞函式；
- \(\gamma\) 為折扣因子（discount factor），其中 \(\gamma \in [0, 1]\)
獎賞函式
在 \(t\) 時刻的獎賞值 \(G_t\) ：
\[G_t = R_{t+1} + \gamma R_{t+2} + ... = \sum_{k=0}^{\infty}\gamma^{k}R_{t+k+1}\]
Why Discount
關於Return的計算為什麼需要 \(\gamma\) 折扣係數。David Silver 給出了下面幾條的解釋：
- 數學表達的方便
- 避免陷入無限迴圈
- 遠期利益具有一定的不確定性
- 在金融學上，立即的回報相對於延遲的回報能夠獲得更多的利益
- 符合人類更看重眼前利益的特點
價值函式
狀態 \(s\) 的長期價值函式表示為：
\[v(s) = E[G_t | S_t = s] \]
Bellman Equation for MRPs
\[ \begin{align} v(s) &= E[G_t|S_t=s]\\ &= E[R_{t+1} + \gamma R_{t+2} + ... | S_t = s]\\ &= E[R_{t+1} + \gamma (R_{t+2} + \gamma R_{t+3} ... ) | S_t = s]\\ &= E[R_{t+1} + \gamma G_{t+1} | S_t = s]\\ &= E[R_{t+1} + \gamma v(s_{t+1}) | S_t = s] \end{align} \]
下圖為MRP的 backup tree 示意圖：
注：backup tree 中的白色圓圈代表狀態，黑色圓點對應動作。
根據上圖可以進一步得到：
\[v(s) = R_s + \gamma \sum_{s' \in S}P_{ss'}v(s')\]
馬爾可夫決策過程
馬爾可夫決策過程（Markov Decision Process，MDP）是帶有決策的MRP，其可以由一個五元組構成 \(<S, A, P, R, \gamma>\) 。
- \(S\) 為有限的狀態集合；
- \(A\) 為有限的動作集合；
- \(P\) 為狀態轉移矩陣， \(P_{ss^{'}}^{a} = P[S_{t+1} = s^{'}|S_t = s,A_t=a]\) ；
- \(R\) 是獎賞函式；
- \(\gamma\) 為折扣因子（discount factor），其中 \(\gamma \in [0, 1]\)
我們討論的MDP一般指有限（離散）馬爾可夫決策過程。
策略
策略（Policy）是給定狀態下的動作概率分佈，即：
\[\pi(a|s) = P[A_t = a|S_t = a]\]
狀態價值函式 & 最優狀態價值函式
給定策略 \(\pi\) 下狀態 \(s\) 的狀態價值函式（State-Value Function） \(v_{\pi}(s)\) ：
\[v_{\pi}(s) = E_{\pi}[G_t|S_t = s]\]
狀態 \(s\) 的最優狀態價值函式（The Optimal State-Value Function） \(v_{*}(s)\) ：
\[v_{*}(s) = \max_{\pi}v_{\pi}(s)\]
動作價值函式 & 最優動作價值函式
給定策略 \(\pi\) ，狀態 \(s\) ，採取動作 \(a\) 的動作價值函式（Action-Value Function） \(q_{\pi}(s, a)\) ：
\[q_{\pi}(s, a) = E_{\pi}[G_t|S_t = s, A_t = a]\]
狀態 \(s\) 下采取動作 \(a\) 的最優動作價值函式（The Optimal Action-Value Function） \(q_{*}(s, a)\) ：
\[q_{*}(s, a) = \max_{\pi}q_{\pi}(s, a)\]
最優策略
如果策略 \(\pi\) 優於策略 \(\pi^{'}\) ：
\[\pi \ge \pi^{'} \text{ if } v_{\pi}(s) \ge v_{\pi^{'}}(s), \forall{s}\]
最優策略 \(v_{*}\) 滿足：
- \(v_{*} \ge \pi, \forall{\pi}\)
- \(v_{\pi_{*}}(s) = v_{*}(s)\)
- \(q_{\pi_{*}}(s, a) = q_{*}(s, a)\)
如何找到最優策略？
可以通過最大化 \(q_{*}(s, a)\) 來找到最優策略：
\[ v_{*}(a|s) = \begin{cases} & 1 \text{ if } a=\arg\max_{a \in A}q_{*}(s,a)\\ & 0 \text{ otherwise } \end{cases} \]
對於MDP而言總存在一個確定的最優策略，而且一旦我們獲得了 \(q_{*}(s,a)\) ，我們就能立即找到最優策略。
Bellman Expectation Equation for MDPs
我們先看下狀態價值函式 \(v^{\pi}\) 。
狀態 \(s\) 對應的 backup tree 如下圖所示：
根據上圖可得：
\[v_{\pi}(s) = \sum_{a \in A}\pi(a|s)q_{\pi}(s, a) \qquad (1)\]
再來看動作價值函式 \(q_{\pi}(s, a)\) 。
狀態 \(s\) ，動作 \(a\) 對應的 backup tree 如下圖所示：
因此可得：
\[q_{\pi}(s,a)=R_s^a + \gamma \sum_{s'\in S}P_{ss'}^a v_{\pi}(s') \qquad (2)\]
進一步細分 backup tree 再來看 \(v^{\pi}\) 與 \(q_{\pi}(s, a)\) 對應的表示形式。
細分狀態 \(s\) 對應的 backup tree 如下圖所示：
將式子(2)代入式子(1)可以進一步得到 \(v_{\pi}(s)\) 的貝爾曼期望方程：
\[v_{\pi}(s) = \sum_{a \in A} \pi(a | s) \Bigl( R_s^a + \gamma \sum_{s'\in S}P_{ss'}^a v_{\pi}(s') \Bigr) \qquad (3)\]
細分狀態 \(s\) ，動作 \(a\) 對應的 backup tree 如下圖所示：
將式子(1)代入式子(2)可以得到 \(q_{\pi}(s,a)\) 的貝爾曼期望方程：
\[q_{\pi}(s,a)=R_s^a + \gamma \sum_{s'\in S}P_{ss'}^a \Bigl(\sum_{a' \in A}\pi(a'|s')q_{\pi}(s', a') \Bigr) \qquad (4)\]
Bellman Optimality Equation for MDPs
同樣我們先看 \(v_{*}(s)\) ：
對應可以寫出公式：
\[v_{*}(s) = \max_{a}q_{*}(s, a) \qquad (5)\]
再來看 \(q_{*}(s, a)\) ：
對應公式為：
\[q_{*}(s, a) = R_s^a + \gamma \sum_{s'\in S}P_{ss'}^a v_{*}(s') \qquad (6)\]
同樣的套路獲取 \(v_{*}(s)\) 對應的 backup tree 以及貝爾曼最優方程：
貝爾曼最優方程：
\[v_{*}(s) = \max_{a} \Bigl( R_s^a + \gamma \sum_{s'\in S}P_{ss'}^a v_{*}(s') \Bigr) \qquad (7)\]
\(q_{*}(s, a)\) 對應的 backup tree 以及貝爾曼最優方程：
對應的貝爾曼最優方程：
\[R_s^a + \gamma \sum_{s'\in S}P_{ss'}^a\max_{a}q_{*}(s, a) \qquad (8)\]
貝爾曼最優方程特點
- 非線性（non-linear）
- 通常情況下沒有解析解（no closed form solution）
貝爾曼最優方程解法
- Value Iteration
- Policy Iteration
- Sarsa
- Q-Learning
MDPs的相關擴充套件問題
- 無限MDPs/連續MDPs
- 部分可觀測的MDPs
- Reward無折扣因子形式的MDPs/平均Reward形式的MDPs
Reference
[1] ofollow,noindex" target="_blank">維基百科-馬爾可夫性
[2] Reinforcement Learning: An Introduction, Richard S. Sutton and Andrew G. Barto, 2018