David Silver強化學習系列部落格的內容整理自David Silver 強化學習的PPT和知乎葉強強化學習專欄。

1 Introduction

    前三節筆記中，通過動態規劃能夠解決環境已知的MDP問題，也就是已知<S,A,P,R,γ>$<S,A,P,R,\gamma >$，已知environment即已知轉移矩陣P$P$與reward函式R$R$。但是很多問題中environment是未知的，不清楚做出了某個action之後會變到哪一個state，也不知道這個action好還是不好，在這種情況下需要解決的prediction和control問題就是Model-free prediction和Model-free control。顯然這種新的問題只能從與environment的互動得到的experience中獲取資訊。
    這一章節筆記要解決的問題是Model-free prediction，即未知environment的Policy evaluation，在給定的policy下，求解每個state的value function是多少。

2 Monte-Carlo Learning

2.1 Monte-Carlo Reinforcement Learning

    蒙特卡羅強化學習 (Monte-Carlo reinforcement learning, MC 學習)： 指在不清楚 MDP 狀態轉移概率和即時獎勵的情況下，直接從經歷完整的狀態序列 (episode) 來估計狀態的真實價值，通常情況下某狀態的價值等於在多個episode中以該狀態算得到的所有收穫的平均。
    完整的狀態序列 (complete episode)：指從某一個狀態開始，agent與環境互動直到終止狀態，環境給出終止狀態的獎勵為止。完整的狀態序列不要求起始狀態一定是某一個特定的狀態，但是要求個體最終進入環境認可的某一個終止狀態。
    比如，現評估某狀態

s$s$的價值函式。我們取樣了兩個episode，從一個episode裡面得到的回報是5，然後下一個episode裡面的得到的回報是7，我們可以從起始狀態來評估此狀態的價值函式=（5+7）/2=6。
    注：收穫不是針對Episode的，它存在於Episode內，針對於Episode中某一個狀態。從這個狀態開始經歷完Episode時得到的有衰減的即時獎勵的總和。從一個Episode中，我們可以得到該Episode內所有狀態的收穫。當一個狀態在Episode內出現多次，該狀態的收穫有不同的計算方法，下文會講到。
    蒙特卡羅強化學習有如下特點：不依賴狀態轉移概率，直接從經歷過的完整的狀態序列中學習，使用的思想就是用平均收穫值代替狀態價值。理論上完整的狀態序列越多，結果越準確。

2.2 Monte-Carlo Policy Evaluation

    我們可以使用蒙特卡羅強化學習來評估一個給定的策略。基於特定策略π$\pi$的一個 Episode資訊可以表示為如下的一個序列：S1,A1,R2,S2,A2,...,St,At,Rt+1,...,Sk∼π$S_1,A_1,R_2,S_2,A_2,...,S_t,A_t,R_{t+1},...,S_k\sim \pi$
    其中，Rt+1$R_{t+1}$表示agent在狀態St$S_t$執行一個行為At$A_t$後，離開該狀態獲得的即時獎勵。很多時候，即時獎勵只出現在Episode結束狀態時，但不能否認在中間狀態也可能有即時獎勵。
    t$t$時刻狀態St$S_t$的收穫可以表述為：Gt=Rt+1+γRt+2+...+γT−1RT$G_t=R_{t+1}+\gamma R_{t+2}+...+{\gamma }^{T-1}{R}_T$
    其中，T$T$為終止時刻。該策略下某一狀態s$s$的價值：vπ(s)=Eπ[Gt|St=s]≈∑i=tNGiN$v_{\pi }(s)=E_{\pi }[G_t|S_t=s]\approx \frac{\sum _{i=t}^N{G}_i}{N}$
    在Monte-Carlo policy evaluation中，價值函式的取值從期望簡化成了均值。當N$N$逼近∞$\infty$時，我們可以得到確切的函式期望值。

2.3 First-Visit Monte-Carlo Policy Evaluation

    不難發現，在蒙特卡羅演算法評估策略時要針對多個包含同一狀態的完整狀態序列求收穫繼而再取收穫的平均值。如果一個完整的狀態序列中某一需要計算的狀態出現在序列的多個位置，也就是說個體在與環境互動的過程中從某狀態出發後又一次或多次返回到該狀態。在這種情況下，根據收穫的定義，在一個狀態序列下，不同時刻的同一狀態其計算得到的收穫值是不一樣的。我們有兩種方法可以選擇，一是僅把狀態序列中第一次出現該狀態時的收穫值納入到收穫平均值的計算中；另一種是針對一個狀態序列中每次出現的該狀態，都計算對應的收穫值並納入到收穫平均值的計算中。兩種方法對應的蒙特卡羅評估分別稱為：首次訪問 (frst visit) 和每次訪問 (every visit) 蒙特卡羅評估。
    首次訪問蒙特卡羅評估： 給定一個策略，使用一系列完整Episode評估某一個狀態s時，對於每一個Episode，僅當該狀態第一次出現時列入計算。
    假設有n$n$個episode，評估狀態s$s$。對於第一個episode，查詢該episode中s$s$第一次出現的位置，如果該episode中存在狀態s$s$，則計數器N(s)$N(s)$加1，並計算此時該狀態的收穫值Gt$G_t$。對於第二個episode，也是如此…統計完n$n$個episode後，計算平均值。

2.4 Every-Visit Monte-Carlo Policy Evaluation

    每次訪問 (every visit) 蒙特卡羅評估：在給定一個策略，使用一系列完整Episode評估某一個狀態s$s$時，對於每一個Episode，計算s$s$的每一次出現的平均值。

    
    在本演算法中，不論是首次訪問還是每次訪問，都需要記錄兩個值：
    狀態s被訪問到的次數N(s)，每次訪問時return之和S(s)；遍歷完所有的episode之後，得到狀態s的價值函式V(s)。
    其中，首次訪問是在一個episode中只記錄第一次訪問到的s；每次訪問是在一個episode中每次訪問到s都記錄下來。

2.5 Incremental Mean

    在使用蒙特卡洛方法求解平均收穫時，需要計算平均值。通常計算平均值要預先儲存所有的資料，最後使用總和除以此次數。這裡介紹了一種更簡單實用的方法，使得在計算平均收穫時不需要儲存所有既往收穫，而是每得到一次收穫，就計算其平均收穫。

    累進更新平均值利用前一次的平均值和當前資料以及資料總個數來計算新的平均值。把這個方法應用於蒙特卡洛策略評估，就得到下面的蒙特卡洛累進更新。

3 Temporal-Difference Learning

    和蒙特卡洛學習一樣，它也從Episode學習，不需要了解模型本身；但是它可以學習不完整的Episode，通過合理的引導（bootstrapping），先估計某狀態在該狀態序列完整後可能得到的收穫，並在此基礎上利用前文所述的累進更新平均值的方法得到該狀態的價值，再通過不斷的取樣來持續更新這個價值。
    具體地說，在 TD 學習中，演算法在估計某一個狀態的收穫時，用的是離開該狀態的即時獎勵Rt+1$R_{t+1}$與下一時刻狀態St+1$S_{t+1}$的預估狀態價值乘以衰減係數 γ$\gamma$組成：
v(St)←v(St)+α(R

相關推薦

David Silver 強化學習Lecture4：Model-Free Prediction

    David Silver強化學習系列部落格的內容整理自David Silver 強化學習的PPT和知乎葉強強化學習專欄。 1 Introduction     前三節筆記中，通過動態規劃能夠解決環境已知的MDP問題，也就是已知<S,A,P,

David Silver 強化學習Lecture3：Dynamic Programming

    David Silver 強化學習系列部落格的內容整理自David Silver 強化學習的PPT和知乎葉強強化學習專欄。 1 Introduction 1.1 What is Dynamic Programming?     Dynami

David Silver強化學習Lecture1：強化學習簡介

優化 計算 rod 簡介 因此 roc 課件 布局 表示 課件：Lecture 1: Introduction to Reinforcement Learning 視頻：David Silver深度強化學習第1課 - 簡介 (中文字幕) 強化學習的特征 作為機器學習的

Lecture 4：Model Free Prediction -By David Silver

強化學習的精髓是解決無模型的問題。在無模型裡面，我們不知道環境是如何運作的，這對於大部分有趣的問題來說這很不現實，它是直接從經驗中學習，從agent和環境互動中學習。 我們梳理一下強化學習的研究思路。強化學習的互動過程可以用馬爾可夫決策過程來對其進行理解。在已知模型的情

David Silver強化學習公開課（一）：馬爾科夫決策過程

在強化學習中，馬爾科夫決策過程（Markov decision process, MDP）是對完全可觀測的環境進行描述的，也就是說觀測到的狀態內容完整地決定了決策的需要的特徵。幾乎所有的強化學習問題都可以轉化為MDP。本講是理解強化學習問題的理論基礎。 馬爾科夫過程 M

David Silver強化學習公開課（四）：不基於模型的預測

簡介 Introduction 通過先前的講解，我們明白瞭如何從理論上解決一個已知的MDP：通過動態規劃來評估一個給定的策略，並且得到最優價值函式，根據最優價值函式來確定最優策略；也可以直接進行不基於任何策略的狀態價值迭代得到最優價值函式和最優策略。 從本講開始將花連續兩

David Silver強化學習課程筆記（五）

第五課：模型無關的控制         本文主要介紹模型無關的控制，包括同策略方法（On-Policy，也譯作“在策略”）和異策略（Off-Policy，也譯作“離策略”）方法，由於是模型無關，因此本文聊的是學習（learning），而不是規劃（planning）。   

David Silver強化學習課程筆記（三）

第三課：動態規劃        課程標題本來是“Planning by Dynamic Programming”，應該翻譯為”利用動態規劃方法進行規劃“，但是感覺有點長，所以就使用”動態規劃“作為標題，大家理解就好......        先說下這節課講的主要內容，主要有：

David Silver強化學習課程筆記（一）

        大家好，我是微念。         國慶這些天大致學習了一下David Silver的強化學習課程，感覺挺受用的，大家可以去百度雲盤（無字幕版本）下載視訊，或者去B站搜尋觀看（有字幕版本），課程課件下載地址為David Silver課程課件。       

David Silver強化學習課程筆記（八）（下）

第八課（下）：基於Simulation的搜尋方法         在《第八課（上）：學習與規劃的結合》中，我們講到了Model-Based RL方法，在該方法中，我們首先擬合得到一個模型，然後可以利用各種規劃方法進行規劃，或者，可以引申出Sample-Based Plann

【強化學習RL】model-free的prediction和control — MC, TD(λ), SARSA, Q-learning等

本系列強化學習內容來源自對David Silver課程的學習 課程連結http://www0.cs.ucl.ac.uk/staff/D.Silver/web/Teaching.html 　　本文介紹了在model-free情況下（即不知道回報Rs和狀態轉移矩陣Pss'），如何進行prediction，即預測當

強化學習三：Dynamic Programming

1，Introduction 1.1 What is Dynamic Programming?     Dynamic：某個問題是由序列化狀態組成，狀態step-by-step的改變，從而可以step-by-step的來解這個問題。   &nbs

強化學習(五)：Sarsa演算法與Q-Learning演算法

上一節主要講了Monte-Carlo learning，TD learning，TD(λ)。這三個方法都是為了在給定策略下來估計價值函式V(s)。只不過Monte-Carlo learning需要得到一個完整的episode才能進行一次v值更新，而TD lear

深度強化學習入門：用TensorFlow構建你的第一個遊戲AI

本文通過一種簡單的 Catch 遊戲介紹了深度強化學習的基本原理，並給出了完整的以 Keras 為前端的 TensorFlow 程式碼實現，是入門深度強化學習的不錯選擇。 去年，DeepMind 的 AlphaGo 以 4-1 的比分打敗了世界圍棋冠軍李世乭。超過 2 億的觀眾就這樣看著強化學習（r

[Reinforcement Learning] Model-Free Prediction

上篇文章介紹了 Model-based 的通用方法——動態規劃，本文內容介紹 Model-Free 情況下 Prediction 問題，即 "Estimate the value function of an unknown MDP"。 Model-based：MDP已知，即轉移矩陣和獎賞

強化學習(David Silver)4：免模型學習

叠代 ack 方差 自舉 組合 a* 最小二乘 求和 效率 0、為什麽免模型學習？ PS：課程中叠代的值是值函數；周誌華老師的西瓜書中叠代的是狀態值函數；課程中叠代的是狀態-動作值函數 1、蒙特卡洛方法：直接通過采樣求和（v(s) = S(s)/n(s)，其中S(s) =

強化學習(David Silver)4：免模型控制

sil 對比 rsa isod 頻率 模型 找到 使用 采樣 1、一般的策略叠代優化的方法 1)策略評估 2)策略改善 2、model free的策略叠代優化的方法 基於v(s)的優化需要MDP，基於Q的優化不需要，所以策略是 1)使用Q函數策略評估 2)使用厄普西隆貪心策

強化學習(David Silver)6：值函數近似

最優解 學習 前向算法 數據 計算 action 算法 什麽 化學 0、為什麽有值函數近似 狀態空間太大，基於DP/MC/TD的方法的離散值太多，存儲量太大，運行太慢 1、值函數近似有兩種方法 一個是狀態值函數方法；一個是狀態動作值方法 2、值函數近似的三種類型 類型1：輸

強化學習(David Silver)2：MDP(馬爾科夫決策過程)

war 觀察 turn 解法 求解 有關 馬爾科夫 函數 使用 1、MP(馬爾科夫過程) 1.1、MDP介紹 1）MDP形式化地強化學習中的環境(此時假設環境完全可以觀察) 2) 幾乎所有強化學習問題都可以形式化為MDP(部分可觀察的環境也可以轉化為MDP????) 1.2

強化學習(David Silver)3：動態規劃

哈哈 avi 過程 來源 con 隨機 選擇 進行 解決 1、簡介 1.1、動態規劃 動態規劃的性質:最優子結構；無後向性 動態規劃假定MDP所有信息已知，解決的是planning問題，不是RL問題 1.2、兩類問題 預測問題：給定策略，給出MDP/MRP和策略，計算策略值