一、前言

在強化學習系列（四）：動態規劃中，我們介紹了採用DP (動態規劃）方法求解environment model 已知的MDP（馬爾科夫決策過程），那麼當environment model資訊不全的時候，我們會採用什麼樣的方法求解呢？蒙特卡洛方法（Monte Carlo)、時間差分（Temporal Difference，TD)、n-step Bootstrapping 都可以用來求解無模型的強化學習問題，本章主要介紹蒙特卡洛方法（Monte Carlo)。

在解決實際問題中，我們通常不太容易獲得環境的準確模型，例如打牌的時候，不知道對手會出什麼牌，這樣各個state間的轉移概率就不太容易直接表示。相對而言，獲得取樣資料通常比較容易實現，比如打牌，可以打好多次牌，然後逐漸就可以估計對手的出牌風格。根據統計數學的思想，我們可以通過不斷取樣然後求平均的方式實現對環境模型的學習。這種近似方式我們稱為經驗方式。

Monte Carlo正是這樣一種用經驗來估計環境模型的方法，可以在環境模型未知的情況下，根據經驗（experience，從環境中獲取的一系列的state、action、reward取樣) 來進行學習。為了方便使用Monte Carlo，本章假設所需解決的強化學習問題都是episode的，即存在一個終止狀態（terminal state），使得每次對環境的取樣以有限步結束。

這裡將第四章中的GPI（general policy iteration) 思想用於Monte Carlo，將問題分為 prediction 和 control來進行討論。

二、Monte Carlo Prediction

2.1 Prediction 問題

預測問題：給定一個策略 π$\pi$，求解 state-value function vπ(s)$v_{\pi }(s)$

回想一下，我們在第二章中提到的多臂老虎機問題，假設給定一個策略 π$\pi$，對任意state，每次搖動拉桿都按照策略π$\pi$選擇action。需要估計state-value function vπ(s)$v_{\pi }(s)$。老虎機每次搖動拉桿獲得的資料是S,A,R$S,A,R$，僅包含一個state 和 一個 action。要估計某一特定state s 的value function 可以根據統計多次取樣中出現state s的數目N(s)$N(s)$，然後求多次實驗獲得的reward的平均值來估計。求解過程如下：

Average Reward

To evaluate state s
when state s is visited in an episode
increment counter N(s)←N(s)+1$N(s)\leftarrow N(s)+1$
increment total reward S(s)←S(s)+R$S(s)\leftarrow S(s)+R$
Value is estimated by mean reward V(s)=S(s)/N(s)$V(s)=S(s)/N(s)$
By law of large numbers, V(s)→vπ(s)$V(s)\to v_{\pi }(s)$ as N(s)→∞$N(s)\to \mathrm{\infty }$

而很多問題遠比老虎機問題複雜，因為每次取樣所獲得的取樣資料是一系列的state、action、reward，如 S0,A0,R1,...,ST−1,AT−1,RT$S_0,A_0,R_1,...,S_{T-1},A_{T-1},R_T$, 狀態和動作序列間存在聯絡，不能單獨將state s所獲得的reward 單獨剝離出來求平均值，因此Monte Carlo考慮了根據state s 出現後的return（reward 之和）來進行策略估計。但一組取樣中 state s 可能多次出現，那麼計算哪一次出現 state s到terminal state 的return呢？這裡衍生出兩種Monte Carlo：first-visit MC 和 every-visit MC。兩個方法的求解過程分別如下：

First-Visit MC policy evaluation (Average Return)

To evaluate state s
The first time-step t$t$ that state s is visited in an episode,
increment counter N(s)←N(s)+1$N(s)\leftarrow N(s)+1$
increment total return S(s)←S(s)+Gt$S(s)\leftarrow S(s)+G_t$
(where Gt=Rt+1+γRt+2+...+γT−1RT$G_t=R_{t+1}+\gamma R_{t+2}+...+{\gamma }^{T-1}{R}_T$)
Value is estimated by mean reward V(s)=S(s)/N(s)$V(s)=S(s)/N(s)$
By law of large numbers, V(s)→vπ(s)$V(s)\to v_{\pi }(s)$ as N(s)→∞$N(s)\to \mathrm{\infty }$

Every-Visit MC policy evaluation (Average Return)

To evaluate state s
Every time-step t$t$ that state s is visited in an episode,
increment counter N(s)←N(s)+1$N(s)\leftarrow N(s)+1$
increment total return S(s)←S(s)+Gt$S(s)\leftarrow S(s)+G_t$
(where Gt=Rt+1+γRt+2+...+γT−1RT$G_t=R_{t+1}+\gamma R_{t+2}+...+{\gamma }^{T-1}{R}_T$)
Value is estimated by mean reward V(s)=S(s

相關推薦

強化學習系列（五）：蒙特卡羅方法（Monte Carlo)

一、前言 在強化學習系列（四）：動態規劃中，我們介紹了採用DP (動態規劃）方法求解environment model 已知的MDP（馬爾科夫決策過程），那麼當environment model資訊不全的時候，我們會採用什麼樣的方法求解呢？蒙特卡洛方法（Mon

Spring Boot快速入門（五）：使用MyBatis（註解形式）進行數據庫操作

訪問 ins name ont clas assert xxx main apach 原文地址：https://lierabbit.cn/articles/7 添加依賴 新建項目選擇web,MyBatis,MySQL三個依賴 對於已存在的項目可以在bulid.gradle

網路基本功（五）：細說路由（下） 網路基本功（五）：細說路由（下）

網路基本功（五）：細說路由（下）   轉載請在文首保留原文出處：EMC中文支援論壇https://community.emc.com/go/chinese      介紹  

資料結構實現（五）：連結串列（C++版）

資料結構實現（五）：連結串列（C++版） 1. 概念及基本框架 2. 基本操作程式實現 2.1 增加操作 2.2 刪除操作 2.3 修改操作 2.4 查詢操作 2.5 其他操作 3. 演算法複雜度分析

瀏覽器工作原理（五）：CSS解析（CSS parsing）

還記得簡介中提到的解析的概念嗎，不同於html，css屬於上下文無關文法，可以用前面所描述的解析器來解析。Css規範定義了css的詞法及語法文法。 看一些例子： 每個符號都由正則表示式定義了詞法文法（詞彙表）： comment///*[^*]*/*+([^/*][^*]*

Spring Boot快速入門（五）：使用MyBatis（註解形式）進行資料庫操作

新增依賴 新建專案選擇web,MyBatis,MySQL三個依賴 對於已存在的專案可以在bulid.gradle加入，spring boot將會幫你自動配置好 compile('org.springframework.boot:spring-boot-sta

Python+NLTK自然語言處理學習（二）：常用方法（similar、common_contexts、generate）

一、similar 用來識別文章中和搜尋詞相似的詞語，可以用在搜尋引擎中的相關度識別功能中。 text1.similar("monstrous") 查詢出了text1中與monstrous相關的所有詞語： 二、common_contexts 用來識別2個

Kubernetes筆記（五）：瞭解Pod（容器組）

Kubernetes 中， 容器總是以 Pod（容器組）的方式進行排程與執行。因此對 Pod 的理解與掌握是學習 Kubernetes 的基礎。 ## 理解 Pod Pod（容器組）是 Kubernetes 中最小的排程單元，每一個Pod都是某個應用程式的一個執行例項。以前我們的 Web 應用都是以 To

機器學習與深度學習系列連載： 第一部分 機器學習（五） 生成概率模型（Generative Model）

生成概率模型（Generative Model） 1.概率分佈 我們還是從分類問題說起： 當我們把問題問題看做是一個迴歸問題， 分類是class 1 的時候結果是1 分類為class 2的時候結果是-1； 測試的時候，結果接近1的是class1

pandas系列學習（五）：資料連線

作者：chen_h 微訊號 & QQ：862251340 微信公眾號：coderpai 利用 Python 處理任何實際的資料時，你就需要將 pandas DataFrame 合併或者連結在一起來分析資料集，但是這個過程還是非常花費時間的，

各種音視訊編解碼學習詳解之 編解碼學習筆記（五）：Mpeg系列——AAC音訊

     最近在研究音視訊編解碼這一塊兒，看到@bitbit大神寫的【各種音視訊編解碼學習詳解】這篇文章，非常感謝，佩服的五體投地。奈何大神這邊文章太長，在這裡我把它分解成很多小的篇幅，方便閱讀。大神部落格傳送門：https://www.cnblogs.com/skyo

機器學習實戰系列（五）：SVM支援向量機

課程的所有資料和程式碼在我的Github：Machine learning in Action，目前剛開始做，有不對的歡迎指正，也歡迎大家star。除了 版本差異，程式碼裡的部分函式以及程式碼正規化也和原書不一樣（因為作者的程式碼實在讓人看的彆扭，我改過後看起來舒服多了）

深度學習系列（五）：一個簡單深度學習工具箱

本節主要介紹一個深度學習的matlab版工具箱， 該工具箱中的程式碼很簡單，感覺比較適合用來學習演算法。裡面有常見的網路結構，包括深度網路(NN),稀疏自編碼網路(SAE),CAE,深度信念網路(DBN)(基於玻爾茲曼RBM實現)，卷積神經網路(CNN

TensorFlow學習系列（五）：如何使用佇列和多執行緒優化輸入管道

這篇教程是翻譯Morgan寫的TensorFlow教程，作者已經授權翻譯，這是原文。 目錄 TensorFlow 1.0版本已經出來了，隨著這次更新，一些不錯的指導建議出現在官網上面。其中一個我比較關心的是 f

周志華《機器學習》課後習題解答系列（五）：Ch4

本章概要 本章講述決策樹（decision tree），相關內容包括： 決策樹生成（construction） 子決策（sub-decision）、遞迴生成演算法（basic algorithm）、最優劃分屬性、純度（purity）、

javascript學習筆記（五）：異常捕獲和事件處理

log 類型 按鈕 輸入 button lan yellow logs 代碼 異常捕獲 Try{ 　　發生異常的代碼塊 }catch(err){ 　　異常信息處理 } 1 <!DOCTYPE html> 2 <html> 3 <head

Unity3D之Mecanim動畫系統學習筆記（五）：Animator Controller

浮點 key 發現 菜單 融合 stat mon 好的 project 簡介 Animator Controller在Unity中是作為一種單獨的配置文件存在的文件類型，其後綴為controller，Animator Controller包含了以下幾種功能： 可以對

Scala入門系列（五）：面向對象之類

important ica back ember const 就會 out 不用 spa // 定義類，包含field以及method class HelloWorld { private var name = "Leo" def sayHello() { prin

回顧2017系列篇（五）：人工智能給UI/UX設計帶來的影響

如今，我們正處於設計新紀年的轉折點上，用機器人和人工智能方面的專家說法表達即“The end is near（終點近了）”。但這並不意味著世界末日，但未來機器人將毫無疑問地接管一部分目前被人類占領的工作。正如未來學家Thomas Frey在TED Talks演講中所預測，到2030年將會消失20億個工作

hadoop學習筆記（五）：HBase體系結構和數據模型

ems 服務器端 們的 code 修改 保存 重新 table lpad 1. HBase體系結構 一個完整分布式的HBase的組成示意圖如下，後面我們再詳細談其工作原理。 1)Client 包含訪問HBase的接口並維護cache來加快對HBase的訪問。 2）Zooke