此為《強化學習》第五章。

上一節中的動態規劃方法需要知道整個environment的資訊，但有的時候，我們只有經驗 (Experience) （比如一組取樣），而對environment沒有任何其他知識；或者我們有一個可以互動的黑盒，通過黑盒可以進行模擬得到experience，但具體黑盒內的概率模型也是不知道的（或者非常難以計算的）。這種情況下，動態規劃方法不再適用，蒙特卡洛方法 (Monte Carlo Method, MC) 成為了新的解決方案。

蒙特卡洛估計

假設我們已經得到了一批在策略

π $\pi$$\pi$下的取樣，我們想以此估計每個狀態的值函式$v_\pi(s)$。我們定義任一取樣中的任一時刻通過狀態$s$叫做對狀態$s$的一次訪問 (Visit) 。通常有兩種方法來估計$v_\pi(s)$。首次訪問方法 (First-Visit MC Method) 以每個取樣下第一次訪問狀態$s$時的回報的平均作為對$v_\pi(s)$的估計，每次訪問方法 (Every-Visit MC Method) 以每個取樣下每次訪問狀態$s$時的回報的平均作為對$v_\pi(s)$的估計。即

$$\begin{align*} & v_\pi(s)_{first-visit} = \frac{\sum_{exp} G_{exp,t}}{|G_{exp,t}|} (S_{exp,t} = s, S_{exp,k} \ne s, \forall k < t) \\ & v_\pi(s)_{every-visit} = \frac{\sum_{exp} G_{exp,t}}{|G_{exp,t}|} (S_{exp,t} = s) \end{align*}$$

注意到$G_t = R_{t+1} + G_{t+1}$，所以在遍歷時，需要從後向前遍歷求出回報$G_t$。First-Visit方法和Every-Visit方法非常類似，但在理論性質上略有不同。本章主要討論First-Visit方法，以下給出First-Visit蒙特卡洛估計方法的虛擬碼。

蒙特卡洛方法聽起來非常簡單，但也已經可以用來解決一些問題了，比如21點 (Blackjack) 。

蒙特卡洛方法對行為值函式的估計

如果我們已知狀態之間跳轉的概率模型，那麼上述的對狀態值函式的估計就足夠了，因為我們可以通過貪心演算法，得到確定性的策略（即$\pi(s)=a$）。但如果我們不知道狀態之間的概率模型，那麼我們就無法確定狀態$s$能跳轉到其他哪些狀態。此時，對行為值函式進行估計是一種可行的方法。

對行為值函式的估計和狀態值函式非常類似，它也是統計每次在狀態$s$選擇行為$a$得到回報的平均。類似地，它也可以分成首次訪問方法和每次訪問方法，表示式如下：

qπ(s,a)first−visit=∑expGexp,t+1|Gexp,t+1|(Sexp,t=s∩Aexp,t=a,Sexp,k≠s∪Aexp,k≠a,∀k<t)

相關推薦

《強化學習Sutton》讀書筆記（四）——蒙特卡洛方法（Monte Carlo Methods）

此為《強化學習》第五章。 上一節中的動態規劃方法需要知道整個environment的資訊，但有的時候，我們只有經驗 (Experience) （比如一組取樣），而對environment沒有任何其他知識；或者我們有一個可以互動的黑盒，通過黑盒可以進行模擬得到experience，但具體黑

強化學習（RLAI）讀書筆記第五章蒙特卡洛方法

第五章：蒙特卡洛方法 和前幾章講的不一樣，蒙特卡洛方法不需要對環境進行完全的建模，而只需要經驗，也就是實際或者模擬的與環境進行互動的整個樣本序列，包括狀態動作和反饋資訊。從實際互動中學習並不需要對環境建模，而從模擬互動中學習也只需要能夠產生相應的轉移樣本而不是完整的環境狀態轉移概率分佈。而且很多

強化學習（RLAI）讀書筆記第四章動態規劃

第四章：動態規劃 動態規劃是指一類在MDP下對環境有完全建模的計算最優策略的演算法。經典的DP演算法在強化學習中應用有限，不僅是因為需要對環境進行完全建模，而且還需要很多的計算資源。但是這個演算法在理論上依然很重要。實際上，書中後面章節的所有演算法都可以看成想要使用更少的計算資源而且不需要對環境

《強化學習Sutton》讀書筆記（七）——列表法的計劃與學習（Planning and Learning with Tabular Methods）

此為第八章 Planning and Learning with Tabular Methods 。 在上述章節中，我們已經看到了DP是基於模型 (Model-Based) 的，而MC和TD是模型無關的 (Model-Free) 。基於模型的方法中，Plann

《強化學習Sutton》讀書筆記（六）——n步Bootstrapping（n-step Bootstrapping）

此為《強化學習》第七章 n-step Bootstrapping 。 n n n步Bootstrapping是MC和TD(0)的綜合。隨著對引數 n

《強化學習Sutton》讀書筆記（五）——時序差分學習（Temporal-Difference Learning）

此為《強化學習》第六章 Temporal-Difference Learning 。 時序差分學習 (Temporal-Difference Learning, TD) 是強化學習的核心。TD學習是蒙特卡洛MC法和動態規劃DP法的綜合，它可以像MC那樣，不需要知道環境的全部資訊，通過互動

強化學習（RLAI）讀書筆記第八章表格方法的規劃與學習

第八章：Planning and Learning with Tabular Methods 本章為需要環境的model-based強化學習方法（如DP和啟發式搜尋）和不需要環境的model-free方法（比如MC和TD）提供一個統一的論述框架。基於模型的方法依賴規劃（planning）而無模型

機器學習實戰讀書筆記（四）：樸素貝葉斯演算法

樸素貝葉斯 優點: 在資料較少的情況下仍然有效 可以處理多類別問題 缺點：對輸入的資料的準備方式較為敏感 適用資料型別：標稱型資料 p1(x,y)>p2(x,y) 那麼類別是1 p2(x,y)>p1(x,y) 那麼類別是2 貝葉斯決策的核心是選擇具有最高概率的決策

Linux學習筆記之四————Linux常用命令 （ 待補充）

-h http “.” 現實 人性化 快捷 我們 包括 無法 一、Linux命令——文件、磁盤管理 1.文件管理 <1>查看文件信息：ls ls是英文單詞list的簡寫，其功能為列出目錄的內容，是用戶最常用的命令之一，它類似於DOS下的dir命令。 Linu

《C++ Primer Plus》學習筆記——第四章 複合型別（四）

程式設計練習 編寫一個C++程式，如下述輸出示例所示的那樣請求並顯示資訊 what's your first name? Betty Sue what's your last name? Yewe what letter grade do you deserve? B what'

《C++ Primer Plus》學習筆記——第四章 複合型別（三）

指標與自由儲存空間 指標是一個變數，其儲存的是值的地址，而不是值的本身。對於變數可以使用（&）地址運算子來獲取地址。 顯示地址時，常用的描述記憶體的表示法是十六進位制表示法。 對於常規變數，值是指定的量，而地址是派生量。 指標名錶示的是地址。*運算子被稱為間接值或解除引用運算

《C++ Primer Plus》學習筆記——第四章 複合型別（二）

結構 結構是一種比陣列更靈活的資料格式，因為同一個結構可以儲存多種型別的資料。 結構是OOP堡壘（類）的基石。 結構是使用者定義的結構，而結構宣告定義了這種型別的資料屬性。定義結構描述——他描述並標記了能夠儲存在結構中的各種資料型別。然後按描述建立結構變數。 使用結構體必須先結構宣告

《機器學習》 周志華學習筆記第四章 決策樹（課後習題）python 實現

一、基本內容 1.基本流程 決策樹的生成過程是一個遞迴過程，有三種情形會導致遞迴返回 （1）當前節點包含的yangben全屬於同一類別，無需劃分； （2）當前屬性集為空，或是所有yangben在所有屬性上的取值相同，無法劃分； （3）當前結點包含的yangben集合為空，不能

《好好學習》讀書筆記（三）第二章：掌握臨界知識的方法

目錄 心態準備 1.新舊知識建立聯絡 2.發掘新知識的通用性 3.花慢功夫死磕關鍵知識，打通知識網的要塞，融匯貫通 具體方法 1.反思 2.以教為學           3.

網路是怎樣連線的學習筆記-第四章-光纖接入網（FTTH）

4.2 光纖接入網（FTTH） 4.2.1 光纖的基本知識 FTTH，是一種基於光纖的接入網技術。FTTH 的關鍵點在於對光纖的使用，所以先來介紹一些光纖的基本知識。 光纖的結構 它是由一種雙層結構的纖維狀透明材質（玻璃和塑料）構成的，通過在裡面的纖芯中傳導光訊號來傳輸數字資訊。

網絡是怎樣連接的學習筆記-第四章-光纖接入網（FTTH）

有時 種類型 知識 adsl 改變 差異 學習 單模光纖 工作 4.2 光纖接入網（FTTH） 4.2.1 光纖的基本知識 FTTH，是一種基於光纖的接入網技術。FTTH 的關鍵點在於對光纖的使用，所以先來介紹一些光纖的基本知識。 光纖的結構 它是由一種雙層結構的纖維狀透

Shell指令碼學習指南讀書筆記（一）

第1章 背景知識略 第2章 入門 編譯型語言 優點：高效 缺點：多半運作於底層，處理位元組、整數或其他機器層級的物件（C++中就很難將一個目錄所有檔案複製到另一個目錄中） 指令碼程式語言 通常是解釋型的

周志華《機器學習》讀書筆記（1）

越來越覺得一個碼農應該學點機器學習相關的東西了。希望畢業前能看完這本書。— 2017年11月22日 第一章 緒論 資料集中的每條記錄是關於一個時間或者物件的描述，成為一個“示例”（instance）或”樣本“（sample），反應時間或物件在

EffectiveJava讀書筆記——考慮用靜態工廠方法代替構造器（一）

無法 父類 應該 樹結構 對象 如何 log 筆記 工廠類 參考網址：http://blog.csdn.net/mingyunduoshou/article/details/6149758 http:[email protect

Pandas學習筆記，字符串方法（string method）

api long top method hand capi borde tle row 一般語法格式Series.str.method()。具體方法見http://pandas.pydata.org/pandas-docs/stable/api.html#string-ha