一、前言

在強化學習系列（五）：蒙特卡羅方法（Monte Carlo)中，我們提到了求解環境模型未知MDP的方法——Monte Carlo，但該方法是每個episode 更新一次（episode-by-episode)。本章介紹一種單步更新的求解環境模型未知MDP的方法——Temporal-Difference Learning(TD)。TD（0）演算法結合了DP 和Monte Carlo演算法的優點，不僅可以單步更新，而且可以根據經驗進行學習。
本章同樣將強化學習問題分為prediction 和 control，分別介紹TD是如何用於求解這兩類問題的。

二、TD prediction

TD（0）演算法結合了DP 和Monte Carlo演算法的優點，不僅可以單步更新，而且可以根據經驗進行學習。根據他們的backup圖可以直觀的看出三者區別：

MC演算法需要等到一個episode 結束後才能更新value,TD和DP可以單步更新，但區別在於TD不需要知道確切的環境模型（狀態轉移概率等），可以根據下一步的估計來更新當前估計value。下面我們總結一下TD學習特點：

2.1 MC and TD

為了更好的理解TD演算法，將其和MC演算法進行進一步比較：

兩者的目標都是根據經驗估計給定策略π$\pi$下的value function v(π)$v(\pi )$
但：

• MC更新用的是一個episode 的從state s到 terminal的實際return Gt$G_t$，表現為一個episode更新一次
• TD更新用的是下一個state St+1$S_{t+1}$的估計return Rt+1+γV(St+1）$R_{t+1}+\gamma V(S_{t+1}）$,通常叫做TD target

這兩者有什麼差別呢，舉個簡單例子：開車回家例子， 下班回家估計到家所需時間，離開辦公室估計30分鐘後到家，5分鐘後找到車發現下雨了，估計下雨堵車還有35分鐘到家，下班20分鐘時下了高速發現沒有堵車，估計還有15分鐘到家，結果下班30分鐘時遇到堵車，估計還有10分鐘到家，然後下班40分鐘後到了家附近的小路上，估計還有3分鐘到家，3分鐘後到家了。

根據MC演算法和TD演算法（γ$\gamma$)，作圖如下：

我們先看左圖，運用MC演算法，舉個例子，當離開高速你認為還有15分鐘就到家了，然而，實際需要23分鐘，此時Gt−V(St)=8$G_t-V(S_t)=8$,假設step size α=1/2$\alpha =1/2$ ,那麼預計時間會變成15+4 = 19，距離最終到家還有4分鐘差值。但這些更新都是離線的，不會發生在你到家的途中，只有當到家的時候才知道原來估計的時間需要修改。
但真的需要等到回家了再調整估計時間嗎？如果採用MC方法，答案是肯定的，但是採用TD就不會。可以實時對估計回家時間進行調整。

2.2 Advantages and Disadvantages of MC vs. TD

那麼兩者的方差和偏差如何呢？

由於TD target Rt+1+γV(St+1)$R_{t+1}+\gamma V(S_{t+1})$是真實的TD targetRt+1+γvπ(St+1)$R_{t+1}+\gamma v_{\pi }(S_{t+1})$的有偏估計，所有MC是無偏差的，但TD是有偏差的。
但TD target的方差比return低，因為return依賴一系列隨機的狀態量和動作量，和reward ，但TD target 只依賴一組隨機的狀態量和動作量，和reward 。

總結一下MC和TD的演算法優缺點：

2.4 TD prediction演算法虛擬碼

三、TD control

本節針對control problem，將分別介紹on-policy TD(sarsa) 和off-policy TD (importance sample TD、QLearning、expected sarsa等)

3.1 Sarsa: On-policy TD control

和MC一樣，TD中Policy evaluation 估計的是action-value function。更新方式如下：

由於更新一次action-value function需要用到5個量(s,a,r,s′,a′)$(s,a,r,s^{\prime },a^{\prime })$，所以該演算法被稱為sarsa演算法，虛擬碼如下：

注意，第一次選擇動作使用的Policy 為ϵ$ϵ$-greedy policy，然後在整個episode中選擇動作使用的Policy都為ϵ$ϵ$-greedy policy，所以該演算法為on-policy TD。

3.2 Off-policy learning

• on-policy用於生成取樣資料的策略和用於evlauate、improve的策略是同一個策略π 。
• off-policy用於取樣的策略b （behavior policy) 和用於evlauate、improve的策略 π (target policy) 是兩個不同的策略。通常情況下target policy 是確定性策略，而behavior policy是隨機策略。

且在Off-policy中，提到了off-policy常用的一種方法，基於importance sample的off-policy方法。在這裡我們首先介紹importance sample TD，然後介紹另一種 off-policy的思路。

3.3 Off-policy TD control：importance sample TD

在強化學習系列（五）：蒙特卡羅方法（Monte Carlo)中，我們以ordinary importance sampling 為例，比較importance sample 的MC和TD的區別。

importance sample MC

• 採用behavior policy b 生成的資料來估計Target policy π$\pi$
• 將b對應的return Gt$G_t$乘以一個importance sample ratio 可以獲得Target policy π$\pi$的return Gπ/bt$G_t^{\pi /b}$:（每個episode計算一次）
• Gπ/bt=π(At|St)b(At|St)π(At+1|St+1)b(At+1|St+1)...π(AT|ST)b(AT|ST)Gt$G_t^{\pi /b}=\frac{\pi (A_t|S_t)}{b(A_t|S_t)}\frac{\pi (A_{t+1}|S_{t+1})}{b(A_{t+1}|S_{t+1})}...\frac{\pi (A_T|S_T)}{b(A_T|S_T)}{G}_t$
• 然後再更新value:
• V(St)=V(

  相關推薦

  強化學習系列（六）：時間差分演算法（Temporal-Difference Learning)

  一、前言 在強化學習系列（五）：蒙特卡羅方法（Monte Carlo)中，我們提到了求解環境模型未知MDP的方法——Monte Carlo，但該方法是每個episode 更新一次（episode-by-episode)。本章介紹一種單步更新的求解環境模型未知M

  es6（六）：module模塊（export，import）

  導入 運行時 發現 let 腳本文件 推薦 必須 哪些 書寫 es6之前，社區模塊加載方案，主要是CommonJS(用於服務器)和AMD(用於瀏覽器) 而es6實現的模塊解決方案完全可以替代CommonJS和AMD ES6模塊設計思想：盡量靜態化，在編譯時就能確定模塊的依

  資料結構實現（六）：連結串列棧（C++版）

  資料結構實現（六）：連結串列棧（C++版） 1. 概念及基本框架 2. 基本操作程式實現 2.1 入棧操作 2.2 出棧操作 2.3 查詢操作 2.4 其他操作 3. 演算法複雜度分析 3.1

  強化學習導論 第六章 瞬時時間差分法

  這一次開第六章，Temporal-Difference 方法，簡稱TD，可以翻譯為瞬時差分法。 TD方法在強化學習演算法中有很重要的地位，因為它是一個集大成的演算法。TD綜合了第五章所說的蒙特卡洛演算法和第四章所說的DP演算法的特點，既可以從真實經驗序列學習，無需環境模型，又可以根據已得到的估計

  Spring Boot + Spring Cloud 構建微服務系統（六）：熔斷監控叢集（Turbine）

  Spring Cloud Turbine 上一章我們集成了Hystrix Dashboard，使用Hystrix Dashboard可以看到單個應用內的服務資訊，顯然這是不夠的，我們還需要一個工具能讓我們彙總系統內多個服務的資料並顯示到Hystrix Dashboard上，這個工具就是Turbine。 新增依

  《實時碰撞檢測演算法技術》讀書筆記（六）：最近點計算（下）

  點至3D矩形的最近點 實際上等同於計算OBB上的最近點，其中3D矩形可看做是z向為0的OBB。 struct Rect { Point c; Vector u[2]; float e[2]; } 令z軸為0並重寫函式ClosestPtPointO

  關於大型網站技術演進的思考（六）：儲存的瓶頸（6）

  在講資料庫水平拆分時候，我列出了水平拆分資料庫需要解決的兩個難題，它們分別是主鍵的設計問題和單表查詢的問題，主鍵問題前文已經做了比較詳細的講述了，但是第二個問題我沒有講述，今天我將會講講如何解決資料表被垂直拆分後的單表查詢問題。 要解決資料表被水平拆分後的單表查詢

  C#高效能大容量SOCKET併發（六）：超時Socket斷開（守護執行緒）和心跳包

  守護執行緒 在服務端版Socket程式設計需要處理長時間沒有傳送資料的Socket，需要在超時多長時間後斷開連線，我們需要獨立一個執行緒（DaemonThread）來輪詢，在執行斷開時，需要把Socket物件鎖定，並呼叫CloseClientSocket來斷開連線，具體

  機器學習——聚類（clustering）：K-means演算法（非監督學習）

  1、歸類 聚類（clustering）：屬於非監督學習（unsupervised learning）,是無類別標記（class label） 2、舉例 3、K-means演算法 （1）K-means演算法是聚類（clustering）中的經典演算法，資料探勘的十大經典演算

  Spring Cloud基礎教程（六）：Feign熔斷器使用（Hystrix）

  上一篇部落格講解了Ribbon使用Hystrix，本篇部落格講解下Feign使用Hystrix。一、準備將服務消費者（Ribbon）使用部落格中的Consumer-Ribbon工程，複製一份，命名為Co

  機器學習回顧篇（7）：決策樹演算法（ID3、C4.5）

    注：本系列所有部落格將持續更新併發布在github上，您可以通過github下載本系列所有文章筆記檔案。   1 演算法概述¶

  我的軟考之路（六）——資料結構與演算法（4）之八大排序

          排序是程式設計的基礎，在程式中會經常使用，好的排序方法可以幫助你提高程式執行的效率，所以學好排序，打好基礎，對於程式的優化會手到擒來。無論你的技術多麼強，如果沒有基礎也強不到哪去。  

  pandas系列學習（六）：資料聚合

  作者：chen_h 微訊號 & QQ：862251340 微信公眾號：coderpai 我最近一直在探索的一個方面是通過不同變數對大型資料幀進行分組，以及對每個組應用匯總函式的任務。這是在 pandas 中使用 DataFrame 物件的

  各種音視訊編解碼學習詳解之 編解碼學習筆記（六）：H.26x系列

      最近在研究音視訊編解碼這一塊兒，看到@bitbit大神寫的【各種音視訊編解碼學習詳解】這篇文章，非常感謝，佩服的五體投地。奈何大神這邊文章太長，在這裡我把它分解成很多小的篇幅，方便閱讀。大神部落格傳送門：https://www.cnblogs.com/skyofbitbi

  周志華《機器學習》課後習題解答系列（六）：Ch5.8

  SOM神經網路實驗 注：本題程式分別基於Python和Matlab實現（這裡檢視完整程式碼和資料集）。 1 基礎概述 1.1 SOM網路概念 SOM(Self-Organizing Map，自組織對映)網路是一種無監督的競爭型神經

  周志華《機器學習》課後習題解答系列（六）：Ch5.10

  卷積神經網路實驗 - 手寫字元識別 注：本題程實現基於python-theano（這裡檢視完整程式碼和資料集）。 1. 基礎知識回顧 1.1. 核心思想 卷積神經網路（Convolutional Neural Network, C

  周志華《機器學習》課後習題解答系列（六）：Ch5.5

  這裡的程式設計基於Python-PyBrain。Pybrain是一個以神經網路為核心的機器學習包，相關內容可參考神經網路基礎 - PyBrain機器學習包的使用 5.5 BP演算法實現 實驗過程：基於PyBrain分別實現標準

  周志華《機器學習》課後習題解答系列（六）：Ch5.7

  5.7. RBF神經網路實驗 注：本題程式基於Python實現（這裡檢視完整程式碼和資料集）。 1. RBF網路基礎 RBF網路採用RBF（Radial Basis Function函式）作為隱層神經元啟用函式，是一種區域性逼近神經

  TensorFlow學習系列（六）：變數更新和控制依賴

  這篇教程是翻譯Morgan寫的TensorFlow教程，作者已經授權翻譯，這是原文。 目錄 在本文中，我們將圍繞變數更新和控制依賴討論更深層次的 TensorFlow 能力。 變數更新 到目前為止，我們已經

  Deep Learning with Python 系列筆記（六）：深度學習實踐進階

  Keras functional API keras中常用的Sequential 模型，通常假設網路只有一個輸入和一個輸出，並且這些網路層之間是一種線性的堆疊。如下： 事實上，這種結構太過普通，我們需要把許多內容和實際操作都通過一個Sequential模型實現