此為《強化學習》第七章 n-step Bootstrapping 。

$n$步Bootstrapping是MC和TD(0)的綜合。隨著對引數$n$的調整，我們可以看到TD是如何過渡到MC的。而最佳的方法往往就是介於TD和MC之間。

$n$步TD估計

在上一章的TD(0)方法中，我們有

$$v(S_t) \leftarrow v(S_t)+α(G_t−v(S_t))$$

並且，我們使用了一步後的狀態值函式來估計$G_t$，從而得到

$$v(S_t) \leftarrow v(S_t) + \alpha [ R_{t+1}+\gamma v(S_{t+1})−v(S_t) ]$$

那麼如果我們考慮$n$步，那麼顯然$G_t$也可以使用以下等式進行估計：

$$\begin{align*} G_t &= R_{t+1} + \gamma v(S_{t+1}) \\ &= R_{t+1} + \gamma R_{t+2} + \gamma^2 v(S_{t+2}) \\ &= R_{t+1} + \gamma R_{t+2} + \cdots + \gamma^{n-1} R_{t+n} + \gamma^n v(S_{t+n}) \end{align*}$$

在書本中，上面每個$v$都會有一個下標，表示此處的值函式是哪一步迭代的值函式。 但實際上，我們只有一個表格用來存值函式，所以實踐上應該很容易知道到底是哪一步迭代的，因此這裡省略不寫（可見下文虛擬碼即可知）。令上述表示式為$G_{t:t+n}$，則演算法TD(n)為

$$v(S_t) \leftarrow v(S_t) + \alpha [ G_{t:t+n} − v(S_t) ]$$

如果$t+n=T$，那麼TD(n)將成為MC。在回溯圖中，我們可以看到TD(n)包含了從TD(0)到MC的所有演算法。

TD(n)的虛擬碼如下：

稍微解釋一下。第一個迴圈當然是針對episode，第二個迴圈是在一個episode中產生樣本。第一個if表示如果該episode沒有結束，那麼就繼續取樣；if後的$\tau$表示已經執行的步數和$n-1$的差。如果$\tau < 0$，就說明$n$步還沒有走完，當然沒有任何可以迭代的；如果$\tau \ge 0$，則進入第二個if，使用$n$步後的狀態值函式$v(S_{\tau+n})$來更新$v(S_\tau)$。

$n$步Sarsa

考慮完狀態值函式，下一步當然是行為值函式。過程幾乎完全一樣，先定義$G_{t:t+n}$：

Gt=

相關推薦

【統計學習方法讀書筆記】感知機的個人理解（2）

這一部分說說自己看感知機學習演算法的對偶形式的理解。 引用知乎使用者的回答，這裡搞清楚兩件事情。自己看書的第一個疑惑是為什麼,這其中的ni是從何而來呢？後來發現忽略一個點就是“對於一個多次被誤分類的點”，也就是某個資料被使用了多次，因此出現ni這個引數。 第二個就是對於李航老師說的“例

【統計學習方法讀書筆記】感知機的個人理解（1）

寫在前面： 在友人的推薦下，開始入李航老師的坑，《統計學習方法》。 讀到第二章，感知機，李航老師由淺入深讓我有了很好的理解，現在自己總結一下思路。 正文：  感知機用於二分類問題，由淺開始：假定我們有一個平面上存在許許多多的藍色點和紅色點，並且假設存在一條直線可以將藍紅

《強化學習Sutton》讀書筆記（六）——n步Bootstrapping（n-step Bootstrapping）

此為《強化學習》第七章 n-step Bootstrapping 。 n n n步Bootstrapping是MC和TD(0)的綜合。隨著對引數 n

強化學習（RLAI）讀書筆記第六章差分學習（TD-learning）

第六章：Temporal-Difference Learning TD-learning演算法是強化學習中一個獨具特色而又核心的想法，結合了蒙特卡洛演算法和動態規劃的想法。和MC一樣不需要環境模型直接從sample裡學習，也像DP一樣使用bootstrap通過別的狀態值的估計更新當前狀態值。首先

《強化學習Sutton》讀書筆記（七）——列表法的計劃與學習（Planning and Learning with Tabular Methods）

此為第八章 Planning and Learning with Tabular Methods 。 在上述章節中，我們已經看到了DP是基於模型 (Model-Based) 的，而MC和TD是模型無關的 (Model-Free) 。基於模型的方法中，Plann

《強化學習Sutton》讀書筆記（五）——時序差分學習（Temporal-Difference Learning）

此為《強化學習》第六章 Temporal-Difference Learning 。 時序差分學習 (Temporal-Difference Learning, TD) 是強化學習的核心。TD學習是蒙特卡洛MC法和動態規劃DP法的綜合，它可以像MC那樣，不需要知道環境的全部資訊，通過互動

《強化學習Sutton》讀書筆記（四）——蒙特卡洛方法（Monte Carlo Methods）

此為《強化學習》第五章。 上一節中的動態規劃方法需要知道整個environment的資訊，但有的時候，我們只有經驗 (Experience) （比如一組取樣），而對environment沒有任何其他知識；或者我們有一個可以互動的黑盒，通過黑盒可以進行模擬得到experience，但具體黑

強化學習（RLAI）讀書筆記第十三章策略梯度方法（Policy Gradient Methods）

強化學習（RLAI）讀書筆記第十三章策略梯度方法（Policy Gradient Methods） 13.1 Policy Approximation and its Advantages 13.2 The Policy Gradient Theore

強化學習（RLAI）讀書筆記第十二章資格跡（Eligibility Traces）

資格跡是強化學習演算法中的一個基本機制。比如很流行的其中的指的就是資格跡的使用。基本上所有的TD演算法都能夠和資格跡進行組合從而得到一個更通用的演算法。資格跡把TD和MC方法統一了起來。當TD演算法和資格跡進行組合使用時，得到了一組從一步TD延伸到MC演算法的演算法家族。一般中間部分的演算法效果比兩

Linux學習筆記第六周第一次課（3月12日）

grep egrep grep -E grep -v grep -n 9.1 正則介紹_grep上egrep是grep的擴展，具有所有grep功能；grep是用來過濾關鍵詞的；-r遍歷所有子目錄-v取反，意思是除了關鍵詞所在行，其他行顯示出來；9.2 grep中'【0-9】'

【讀書筆記】——《代碼大全》（六）

variable 數據 borde 代碼 In 自然 dex ont 列表 The Power of Variable Names 摘錄與總結一些有用的東西。 語義前綴 語義前綴 含義 c 數量（count，如記錄、字符或者其他東西的個數）

《機器學習》 周志華學習筆記第六章 支援向量機（課後習題）python 實現

一、 1.間隔與支援向量 2.對偶問題 3.核函式 xi與xj在特徵空間的內積等於他們在原始yangben空間中通過函式k(.,.)計算的結果。 核矩陣K總是半正定的。 4.軟間隔與正則化 軟間隔允許某些samples不滿足約束  鬆弛變數 5.支援

JAVA學習筆記-----第六天引用資料型別（類）

●引用資料型別（類）     ■ 類的型別有兩種：         ◆第一種，JAVA為我們提供好的類，如Scanner類，Math類，這些已存在的類中包含了很多的方法和屬性，可供我們使用。   &

《好好學習》讀書筆記（三）第二章：掌握臨界知識的方法

目錄 心態準備 1.新舊知識建立聯絡 2.發掘新知識的通用性 3.花慢功夫死磕關鍵知識，打通知識網的要塞，融匯貫通 具體方法 1.反思 2.以教為學           3.

Shell指令碼學習指南讀書筆記（一）

第1章 背景知識略 第2章 入門 編譯型語言 優點：高效 缺點：多半運作於底層，處理位元組、整數或其他機器層級的物件（C++中就很難將一個目錄所有檔案複製到另一個目錄中） 指令碼程式語言 通常是解釋型的

機器學習實戰讀書筆記（四）：樸素貝葉斯演算法

樸素貝葉斯 優點: 在資料較少的情況下仍然有效 可以處理多類別問題 缺點：對輸入的資料的準備方式較為敏感 適用資料型別：標稱型資料 p1(x,y)>p2(x,y) 那麼類別是1 p2(x,y)>p1(x,y) 那麼類別是2 貝葉斯決策的核心是選擇具有最高概率的決策

周志華《機器學習》讀書筆記（1）

越來越覺得一個碼農應該學點機器學習相關的東西了。希望畢業前能看完這本書。— 2017年11月22日 第一章 緒論 資料集中的每條記錄是關於一個時間或者物件的描述，成為一個“示例”（instance）或”樣本“（sample），反應時間或物件在

java程式設計思想讀書筆記 第十五章 泛型 （匿名內部類和擦除）

1.匿名內部類 泛型還可以應用於內部類以及匿名內部類。下面的例子使用匿名內部類實現了Generator介面： public class Customer { private static long counter = 1; private f

讀書筆記：分散式系統系統與概念（圖靈叢書）

書的第一章作者介紹了分散式系統的概念，分佈在網路的不同元件並相互傳遞訊息協調的系統，其特徵是元件的併發性（這是說可以很多程序或執行緒可以同時執行，充分利用硬體資源）、缺乏全域性時鐘（網路上沒有一個共有的時鐘來同步不同節點上的操作）、故障的獨立（故障具有隔離性）。然後講了分

【java讀書筆記】——Collection集合之六大介面（Collection、Set、List、Map、Iterator和Comparable）

       兩個月之前準備軟考時，簡單的從理論上總結了最常用的資料結構和演算法，比如：線性表，連結串列，圖。在進行java開發時，jdk為我們提供了一系列相應的類來實現基本的資料結構。jdk所提供的