NIPS 2018 Spotlight論文：憑藉幻想的目標進行視覺強化學習
為了讓智慧體在測試時自動實現使用者指定的廣泛目標，它必須能夠學習廣泛適用的通用技能。此外，為了提供必要的通用性，這些技能必須處理原始的感測輸入，如影象。在本文中，作者提出了一種演算法，通過結合無監督表徵學習和目標條件策略的強化學習來獲得這種通用技能。
我們想構建一個能夠在複雜的非結構化環境中完成任意目標的智慧體，例如可以做家務的機器人。一種有前景的方法是使用深度強化學習，這是一種用於教授智慧體最大化獎勵函式的強大框架。然而，典型的強化學習範例一般需要手動設計獎勵函式來訓練智慧體解決獨立任務。
例如，你可以通過設計獎勵函式來訓練機器人擺放餐桌，而這個函式則基於每個盤子或器具與其目標位置之間的距離來設定。這種設定需要為每個任務設計獎勵函式，還需要諸如目標檢測器之類的額外系統，這些系統可能昂貴又易壞。此外，如果想要能夠執行大量瑣事的機器，我們必須在每個新任務上重複這個強化學習訓練步驟。
儘管設計獎勵函式和設定感測器（門角測量，目標檢測器等）在模擬中可能很容易做到，但在現實世界中它很快變得不切實際（右圖）。
我們訓練智慧體在沒有額外儀器的情況下僅憑視覺來解決各種任務。第一行展示了目標影象，底行展示了達到這些目標的策略。
在本文中，我們討論了可以同時學習多個不同的任務而無需額外人工監督的強化學習演算法。如果智慧體要在沒有人為干預的情況下獲取技能，那它必須能夠為自己設定目標、與環境互動，並評估其是否實現了改善行為的目標，所有這些都要通過影象等原始觀測資料來實現，而不能借助目標探測器等手動設計的額外元件。
我們引入了一個設定抽象目標並自主學習以實現這些目標的系統；然後發現可以使用這些自主學習的技能來執行各種使用者指定的目標，例如推動物體，抓取物體以及開門，而無需任何額外的學習。最後，我們證明這種方法在現實世界中能夠應用在 Sawyer 機器人上。該機器人僅將影象作為系統的輸入, 學會了設定並實現將物體推到特定位置的目標。
目標條件強化學習
我們該如何表示環境和目標的狀態？在多工設定中，枚舉出機器人可能需要注意的所有物體可能不切實際：物體的數量和型別可能會發生變化，檢測它們需要專用的視覺處理器。
不過，我們可以直接在機器人的感測器上操作，用機器人拍攝的影象來表示狀態，而用我們想要實現狀態的影象來表示目標。使用者只需提供目標影象來指定新任務。我們發現，這項工作可以擴充套件為指定目標的更復雜方式，例如通過語音或演示，或者通過優化以前部落格中的目標。
任務：讓環境看起來像圖片中這樣。
強化學習的本質是訓練智慧體最大化獎勵總和。對於目標條件強化學習來說，獲得獎勵的一種方法是減少當前狀態和目標狀態之間的距離，因此，要最大化獎勵，就得最小化當前狀態到目標狀態的距離。
首先，我們可以通過學習目標條件 Q 函式來訓練單一策略，以最大化獎勵並因此達到目標狀態。在給定當前狀態 s 和目標 g 的情況下，目標條件 Q 函式 Q（s，a，g）會告訴我們動作 a 有多正確。例如，一個 Q 函式告訴我們，「如果我拿著一個盤子（狀態 s）並且想把它放在桌子上（目標 g），那麼舉手（動作 a）有多正確？」一旦訓練好這個 Q 函式，你就可以通過執行以下優化函式來獲取目標條件策略：
通俗點說，「根據這個 Q 函式選擇最佳動作。」通過使用這個程式，我們獲得了一個最大化獎勵總和的策略，可以實現各種目標。
Q 學習受歡迎的一個原因是，它能以非策略方式完成，這意味著我們訓練 Q 函式所需的僅僅是當前狀態、動作、下一狀態、目標和獎勵（分別為 s,a,s′,g,r）的樣本。此資料可以通過任何策略收集，並且可以在多個任務中重複使用。因此，一個簡單的目標條件 Q 學習演算法如下所示：
該訓練過程的主要瓶頸是收集資料。如果我們可以人工生成更多資料，理論上來說，我們甚至可以在不與環境互動的情況下學習解決各種任務。但是，學習一個精確的環境模型很困難，所以我們通常需要依靠抽樣來獲得狀態—動作—下一狀態 (s,a,s′) 的資料。
然而，如果能夠訪問獎勵函式 r(s,g)，我們就可以重新標記目標並重新計算獎勵，從而在給定單個 (s,a,s′) 元組的情況下人工合成更多資料。因此，我們可以像這樣修改此訓練過程：
目標重取樣的好處在於，我們可以同時學習如何一次實現多個目標，而無需從環境中獲取更多資料。總的來說，這種簡單的修改可以大大加快學習速度。上述方法有兩個主要假設：（1）你能夠訪問獎勵函式;（2）你知道目標取樣分佈 p(g) 的狀況。
以前使用此目標重新標記策略的工作（Kaelbling 『93 , Andrychowicz 『17 , Pong 『18）基於真實狀態資訊（例如，物體的笛卡爾位置）進行操作，很容易手動設計目標分佈 p(g) 和獎勵函式。然而，當轉向基於視覺的任務（其中目標是影象）時，這兩個假設都不成立。
首先，我們不清楚應該使用哪種獎勵函式，因為與目標影象的畫素距離在語義上可能沒有意義。其次，因為我們的目標是影象，我們需要一個可以從中進行取樣的目標影象分佈 p(g)。手動設計目標影象的分佈是一項非常重要的任務，影象生成仍然是一個活躍的研究領域。因此，我們希望智慧體能夠自主設定自己的目標並學習如何實現這些目標。
憑藉幻想的目標進行視覺強化學習
我們可以通過學習影象的表徵，並將這種表徵而非影象本身用於強化學習，來減輕與目標影象條件 Q 學習相關的挑戰。關鍵問題變成了：我們的表徵應滿足哪些屬性？為了計算語義上有意義的獎勵，我們需要一種能夠捕捉影響影象變化的潛在因素的表徵。
此外，我們需要一種輕鬆生成新目標的方法。我們首先通過訓練生成隱變數模型來實現這些目標，在我們的例子中用的是變分自編碼器（VAE）。該生成模型將高維觀察資料 x（如影象）轉換為低維隱變數 z，反之亦然。
對模型進行訓練，以便隱變數捕獲影象中潛在的變化因素，類似於人類用於解釋環境和目標的抽象表徵。給定當前影象 x 和目標影象 x_g，我們將它們分別轉換為隱變數 z 和 z_g。
然後我們用這些隱變數來表示強化學習演算法的狀態和目標。在低維隱空間而不是直接在影象上學習 Q 函式和策略，可以加快學習速度。
智慧體將當前影象（x）和目標影象（xg）編碼到隱空間中，並使用該隱空間中的距離進行獎勵。
使用影象和目標的隱變量表徵還解決了另一個問題：如何計算獎勵。我們利用隱空間中的距離，而不是畫素誤差來作為訓練智慧體達到目標的獎勵。在描述該方法的完整研究論文中，我們發現這樣做能夠最大化取得目標的概率並提供更有效的學習訊號。
這種生成模型也很重要，因為它讓智慧體在隱空間中可以輕鬆生成目標。特別是，我們的生成模型被設計為忽視取樣隱變數：我們之前只是從 VAE 中抽取隱變數。使用這種抽樣機制有兩個原因：
首先，它為智慧體設定自己的目標提供了一種機制。智慧體只是從我們的生成模型中對隱變數的值進行取樣，並嘗試達到該隱目標。其次，如上所述，該重取樣機制還用於重新標記目標。因為我們的生成模型經過訓練可以將真實影象編碼到之前的影象中，所以之前隱變數的樣本對應於有意義的隱目標。
即使不提供目標，我們的智慧體仍然可以為探索和目標重新標記生成自己的目標。
總之，影象的隱變量表示（1）捕獲場景的潛在因素，（2）提供有意義的優化距離，（3）提供一種有效的目標抽樣機制，使我們能夠有效地訓練一個直接對畫素進行操作的目標條件強化學習智慧體。我們將這整個方法稱為憑藉幻想目標進行強化學習（RIG）。
實驗
我們進行了實驗來測試 RIG 是否具有足夠的樣本效率，能夠在合理的時間內訓練現實世界的機器人策略。我們測試了機器人到達使用者指定位置、將物體推動到所需位置的能力，如目標影象所示。
機器人只能接收 84x84 RGB 影象，無法知道關節角度或物體位置。機器人首先通過在隱空間中設定自己的目標來學習。我們可以使用解碼器來視覺化機器人想象的目標。在下面的 GIF 中，上面的圖片展示瞭解碼的「想象」目標，而下面的圖片展示了做出的實際策略。
機器人設定了自己的目標（上圖）以及實現目標（下圖）。
通過設定自己的目標，機器人可以自主地練習到達不同的位置而無需人為干預。唯一的人為干預發生在人們想要機器人執行特定任務的時候。這種時候，先給機器人輸入目標影象。因為機器人已經通過練習達到了很多目標，我們發現它能夠在沒有額外訓練的情況下達到這個目標：
人類給出一個目標影象（頂部），機器人實現它（底部）。
我們還使用 RIG 來訓練將物體推動到目標位置的策略：
左：Sawyer 機器人設定。右：人類給出一個目標影象（頂部），機器人完成它（底部）。
直接從影象訓練一個策略可以輕鬆地將任務從到達指定位置改為推送物體。我們只需新增一個物體、一個桌子，然後調整相機。最後，儘管直接從畫素級開始工作，這些實驗並沒有花費很長時間。到達指定位置實際大約需要一個小時的機器人互動時間，而推動物體到目標位置需要大約 4.5 小時。
許多真實世界的機器人強化學習結果使用真實狀態資訊，如物體的位置。但是，這通常需要額外的機器，比如購買和設定額外的感測器或訓練目標檢測系統。相比之下，我們的方法只需要 RGB 相機並直接在影象上工作。
更多結果，包括對比實驗，請閱讀論文原文，地址如下：
ofollow,noindex" target="_blank">https://arxiv.org/abs/1807.04742
未來展望
我們已經證明，直接在影象上訓練現實世界機器人的策略是可行的，並且能以高效的方式完成各種任務。這個專案有許多令人興奮的後續研究。目標影象可能無法表示所有任務，但是可以使用其它模式（例如語音和演示）來表示目標。
此外，儘管我們提供了一種機制來對自主探索的目標進行抽樣，但是否存在更科學的方式選擇這些目標來進行更好的探索？結合內在動機，我們的政策可以積極地選擇目標，以更快地瞭解它能不能達到目標。
未來的另一個方向是訓練我們的生成模型，使其瞭解動態。編碼有關環境動態的資訊可以使隱空間更適合強化學習，從而加快學習速度。
最後，實際生活存在各種機器人任務，其狀態表徵難以用感測器捕獲，例如操縱可變形物體或處理具有可變數量物體的場景。放大 RIG 以解決這些任務將是令人興奮的下一步。