異策略與重要性取樣

因為異策略中的行動策略和目標策略不一樣，也就是說行動策略產生的資料分佈與目標策略的資料分佈存在偏差，即即行動策略的軌跡概率分佈和改善策略的軌跡概率分佈不一樣，因此在使用資料進行目標策略評估的時候需要考慮該影響，常用的方法是重要性取樣。(重要性取樣的原理見文末圖片)

重要性取樣評估目標策略的值函式

在目標策略下，一次實驗的概率為：
Pr(St,At,St+1,...ST)=∏T−1k=tπ(Ak|Sk)p(Sk+1|St,At)$Pr(S_t,A_t,S_{t+1},...S_T)=\prod _{k=t}^{T-1}\pi (A_k|S_k)p(S_{k+1}|S_t,A_t)$
在行動策略下，該實驗出現的概率為：

Pr(St,At,St+1,...ST)=∏T−1k=tμ(Ak|Sk)p(Sk+1|St,At)$Pr(S_t,A_t,S_{t+1},...S_T)=\prod _{k=t}^{T-1}\mu (A_k|S_k)p(S_{k+1}|S_t,A_t)$
因為很難獲得明確的目標策略π$\pi$的概率分佈，因此使用一個替代分佈進行估計，對應為行動策略分佈μ$\mu$。因此重要性權重為：
ρTt=∏T−1k=tπ(Ak|Sk)p(Sk+1|St,At)∏T−1k=tμ(Ak|Sk)p(Sk+1|St,At)=∏T−1k=tπ(Ak|Sk)μ(Ak|Sk)${\rho }_t^T=\frac{\prod _{k=t}^{T-1}\pi (A_k|S_k)p(S_{k+1}|S_t,A_t)}{\prod _{k=t}^{T-1}\mu (A_k|S_k)p(S_{k+1}|S_t,}$

At)=∏k=tT−1π(Ak|Sk)μ(Ak|Sk)

普通重要性採樣的值函數估計為$普通重要性採樣的值函數估計為$：
V(s)=∑t∈T(s)ρT(t)

相關推薦

【強化學習筆記】4.3 無模型的強化學習方法-蒙特卡羅演算法與重要性取樣

異策略與重要性取樣 因為異策略中的行動策略和目標策略不一樣，也就是說行動策略產生的資料分佈與目標策略的資料分佈存在偏差，即即行動策略的軌跡概率分佈和改善策略的軌跡概率分佈不一樣，因此在使用資料進行目標策略評估的時候需要考慮該影響，常用的方法是重要性取樣

【強化學習筆記】4.4 無模型的強化學習方法-蒙特卡羅演算法與重要性取樣程式碼實現

#!/usr/bin/env python # -*- coding:utf-8 -*- #import gym import random import numpy as np class GriDMdp: def __init__(s):

【強化學習筆記】4.2 無模型的強化學習方法-蒙特卡羅演算法程式設計實現

本文給出基於蒙特卡洛的強化學習方法（隨機策略計算狀態值函式）和基於蒙特卡洛的強化學習方法（ε−greedy策略計算狀態行為值函式）兩種方法的程式設計實現。 問題模型是迷宮問題。 針對一個迷宮問題，設計基於蒙特卡洛的強化學習方法。 迷宮圖示見下圖，其中紅色

【extjs6學習筆記】0.3 準備： 類庫結構2

.cn ext 類庫 分享 nbsp image img extjs6 extjs 【extjs6學習筆記】0.3 準備： 類庫結構2

【迅為iTop4412學習筆記】4. 匯流排、裝置、驅動，註冊流程

宣告 以下都是我剛開始看驅動視訊的個人強行解讀，如果有誤請指出，共同進步。 本節目標 瞭解Linux匯流排、裝置 驅動註冊的流程 基本知識 一般的裝置：接入裝置 -> 註冊裝置 -> 註冊

【Vue.js學習筆記】4：事件修飾符,鍵盤事件,鍵值修飾符

事件修飾符 在Vue的官方文件中給出了引入v-on:的事件修飾符的理念是，不希望在方法中去處理DOM細節。 事件冒泡 事件在事件源上發生，處理事件的方法並未繫結在該事件源上，事件就要向外或者向內傳播（propagation），也稱事件冒泡。在JS裡，可以用事件物件的stopP

【TensorFlow學習筆記】4：認識Variable及其重用(共享),在scope上的初始化

學習《深度學習之TensorFlow》時的一些實踐。 認識TF中的Variable TF通過name來標識變數(Variable)，這和呼叫者定義的程式裡的"變數名"無關。當不指定name時，由TF自己指定，當建立的變數的name已經存在時，TF會為其改名。 變數的建立

【SciKit-Learn學習筆記】4：決策樹擬合泰坦尼克號資料集並提交到Kaggle

學習《scikit-learn機器學習》時的一些實踐。 決策樹擬合泰坦尼克號資料集 這裡用繪製引數-score曲線的方式去直觀看出模型引數對模型得分的影響，作者使用了GridSearchCV來自動做k-fold交叉驗證，並且能在多組模型引數中找到最優的一組和最優值（用平均s

【OpenCV學習筆記】2.3影象的腐蝕、膨脹、模糊、邊緣檢測

一、腐蝕和膨脹： 膨脹演算法使影象擴大一圈 腐蝕演算法使二值影象減小一圈 1、演算法： 從影象處理角度看，二值影象的腐蝕和膨脹就是將一個小型二值圖（結構元素，一般為3*3大小）在一個大的二值圖上逐點移動並進行比較，根據比較的結果作出相應處理而已。

【西瓜書學習筆記】第3章：線性模型

課程前言： arg max的引數是函式最大化的某個函式的域的點，與全域性最大值相比引數函式的最大輸出，arg max指的是函式輸出儘可能大的輸入或引數 閉式解： 給出任意自變數，就可以求出因變數 最小二乘法： 通過最小化誤差的平方和尋找資料的最佳函式匹配

【Spring學習筆記】4：三種做屬性連線的Annotation,指示初始化和銷燬方法的Annotation

屬性連線 屬性連線是指配置DI的方式，之前學了可以在<bean ...></bean>裡面使用<constructor-arg .../>和<property .../> 元素做屬性連線。 Spring裡還可以

【Maven學習筆記】4：在IDEA中使用Maven搭建SSM空專案

建立Maven webapp專案雛形 勾選上從原形構建： 同樣要提供groupId、artifactId、version這三個必備資訊： 指明Maven目錄、配置檔案的位置、倉庫目錄(可從配置檔案讀取)： 專案名稱、專案根目錄位置： 點

【機器學習筆記】第二章：模型評估與選擇

機器學習 ini ppi 第二章 err cap ner rate rac 2.1 經驗誤差與過擬合 1. error rate/accuracy 2. error: training error/empirical error, generalization error

【安全牛學習筆記】OSI網絡模型

http ssh stmp 安全 OSI網絡模型 物理層規定比特在物理介質中的傳輸方式,解決物理傳輸過程中的問題。 代表設備:中繼器,集線器(多端口中繼器) 數據鏈路層 在不可靠的網絡環境中進行可靠的數據傳輸。解決數據傳輸中可能出現的

【python學習筆記】python函式定義和傳參方法說明

一、函式定義方式 函式定義用關鍵字def，其引數傳遞不用設定型別，也不用定義返回，然後在函式名稱後加上:號，這點和java很不一樣，相對來說更加簡單了；另外包含關係上用四個空格來標識，而非java的;號； 如下為一個範例，定義了一個函式用來生成任意上界的菲波那契數列: # -*- c

【日常學習筆記】2019/1/10(Oracle語句學習)

Oracle語句學習   （1）select * from dual中的dual到底是什麼？      在sql-developer中測試發現，dual只是一個包含一列，永遠只返回一條資料記錄的虛擬表。使用dual，是為了構成select的

【CTP學習筆記】CTP客戶端開發指南 學習筆記一

1、組播行情        使用函式CreateFtdcMdApi 建立CThostFtdcMdApi 的例項。其中第一個引數是本地流檔案生成的目錄。流檔案是行情介面或交易介面在本地生成的流檔案，字尾名為.con。流檔案中記錄著客戶端收到的所有的資料流的數量。第二個引數描述

【OpenCV學習筆記】之三：Mat初始建立方法----要求資料連續儲存

int rows=15; // int cols=40; int size=rows*cols; vector<int>Va(size); vector<Vec<int, 8>>Vb(size); vector<Vec4i>V

【Java Opencv系列】4.3讀取攝像頭並顯示

程式碼如下： package imageIO; import java.awt.EventQueue; import javax.swing.ImageIcon; import javax.swing.JFrame; import javax.swing.JLabel; import org.open

【隨堂筆記】unity中socket的用法（二、伺服器與客戶端之間簡單的資料傳遞）

主要實現伺服器與客戶端之間簡單的資料傳輸（單次） 伺服器程式碼 using System; using System.Net; using System.Net.Sockets; namespace SeverSocket { class Program {