P2Proximal Policy Optimization (PPO)

importance sampling：

On-policy -> Off-policy
Gradient for update:

*KL divergence(KL距離) 常用來衡量兩個概率分佈的距離

Q-learning

critic 評價action的效果
Monte-Carlo(MC) based approach
Temporal-difference(TD) approach

Target Network

Exploration Epsilon Greedy

Replay Buffer
減少與環境做互動的時間

Typical Q-learning Algorithm

Tips of Q-Learning

Double DQN
Q-Value總是被高估，因為target總是被設得太高

Dueling DQN
修改了網路的架構，分為V+A = Q

Prioritized Reply

Multi-step

Q-Learning for Continuous Actions
Q-Learning不容易處理連續的行為，如自動駕駛，機器人行動
Using gradient ascent to solve the optimization problem

policy-based(ppo)
value-based(Q-learning)

Asynchronous Advantage Actor-Critic

Review Policy Gradient

∇R¯¯¯¯θ≈1N∑n=1N∑t=1

Tn(∑t′=tTnγt′−trnt′−b)∇logpθ(ant|snt)$$\mathrm{\nabla }{\overline{R}}_{\theta }\approx \frac{1}{N}\sum _{n=1}^N\sum _{t=1}^{T_n}(\sum _{t^{\prime }=t}^{T_n}{\gamma }^{t^{\prime }-t_{r_{t^{\prime }}^n}}-b)\mathrm{\nabla }log{p}_{\theta }(a_t^n|s_t^n)$$
γt′−trnt′−b≈rnt+Vπ(snt+1)$${\gamma }^{t^{\prime }-t_{r_{t^{\prime }}^n}}-b\approx r_t^n+V^{\pi }(s_{t+1}^n)$$

Actor-Critic

Pathwise Derivative Policy Gradient

Sparse Reward

agent多數情況下，無法得到reward

Reward Shaping：

ICM = instrinsic curiosity module 鼓勵冒險

根據atst$a_t{s}_t$,Network1預測st+1$s_{t+1}$與真正的st+1$s_{t+1}$差距，即採取某action，無法預測接下來的結果那麼鼓勵該操作
提取需要的特徵，通過Network2仍然得到正確at$a_t$,說明過濾掉是無用的資訊

Curriculum Learning

Reverse Curriculum Generation根據得分反推
Hierarchical RL分級強化學習

Imitation Learning

Behavior Cloning

• 存在侷限性，無法收集極端情況下的資料
• 學習無用的行為

Inverse RL

IRL訓練專家的資料，得到正確的Reward Funciton；轉而，RL利用Reward Funciton得到optimal acto，類似於GAN。

應用：自駕車