本文參照此文做了學習整理。
根據策略梯度方法，很難選擇步長使引數更新向著策略變好的方向變化，如果步長不合適，可能導致越學越差致使系統崩潰。
如何選擇一個合適的步長，或者說，如何找到新的策略使新的回報函式的值單調遞增，或單調不減。這是TRPO解決的問題。
強化學習的回報函式定義為：
$\eta (\tilde{\pi }$

$E_{\tilde \pi}[\sum_{t=0}^\infty \gamma^t A_{\pi}(s_t,a_t)]\\ =E_{\tilde \pi}[\sum_{t=0}^\infty\gamma^t(r(s_t)+\gamma V_\pi(s_{t+1})-V_{\pi}(s_t))]\\ =E_{\tilde \pi}[\sum_{t=0}^\infty\gamma^tr(s_t)]+E_{\tilde \pi}[\sum_{t=0}^\infty\gamma^t(\gamma V_\pi(s_{t+1})-V_{\pi}(s_t))]\\ =E_{\tilde \pi}[\sum_{t=0}^\infty\gamma^tr(s_t)]+E_{\tilde \pi}[-V_{\pi}(s_0)]\\ =\eta(\tilde \pi) - \eta(\pi)$