RL-赵-(九)-Policy函数拟合算法-Policy Gradient算法02-1：目标函数/metrics的选取01【average state value】

RL-赵-(九)-Policy函数拟合算法02：目标函数/Metrics的选取【①average state value；②average one-step reward】、目标函数的梯度∇J(θ)一、目标函数的选取（Metrics to define optimal policies）【2类】有两类形式的目标函数/metrics：The average state valueAverage one-step reward1、The average state value2种常见表达形式：vˉπ =∑s∈Sd(s)vπ(s)≐E[∑t=0∞γtRt+1]\begin{aligned} \bar{v}_{\pi}\:=\sum_{s\in\mathcal{S}}d(s)v_{\pi}(s) \\[2ex] \doteq\mathbb{E}\left[\sum_{t=0}^\infty\gamma^tR_{t+1}\right] \end{aligned}vˉπ​​=s∈S∑​d(s)vπ​(s)≐E[t=0∑∞​γtRt+1​]​第一大类是the average state value, 或者简单地称为 average value。这个metric定义如下：vˉπ =∑s∈Sd(s)vπ(s) \bar{v}_{\pi}\:=\sum_{s\in\mathcal{S}}d(s)v_{\pi}(s)vˉπ​=s∈S∑​d(s)vπ​(s)其中vˉπ\bar{v}_\mathrm{\pi}vˉπ​是state values的加权平均；d(s)≥0d(s)≥0d(s)≥0是对于状态sss的权重因为∑s∈Sd(s)=1\sum_{s\in S}d(s)=1∑