本专栏按照 https://lilianweng.github.io/lil-log/2018/04/08/policy-gradient-algorithms.html 顺序进行总结 。
斯坦变分策略梯度
S V P G \color{red}SVPG SVPG ：[ paper：Stein Variational Policy Gradient | code ]
这是一种 应用Stein变分梯度下降法更新策略参数的算法。
在最大熵策略优化设置中， θ \theta θ 被认为是一个随机变量，服从于： θ ∼ q ( θ ) \theta \sim q(\theta) θ∼q(θ)，模型期望学到 分布 q ( θ ) q(\theta) q(θ)；假设我们知道一个先验知识，即 q q q 看起来像 q 0 q_0 q0，我们想要引导学习过程使得 θ \theta θ 这套参数的分布 接近于 q 0 q_0 q0，即优化以下目标函数 J ^ ( θ ) = E θ ∼ q [ J ( θ ) ] − α D KL ( q ∥ q 0 ) \hat{J}(\theta) = \mathbb{E}_{\theta \sim q} [J(\theta)] - \alpha D_\text{KL}(q\|q_0) J^(θ)=Eθ∼q[J(θ)]−αDKL(q∥q0)
其中，当 θ ∼ q ( θ ) \theta \sim q(\theta) θ∼q(θ) 时， E θ ∼ q [ R ( θ ) ] \mathbb{E}_{\theta \sim q} [R(\theta)] Eθ∼q[R(θ)] 是 期望回报； D K L D_{KL} DKL 是 KL 散度。
如果我们没有任何先验信息，我们可以将 q 0 q_0 q0 设为均匀分布，将 q 0 ( θ ) q_0(\theta) q0(θ) 设为常数。那么上述目标函数即为 SAC，其中熵这一个项鼓励探探索： J ^ ( θ ) = E θ ∼ q [ J ( θ ) ] − α D KL ( q ∥ q 0 ) = E θ ∼ q [ J ( θ ) ] − α E θ ∼ q [ log q ( θ ) − log q 0 ( θ ) ] = E θ ∼ q [ J ( θ ) ] + α H ( q ( θ ) ) \begin{aligned} \hat{J}(\theta) &= \mathbb{E}_{\theta \sim q} [J(\theta)] - \alpha D_\text{KL}(q\|q_0) \\ &= \mathbb{E}_{\theta \sim q} [J(\theta)] - \alpha \mathbb{E}_{\theta \sim q} [\log q(\theta) - \log q_0(\theta)] \\ &= \mathbb{E}_{\theta \sim q} [J(\theta)] + \alpha H(q(\theta)) \end{aligned} J^(θ)=Eθ∼q[J(θ)]−αDKL(q∥q0)=Eθ∼q[J(θ)]−αEθ∼q[logq(θ)−logq0(θ)]=Eθ∼q[J(θ)]+αH(q(θ)) 把 J ^ ( θ ) = E θ ∼ q [ J ( θ ) ] − α D KL ( q ∥ q 0 ) \hat{J}(\theta) = \mathbb{E}_{\theta \sim q} [J(\theta)] - \alpha D_\text{KL}(q\|q_0) J^(θ)=Eθ∼q[J(θ)]−αDKL(q∥q0) 关于 q q q 求导： ∇ q J ^ ( θ ) = ∇ q ( E θ ∼ q [ J ( θ ) ] − α D KL ( q ∥ q 0 ) ) = ∇ q ∫ θ ( q ( θ ) J ( θ ) − α q ( θ ) log q ( θ ) + α q ( θ ) log q 0 ( θ ) ) = ∫ θ ( J ( θ ) − α log q ( θ ) − α + α log q 0 ( θ ) ) = 0 \begin{aligned} \nabla_q \hat{J}(\theta) &= \nabla_q \big( \mathbb{E}_{\theta \sim q} [J(\theta)] - \alpha D_\text{KL}(q\|q_0) \big) \\ &= \nabla_q \int_\theta \big( q(\theta) J(\theta) - \alpha q(\theta)\log q(\theta) + \alpha q(\theta) \log q_0(\theta) \big) \\ &= \int_\theta \big( J(\theta) - \alpha \log q(\theta) -\alpha + \alpha \log q_0(\theta) \big) \\ &= 0 \end{aligned} ∇qJ^(θ)=∇q(Eθ∼q[J(θ)]−αDKL(q∥q0))=∇q∫θ(q(θ)J(θ)−αq(θ)logq(θ)+αq(θ)logq0(θ))=∫θ(J(θ)−αlogq(θ)−α+αlogq0(θ))=0
最优分布是： log q ∗ ( θ ) = 1 α J ( θ ) + log q 0 ( θ ) − 1 thus q ∗ ( θ ) ⏟ "posterior" ∝ exp ( J ( θ ) / α ) ⏟ "likelihood" q 0 ( θ ) ⏟ prior \log q^{*}(\theta) = \frac{1}{\alpha} J(\theta) + \log q_0(\theta) - 1 \text{ thus } \underbrace{ q^{*}(\theta) }_\textrm{"posterior"} \propto \underbrace{\exp ( J(\theta) / \alpha )}_\textrm{"likelihood"} \underbrace{q_0(\theta)}_\textrm{prior} logq∗(θ)=α1J(θ)+logq0(θ)−1 thus "posterior" q∗(θ)∝"likelihood" exp(J(θ)/α)prior q0(θ)
温度 α α α 决定开发和探索之间的权衡。当 α → 0 \alpha \rightarrow 0 α→0 时， θ \theta θ 仅根据期望回报 J ( θ ) J(\theta) J(θ) 进行更新；当 α → ∞ \alpha \rightarrow \infty α→∞ 时， θ \theta θ 始终遵循先验信念。
当 利用SVGD方法估计目标的后验分布 q ( θ ) q(\theta) q(θ)的时候，它依赖于 一组： { θ i } i = 1 n \{\theta_i\}_{i=1}^n {θi}i=1n，(independently trained policy agents)，每一个是这么更新： θ i ← θ i + ϵ ϕ ∗ ( θ i ) where ϕ ∗ = max ϕ ∈ H { − ∇ ϵ D KL ( q [ θ + ϵ ϕ ( θ ) ] ′ ∥ q ) s.t. ∥ ϕ ∥ H ≤ 1 } \theta_i \gets \theta_i + \epsilon \phi^{*}(\theta_i) \text{ where } \phi^{*} = \max_{\phi \in \mathcal{H}} \{ - \nabla_\epsilon D_\text{KL} (q'_{[\theta + \epsilon \phi(\theta)]} \| q) \text{ s.t. } \|\phi\|_{\mathcal{H}} \leq 1\} θi←θi+ϵϕ∗(θi) where ϕ∗=ϕ∈Hmax{−∇ϵDKL(q[θ+ϵϕ(θ)]′∥q) s.t. ∥ϕ∥H≤1} 其中：
ϵ \epsilon ϵ 是学习率 ϕ ∗ \phi^{*} ϕ∗ 是 θ型值向量的 RKHS H \mathcal{H} H 的单位球；极大地降低了粒子与目标分布之间的KL散度。比较不同的基于梯度的更新方法:
