A3C

A3C（Asynchronous Advantage Actor-Critic）是由Google DeepMind团队于2016年提出的一种基于异步梯度的深度强化学习框架（Asynchronous Methods for Deep Reinforcement Learning），利用了多线程同时并行运行的特点，让多个Actor(演员)并行训练而定期与全局参数同步。该方法在Atari游戏和3D迷宫等方面都有不错的效果。

符号

符号	含义
$s\in S$	状态。
$a\in A$	动作。
$r\in R$	回报。
$S_{t},A_{t},R_{t}$	一个轨迹中第个时间步对应的状态、动作以及回报。偶尔使用$s_{t},a_{t},r_{t}$代替。
$\gamma$	折扣因子；用于惩罚未来回报中的不确定性。
$G_{t}$	累积回报；或者说累积折扣回报。
$P(s',r|s,a)$	在当前状态下采取动作后转移到下一个状态并得到回报的概率。
$\pi (a|s)$	随机策略（智能体行为逻辑）；$\pi _{\theta }(.)$代表由参数化的策略。
$\mu (s)$	确定性策略；虽然也可以把确定性策略记为$\pi (s)$，但是采用一个不同的字母可以让我们更容易分辨一个策略到底是确定性的还是随机的。$\pi$或者$\mu$都是强化学习算法要学习的目标。
$V(s)$	状态-值函数衡量状态的期望累积回报；$V_{\omega }(.)$代表由ω参数化的状态-值函数。
$V^{\pi }(s)$	当智能体遵循策略时状态的期望累积回报；。$V(\pi )(s)=\mathbb {E} _{a\sim \pi }[G_{t}|S_{t}=s]$
$Q(s,a)$	动作-值函数，与状态-值函数类似，但是它衡量在状态下采取动作后的期望累积回报；代表由参数化的动作-值函数。
$Q^{\pi }(s,a)$	与$V^{\pi }(s)$类似，当智能体遵循策略$\pi$时，在状态$s$下采取动作$a$后的期望累积回报； $Q^{\pi }(s,a)=\mathbb {E} _{a\sim \pi }[G_{t}|S_{t}=s,A_{t}=a]$。
$A(s,a)$	优势函数，；$A(s,a)=Q(s,a)-V(s)$可以认为优势函数是加强版本的动作-值函数，但是由于它采用状态-值函数作为基准使得它具有更小的方差。

优势函数

由$A(s,a)=Q(s,a)-V(s)=r(s,a)+\gamma \mathbb {E} _{s'\sim p(s'|s,a)}[V^{(}s')-V^{(}s)]\simeq r(s,a)+\gamma (V(s')-V(s))$。

当选取k步TD后，在A3C中由于有参数$\theta ,\theta _{v}$,优势函数可改写为：

$A(s_{t},a_{t};\theta ,\theta _{v})=\sum _{i=0}^{k-1}\gamma ^{i}r_{t+i}+\gamma ^{k}V(s_{t+k};\theta _{v})-V(s_{t};\theta _{v})$

算法流程

异步优势Actor-Critic - 每个Actor-Learner线程的伪代码如下：

1. 定义全局参数向量$\theta$和$\theta _{v}$以及全局计数器$T=0$
2. 定义线程自身参数向量$\theta '$和$\theta '_{v}$,初始化线程步数计数器$t\leftarrow 1$
3. 当$T\leqq T_{max}$:
   1. 重置梯度:$d\theta \leftarrow 0$ 和$d\theta '_{v}\leftarrow 0$
   2. 将线程自身的参数向量与全局参数向量同步:$\theta '=\theta$，$\theta '_{v}=\theta _{v}$
   3. 令线程计数器$t_{start}=t$并随机采样一个初始状态$s_{t}$
   4. 当($s_{t}!=$终止状态)且$t-t_{start}\leqq t_{max}$:
      1. 根据当前线程的策略选择当前执行的动作$a_{t}\sim \pi _{\theta '}(a_{t}|s_{t})$执行动作后接受回报$r_{t}$并转移到下一个状态$s_{t+1}$。
      2. 更新t以及$T:t=t+1$并且$T=T+1$
   5. 初始化保存累积回报估计值的变量:$R={\begin{cases}0,&{\text{if }}s=s_{terminal}\\V(s_{t},\theta '_{v}),&{\text{non-terminal }}s_{t}\end{cases}}$
   6. 对于$i\in \{t-1,...,t_{start}\}$，执行：
      1. $R\leftarrow r_{i}+\gamma R$
      2. 累积关于参数$\theta '$的梯度:$d\theta \leftarrow d\theta +\nabla _{\theta '}\log \pi (a_{i}|s_{i};\theta ')(R-V(s_{i};\theta _{v}'))$
      3. 累积关于参数$\theta '_{v}$的梯度:$d\theta _{v}\leftarrow d\theta _{v}+{\partial (R-V(s_{i};\theta _{v}'))^{2} \over \partial \theta _{v}'}$
   7. 分别使用$d\theta$和$d\theta _{v}$异步更新$\theta$和$\theta _{v}$

改进

在Asynchronous Methods for Deep Reinforcement Learning （页面存档备份，存于互联网档案馆）中作者还将熵($H(\pi (s_{t},\theta '))$)加到目标函数中以避免收敛到次优确定性解，这是由于在最大化熵的过程中会避免分布过于集中，包含熵在内的完整目标函数梯度如下

$\nabla _{\theta '}\log \pi (a_{t}|s_{t};\theta ')(R_{t}-V(s_{t};\theta _{v}))+\beta \nabla _{\theta }'H(\pi (s_{t};\theta '))$

其中H为熵函数，$\beta$是用于控制熵正则化项的超参数。

论文

[1] （页面存档备份，存于互联网档案馆）

代码实现

[2] （页面存档备份，存于互联网档案馆）