策略梯度(Policy Gradient)
在一个包含Actor、Env、Reward Function的强化学习的情景中，Env和Reward Function是你所不能控制的。
Actor的策略πpiπ是一个参数为θthetaθ的网络
- 输入：以向量或者矩阵表示的机器观察
- 输出：关联到输出层某个神经元的一个动作
策略执行的过程可以表示为一个迹(Trajectory)τ={s1,a1,s2,a2,...,sT,aT}tau={s_1,a_1,s_2,a_2,...,s_T,a_T}τ={s1,a1,s2,a2,...,sT,aT}
pθ(τ)=p(s1)pθ(a1∣s1)p(s2∣s1,a1)pθ(a2∣s2)...=p(s1)∏pθ(at∣st)p(st 1∣st,at)p_{theta}(tau)=p(s_1)p_theta(a_1|s_1)p(s_2|s_1,a_1)p_theta(a_2|s_2)...=p(s_1)prod p_theta(a_t|s_t)p(s_{t 1}|s_t,a_t)pθ(τ)=p(s1)pθ(a1∣s1)p(s2∣s1,a1)pθ(a2∣s2)...=p(s1)∏pθ(at∣st)p(st 1∣st,at)
引入奖励机制的话：
策略πpiπ的奖励期望： R‾θ=∑R(τ)pθ(τ)=Eτ∼pθ(τ)[R(τ)]overline{R}_theta=sum R(tau)p_theta(tau)=E_{tau sim p_theta(tau)}[R(tau)]Rθ=∑R(τ)pθ(τ)=Eτ∼pθ(τ)[R(τ)]
策略πpiπ的总奖励： R(τ)=∑t=1TrtR(tau)=sum_{t=1}^Tr_tR(τ)=t=1∑Trt
策略梯度的计算方法： ∇R‾θ=∑R(τ)∇pθ(τ)=∑R(τ)pθ∇pθ(τ)pθ(τ)nabla overline{R}_theta = sum R(tau)nabla p_theta(tau)=sum R(tau)p_theta frac{nabla p_theta(tau)}{p_theta(tau)}∇Rθ=∑R(τ)∇pθ(τ)=∑R(τ)pθpθ(τ)∇pθ(τ)
由上式，计算策略梯度是，R(τ)R(tau)R(τ)不需要必须是可微的，甚至可以是一个黑盒。因为不需要对它进行求导。
借助∇f(x)=f(x)∇logf(x)nabla f(x)=f(x)nabla logf(x)∇f(x)=f(x)∇logf(x)，可得：
∇R‾θ=∑R(τ)pθ(τ)∇logpθ(τ)=Eτ∼pθ(τ)[R(τ)∇logpθ(τ)]nabla overline{R}_theta = sum R(tau)p_theta(tau)nabla logp_theta(tau)=E_{tausim p_theta(tau)}[R(tau)nabla logp_theta(tau)] ∇Rθ=∑R(τ)pθ(τ)∇logpθ(τ)=Eτ∼pθ(τ)[R(τ)∇logpθ(τ)]≈1N∑n=1NR(τn)∇logpθ(τn)=1N∑n=1N∑t=1TnR(τn)∇logpθ(atn∣stn)approx frac{1}{N}sum_{n=1}^{N}R(tau^n)nabla logp_theta(tau^n)=frac{1}{N}sum_{n=1}^Nsum_{t=1}^{T_n}R(tau^n)nabla logp_theta(a_t^n|s_t^n)≈N1n=1∑NR(τn)∇logpθ(τn)=N1n=1∑Nt=1∑TnR(τn)∇logpθ(atn∣stn)
也就是说，我们是以采样求和的方式来逼近概率分布pθ(τ)p_theta(tau)pθ(τ)下的期望的。
在给定策略πθpi_thetaπθ的条件下，我们采用梯度下降类似的策略梯度上升的方法来更新模型，注意每一个迹(Trajectory) 仅使用一次。
可以使用Tensorflow或者pyTorch来实现这个过程：
策略梯度在实现上有一些小技巧： 技巧一：添加基准线
在很多情况下，reward可能都只有正的，没有负的。因为实际计算是使用采样的方法来逼近期望的，所有概率的和应该等于1以保证概率有意义，那么上图中没有被采样到的动作a的概率会下降。
梯度计算时，在奖励函数R的部分添加一个负的偏移量b，这个偏移量b可以简单取整个奖励函数在迹τtauτ上的期望，这样就形成了一个基准线。高于基准线算出来的log概率是正的，低于基准线算出来log概率是负的。这会使得计算梯度的每一项有增有减，并且只有reward高于基准线，才让其action概率增加，从而解决了单纯因为没有采样导致某个action概率大规模下降的问题。
技巧二：采取更恰当的奖励：
以左半部分为例，上图的意思是，计算action a1a_1a1的reward，原本是只看(sa,a1)(s_a,a_1)(sa,a1)这一个pair，但由于执行了a1a_1a1导致执行a3a_3a3时会被扣2分，所以a1a_1a1的reward应该是 3而不是 5。
所以计算reward的更为恰当的方法是，计算执行该步action后的reward总和。
更近一步还可以添加一个折扣因子γgammaγ：
因为我们计算一个action的reward是采用对当前步及以后步求和方式进行的，所以前面步的action会对后面步的action的reward产生影响。引入γgammaγ是为了使得距离越远的action对当前action的reward影响越小。
最后，b也可以是状态独立的，即每一个state都独有一个b。
还有一种方法是采用基于Actor-Critic模式的优势函数(Advantage function)： Aθ(st,at)A^theta(s_t,a_t)Aθ(st,at)来替代R(τn)−bR(tau^n)-bR(τn)−b。优势函数衡量了在观察sts_tst下采取动作ata_tat而不是其他动作的好坏程度，由critic给出。
