introduction
v、q表的问题
- 解决离散化的s,a,导致q-table存储量、运算量大
- 解决连续s、a的表示问题 ## solution 用带权重估计函数，估计v or q [ begin{aligned} hat{v}(s, mathbf{w}) & approx v_{pi}(s) \ text { or } hat{q}(s, a, mathbf{w}) & approx q_{pi}(s, a) end{aligned} ] ## 函数估计器 可谓函数逼近，需要函数式可微分的
- 线性组合
- 神经网络
这些不可微
- 决策树 decision tree
- 领域Nearest neighbour
- 傅里叶/ 小波Fourier/ wavelet bases
incremental methods
Gradient descent
值函数估计：随机梯度下降法SGD
Table lookup 是 GD的一种特例
Find a target for value function approximation
把估计函数作为一个监督学习 目标是谁呢，通过MC、TD方法，设定目标
生成训练集
For linear MC
- 无偏目标估计
- 局部最优
For linear TD（0）
- 收敛趋向全局最优
For linear TD（(lambda)）
(delta) scalar number (E_t) 维度和s维度一致
- 前后向 相等
Incremental Control Algorithms
用q函数，替代v函数
不能保证收敛性
- On-policy：一般边训练，边执行，(s,a)是当前policy产生的
- off-policy：离线训练，通过训练其他策略或者agent产生的(s,a)训练集
引入Gradient TD，完全满足贝尔曼方程，无差
batch methods
For least squares prediction
LS定义，估计误差平方，求和
baseline是已经训练的结果((s,v_pi)in D)，再用SGD更新之
找到使LS最小的权重(w^pi)
Experience Replay in Deep Q-Networks (DQN)
Two features
- Experience Relpay：minibatch的数据采样自memory-D
- Fixed Q-targets：(w^-) 在一个更新batch内 ，保持不变，让更新过程更稳定
算法流程
- Take action at according to ε-greedy policy
- Store transition (st,at,rt 1,st 1) in replay memory D
- Sample random mini-batch of transitions (s,a,r,s′) from D
- Compute Q-learning targets w.r.t. old, fixed parameters (w^− )
- Optimise MSE between Q-network and Q-learning targets [ mathcal{L}_{i}left(w_{i}right)=mathbb{E}_{s, a, r, s^{prime}} sim mathcal{D}_{i}left[left(r gamma max _{a^{prime}} Qleft(s^{prime}, a^{prime} ; w_{i}^{-}right)-Qleft(s, a ; w_{i}right)right)^{2}right] ]
- 用SGD更新 伪算法：
注意：
- Fixed Q-target (theta)，每C steps 更新一次
- Experience Replay： minibatch 从 memory D 采样
例子
DQN in Atari
构成：
- input: state s （4 frames pictures）
- output: Q(s,a)
- CNN： mapping input(s) to output(Q)
LS 最小二乘法 总结
- Experience replay -> LS solution
- 迭代次数太多
- 用线性估计(hat v(s,w) = x(s)^Tw)
- 直接求解LS
LSP 直接求解
平衡状态，梯度=0 求解方程，得到w值关于状态s和v真值的函数关系
However，真值不知道 缺点是复杂度高，引入了矩阵的逆
Other algorithms
