Top-K Off-Policy Correction for a REINFORCE Recommender System
abstract
problems in recommendation: a complex user state space (但好在有很多隐式的数据可以使用）
the problem of previous versions of the recommender: only observing feedback on recommendations selected by the previous versions of the recommender(只考虑正反馈，可考虑负反馈或是被忽视的item)
所以作者提出了以强化学习为基础的推荐系统(可以考虑负反馈以及其他的反馈）
contribuation
(1)scaling REINFORCE to a production receommender system with an action space on the orders of millions.(就是可以适应huge action space)
(2)applying off-policy correction to address data biases in learning from logged feedback collected form multiple behavior policies(利用importance sampling方法实现离线训练，看不懂转李宏毅力强化学习,看PPO哈）
(3)proposing a novel top-k off-policy correction to account for our policy recommending multiple items at a time(作者提出可以每次推荐多个items，即多个action)
(4)showcasing the value of exploration.(强化学习的优点还在于探索未知，提高推荐满意度),同时线上环境真实训练)
proposed model
为了方便大家理解，我就先把模型图给解释清楚。
proposed model主要是通过RNN得到当前user的state,然后各种操作得到beta，beta函数主要是在对所有的logged data分布的一个模拟(用NN近似)。用离线数据（state，action,action_prob)训练好了beta后，用beta代替现在所有数据的一个分布的近似。在训练pi时，由于当前策略一直在变，所以无法使用离线的所有数据，怎么办了，你不会是想说，我们不是有所有的离线数据的近似分布嘛，对的采用importance sampling就可以把该数据修正好后用于pi的训练。importance sampling(不懂看这儿）。则很差不是该模型的所有方法了。
后面是日常的公式时间。
policy gradient基本更新公式
使用离线数据训练的policy gradient（强力推荐看李宏毅的强化学习PPO，上面有链接哈）
state的分布和策略无关，所以可以忽视，然后又是马尔科夫独立性假设Top-K Off-Policy Correction
但是推荐系统一般是一下子推荐好几个东西，作者提出如下修正：
推荐一篮子的items A'
基础的高中概率（独立）
pi越大更新幅度越小，pi越大更新幅度就稍微大了一点（有助于训练），并且K越大，训练也就越平稳，每次更新的小Variance Reduction Techniques
importance sampling虽然均值无偏差，但是方差差的太多，会训练的越来越差。（具体举例PPO）
就是差太多的不行
全部的来和你比，防止个例太大偏差的数据
也可以看李宏毅老师的PPO那节（是不是感觉李宏毅老师是无敌的）
