xDeepFM架构理解及实现

2019-12-19 12:27:30 浏览数 (1)

本文主要是为了讲解xDeepFM的框架，及如何用tensorflow去实现主干部分，如果需要直接拆箱可用，可以参考:xDeepFM，我的部分代码也来自于其中，这边主要是和大家一起对比着看下，xDeepFM到底做了哪些事情？我的工程实现代码等待我司项目上线稳定后开源。

XDeepFM到底extreme在哪里？

首先，我在做论坛帖子推荐的时候遇到这么一个问题（问题真实，问题内容纯属虚构），用户A：带有如下标签[篮球、足球、健身]，用户B：带有如下标签[篮球，电脑，蔡徐坤]，在使用deepfm做精排的时候，常常会把A和B所看的内容互相推荐，很明显，A是运动达人，而B是二次元达人，这样推荐是存在很大问题的。 我在处理的时候，采取了两种套路：

  • 改变Memorization为attention网络，强化feature直接的联系，让B中的电脑与蔡徐坤进行绑定，而不是让篮球电脑蔡徐坤进行混合绑定，让Memorization去记忆的时候进行权重倾斜
  • Memorization通常为低阶特征交互，那我就升高阶数，svm告诉我们，在越高的维度上我们越有可能把数据集进行越离散的切分，XDeepFM就相当于把DeepFM中的1维 2维，变成了1维 2维 (l 1)维特征组合

XDeepFM如何实现的？

网上大多数版本都是甩出的正方体图 公式，我觉得很不清晰，这边就不贴了，我直接贴代码及解释：

nn_input = tf.reshape(nn_input, shape=[-1, int(field_num), self.hparams.dim])

我们知道，无论是deepfm还是XDeepFM在初始化的时候，都会把feature进行onehotencoding后向量化，然后再压缩成一个[batch,dim*FIELD_COUNT]的input，这边只是将其还原成网上常见的正方体的形式：[batch,field_num,dim]

代码语言：javascript复制
split_tensor0 = tf.split(hidden_nn_layers[0], self.hparams.dim * [1], 2)

这个就是XDeepFM最有意思的地方，我们正常理解都是把特征按照不同的特征进行切分组合，在XDeepFM它却按照dim进行切开然后进行点击，而且是外积，所以大家难以理解的就在这边，用数据来说就是：

代码语言：javascript复制
tf.convert_to_tensor(np.arange(1,13).reshape(2,2,3),dtype=tf.int32)

array([[[ 1,  2,  3],
        [ 4,  5,  6]],

       [[ 7,  8,  9],
        [10, 11, 12]]], dtype=int32)
切割完为：
[array([[[ 1],
         [ 4]],

        [[ 7],
         [10]]], dtype=int32), 

         array([[[ 2],
         [ 5]],

        [[ 8],
         [11]]], dtype=int32), 

         array([[[ 3],
         [ 6]],

        [[ 9],
         [12]]], dtype=int32)]

这边没有按照[1,2,3]这种方式去切分，而是按照[[1],[4]]这种方式，在dim上进行切分。

dot_result_m = tf.matmul(split_tensor0, split_tensor, transpose_b=True)这一步也是很有意思，没有常规意义上做点击dot，做的外积，生生的把向量铺开了：

代码语言：javascript复制
array([[[[  1,   4],
         [  4,  16]],

        [[ 49,  70],
         [ 70, 100]]],


       [[[  4,  10],
         [ 10,  25]],

        [[ 64,  88],
         [ 88, 121]]],


       [[[  9,  18],
         [ 18,  36]],

        [[ 81, 108],
         [108, 144]]]], dtype=int32)

把刚才的[[1],[4]]按照外积的形式去处理了，并得到了一个[bacth_size,dim,field_nums[0] * field_nums[-1]]的形式。再通过[1,field_nums[-1] * field_nums[0],output]进行卷积处理相当于在dim的每一维上进行融合，融合的是所有特征dim的每一维。最后才sum_pooling操作，外接一个输出层压缩到1个输出值。

CIN为什么要搞这么复杂，比deepfm好在哪？

看代码就知道，刚才CIN的过程可以进行N次，

image

这里面的l代表着从0层开始了l次的特征组合，比起deepfm的2次，对特征的组合更深，能解释的空间更为复杂

CIN很完美吗？

虽然作者在论文刚开始的时候就吐槽了DCN的低端，认为DCN其实就是init层的N次交叉，但是我认为DCN的残差项保证了特征的1～l 1特征都有，而CIN中去除了残差项，虽然更快了，但是相当于丢弃了1～l阶特征的组合结果，不见得可取

实操经验分享？

  • XDeepFM比起循环神经网络是快了不止一个量级的，基于DNN CNN这种架构下，并行策略保证它很高效的执行速度。
  • 如果是baseline的尝试，建议优先DeepFM，绝大多数情况下，DeepFM已经满足了我们的基础需求。我司实际项目的效果下XDeepFM在离线数据集上目前也只有0.1%的提升，但是代码量及code review的压力却大了很多。
  • 在走XDeepFM的路子时候，可以考虑把DeepFM中的Memorization层加入DIN中的Attention，完全不逊色。

更多代码内容欢迎follow我的个人Github，如果有任何算法、代码疑问都欢迎通过邮箱发消息给我。

批量计算

0 人点赞