多任务学习经典品读：MMoE模型篇

2022-11-11 10:34:19 浏览数 (1)

作者 | 知乎博主@青枫拂岸 整理 | NewBeeNLP

今天带来是Google发表于KDD2018，针对于多任务推荐的经典模型MMOE。

  • 论文：Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts
  • 地址: https://dl.acm.org/doi/10.1145/3219819.3220007

由于本论文的创新偏向于模型结构和设计，而非模型策略的优化。故本篇讲解将主要聚焦于此。

一、为什么需要多任务建模

一般来讲，单任务建模一般聚焦于ctr，无论是电商场景还是新闻推荐场景下，但是久而久之，则会发生一些问题，如新闻领域的标题党，电商场景下的点击未购买，在这样的情况下，是否可以通过多任务模型来避免此类问题的发生呢？

什么是多任务模型：多任务学习旨在构建单个模型来同时学习多个目标和任务。

如同时预测新闻的ctr和阅读时长，电商场景的ctr和购买转化率。

但是，通常任务之间的关系会极大地影响多任务模型的预测质量。即传统的多任务模型对任务关系比较敏感。文中3.2-3.3小节进行实验得出结论。

因此，学习task-specific objectives和inter-task relationships之间的权衡也非常重要。

It is therefore important to study the modeling tradeoffs between task-specific objectives and inter-task relationships.

二、相关工作

文中阐述多任务学习的框架主要采用 shared-bottom结构，即不同任务共用下层的隐藏层，再通过建立顶部不同的塔，来对应不同的任务。这样做的好处是减少参数，但是劣势是 训练过程中出现不同任务之间的优化冲突(optimizationn confilicts)。

所以也有一些其他结构，如：两个任务的参数不在公用，但是参数之间使用L2范数限制。亦或者是每个任务学习隐层embedding再进行组合。通过张量分解模型(tensor factorization model)获得不同任务的隐层层参数。具体可参考原文2.1小节涉及论文。

相对于shared-bottom结构，其他方法产生大量参数，但的确解决了任务优化冲突问题，但是这些方法都面临着一个绕不开的工业问题—— 真实环境大规模服务 。

本文借鉴了MoE model， 提出Multi-gate Mixture-of-Experts model (MMOE) 模型，对比shared-bottom，在模型表达能力和训练难度上都更加优秀，在真实环境中更加有效。

三、模型架构

Shared-bottom Multi-task Model

如上图a所示，假设有K个任务，上层则会有K个塔(图中K=2)，每个塔的函数为

h^{k}

, k=1,2,...,K。shared-bottom 层作为底部共享层，表示为函数

f

。对于不同的任务输出为

y^{k} = h^{k}(f(x))\
Original Mixture-of-Experts (MoE) Model

公式为

y = sum_{i=1}^{n}{g(x)_{i}f_{i}(x)}\

其中

sum_{i=1}^{n}{g(x)_{i}}=1

，

g(x)_{i}

为来自专家

f_{i}

的可能性。

f

是专家网络 i∈1,2,...,n。

g

代表gating网络，就是融合下层expert网络的一种集成方式。更为具体地说，

g

产生n个experts上的概率分布，从而输出所有expert网络结果的权重和，类似于机器学习中的模型融合方法。

虽然MoE最初是作为多个单独模型的集成方法开发的，但Eigen等人和Shazeer等人将其转化为基本构建块——MoE层。MoE层具有与MoE模型相同的结构，但接受前一层的输出作为输入并输出到后续layer。然后在端到端中对整个模型进行训练。即把MoE作为大模型的一小部分。

图中的b为One-gate Mixture-of-Experts (OMoE) model，即只有一个gating 网络。接下来的实验对比使用的便是OMoE。

Multi-gate Mixture-of-Experts (MMoE) Model

如图c所示，本文提出的模型结构，与Shared-bottom多任务模型相比，该模型旨在捕获任务差异，而不需要更多的模型参数。关键是用MoE 代替了 Shared-bottom，并且对于每一个任务task都加了一个单独的gating 网络。例如对于任务k有公式

y_{k}=h^{k}left(f^{k}(x)right)

where

f^{k}(x)=sum_{i=1}^{n} g^{k}(x)_{i} f_{i}(x)

gating 网络使用DNN ReLU softmax实现：

g^{k}(x)=operatorname{softmax}left(W_{g k} xright)

其中

W_{gk} in R^{ntimes d}

是可训练矩阵，n是专家网络的个数，d是特征维度。

每个gating网络都可以根据训练来 选择 对应输入的expert网络权重。在多任务学习情况下灵活的进行参数共享是具有优势的。

假设在极端条件下，gating网络智能选择一个expert 网络输出，则每个门网络实际上将输入空间线性地划分为n个区域(n为任务个数)，每个区域对应一个expert，即每个expert 网络负责一个任务，模型退化为单任务模型的组合。

总之，MMoE能够通过确定不同门导致的分离如何相互重叠，以复杂的方式对任务关系进行建模。

如果任务相关性较小，则共享expert将受到惩罚，这些任务的控制网络将学习如何使用不同的expert。因此模型考虑到了捕捉到任务的相关性和区别。与shared-bottom模型相比，MMoE只有几个额外的选通网络，并且选通网络中的模型参数数量可以忽略不计。

四、实验部分

人工构造数据集

真实数据中无法轻易改变两个任务的相关性，为了探究任务相关性对于模型结果的影响，要进行人工构造数据集，具体可参考文中3.2节，其中相关性的衡量采用Pearson 相关系数。

模型设置

输入维度100，划分为8个expert网络，每个expert 网络 的hidden size为16。顶层2个任务，towner 网络hidden size=8，故参数为 1000×16(每个expert 特征Embedding化参数) ×8(expert个数) 16*8(每个towner参数)*2(task个数)。

实验效果
实验结论
  1. 对于所有模型，在相关性较高的数据上的表现都优于在相关性较低的数据上的表现。
  2. MMoE 模型在具有不同相关性的数据上的性能差距远小于 OMoE 模型和 Shared-Bottom 模型。当我们比较 MMoE 模型和 OMoE 模型时，这种趋势尤为明显：在两个任务相同的极端情况下，MMoE 模型和 OMoE 模型之间的性能几乎没有差异；然而，当任务之间的相关性降低时，OMoE 模型的性能有明显的退化，而对 MMoE 模型的影响很小。因此，使用特定于任务的门来模拟低相关性情况下的任务差异至关重要。
  3. 就平均性能而言，两种 MoE 模型在所有场景中都优于 Shared-Bottom 模型。这表明 MoE 结构本身带来了额外的好处。根据这一观察，MoE 模型比 Shared-Bottom 模型具有更好的可训练性。
模型可训练性(Trainability)

对于大型网络模型，我们更关心模型是否可训练，例如 设置不同模型的超参数设置和模型行初始化是否对模型足够鲁棒。

故文章自然地研究模型相对于数据和模型初始化中的随机性的鲁棒性。在每个设置下重复实验多次。每次数据都是从相同的分布但不同的随机种子生成的，并且模型的初始化也不同，观察不同任务的loss变化情况。

实验结果

结论：

  1. shared-bottom模型的方差比基于MoE的模型波动大很多。这意味着shared-bottom模型通常比基于MoE的模型具有更多的低质量局部极小值。
  2. 其次，当任务相关性为1时，OMoE模型的性能方差与MMoE模型的性能方差具有相似的鲁棒性，但当任务相关性降至0时，OMoE的鲁棒性明显下降。MMoE和OMoE之间的唯一区别在于是否存在多门结构。 这验证了多门结构在解决任务差异冲突导致的较差的局部极小值方面的有效性 。
  3. 所有三个模型的最低loss是可比较的。因为神经网络在理论上是通用的逼近器。有了足够的模型容量，应该存在一个“正确的shared-bottom模型，可以很好地学习两个任务。但是，当前是200个独立运行的实验的分布。文章指出对于更大和更复杂的模型（例如，当shared-bottom网络是一个RNN时），可能 获得“正确”模型的可能会随着任务关系的重要性变得更低。故得出结论： 显式地建模任务关系仍然是可取的 。

五、大规模服务

模型部署在Google Inc.上，拥有数亿用户的内容平台。业务场景是，根据与用户当前的消费行为，推荐下一步消费的相关物品列表。

对于两个任务分别设置为：

  • 针对参与度的相关目标 如点击率和参与时间(click through rate and engagement time)
  • 针对满意度相关指标 如喜欢程度(like rate)

训练数据包括数千亿用户的隐性反馈，如点击和喜欢。如果单独训练，每个任务的模型需要学习数十亿个参数。因此，与单独学习多个目标相比，Shared-Bottom架构具有更小模型尺寸的优势。事实上这种Shared-Bottom模型已经在生产中使用。

利用100亿数据量 设置batch_size=1024，展示经过200w step、400w step和600wstep的结果。

可以看到MMoE的效果最好。

针对不通任务下，gating网络得到的不通Expert网络的系数分布

六、结论

提出了一种新的多任务模型范式 MMoE 有点如下：

  • 更好的处理了任务相关性较小的场景。
  • 同样任务关联性下，效果相对于常用Shared-Bottom模型更好，loss更低。
  • 模型有更好的计算优势，gating网络通常重量较轻，并且Expert网络在所有任务中共享。此外，该模型还可以通过将选通网络作为稀疏的top-k gating来实现更高的计算效率。
google model shared size task

0 人点赞