2021年 第036篇
很多应用通常都需要用定向展示广告来进行获客，对信用卡广告来说，由于用户转化存在较长的链路，持续有效的获客比传统广告更具挑战性。本文结合美团联名信用卡业务中的具体实践，以及今年发表在KDD 2021上的论文，介绍了一种自适应信息迁移多任务（AITM）框架，通过该框架可建模用户多步转化之间的序列依赖关系，并提高端到端获客转化率。希望能对从事相关研究的同学有所帮助或者启发。
论文下载：《Modeling the Sequential Dependence among Audience Multi-step Conversions with Multi-task Learning in Targeted Display Advertising》
源代码：https://github.com/xidongbo/AITM
一、摘要
很多应用通常都需要用定向展示广告来获客，比如电子商务平台或者金融应用。随着这类应用的爆炸式增长，如何进行持续有效的获客，已经成为现实世界中这些大规模应用最大的挑战之一。在这些应用中，获客通常是一个用户多步转化的过程。例如在电子商务平台中，用户转化通常表现为一个曝光->点击->购买的过程。而在金融广告，比如信用卡业务中，用户转化通常是一个曝光->点击->申请->核卡->激活的过程。所以，信用卡广告中获客比传统广告更加具有挑战性：
- 用户多步转化过程中的路径序列依赖更长。
- 在多步转化的长序列依赖中，正反馈（正样本）是逐步稀疏的，类别不平衡越来越严重。
在美团的信用卡业务中，我们通常希望用户能完成最后两个转化阶段（即曝光->核卡、曝光->激活），这才被认为是有效转化。因此，用前边任务的丰富的正样本信息，来缓解后续任务的类别不平衡问题是很有必要的。而在这个方向上，多任务学习是一个提高端到端获客转化率的典型解决方案。
二、背景介绍
在我们的信用卡业务中：
- 曝光（Impression）：意味着广告被展示给了特定的用户，这些用户是根据一些排序指标选中的，比如CTR、CVR等等。
- 点击（Click）：用户如果对这个广告内容感兴趣的话，他会点击这个广告，点击后，就会进入申请表格页。
- 申请（Application）：进入申请表格页后用户可以填写申请表格，并且点击申请按钮来申请一张信用卡。
- 核卡（Approval）：也称授信，意味着用户信用良好，通过申请并被授予了一定的信用卡额度。在我们的系统中，这在多数情况下也是一个系统实时判断的过程。
- 激活（Activation）：用户在授信并且收到邮寄的信用卡之后，可以激活信用卡并使用。是否激活的标签通常比较难获得，因为信用卡邮寄需要一定的时间，而且用户主动去激活也需要一定的表现期，所以这里类别不平衡更为严重。在这里，我们通常看用户是否会在核卡后14天内激活信用卡。
以上的转化步骤有序列依赖，这意味着只有前一个步骤发生了，后一个步骤才可能发生。基于这个约束，用户只可能有5个不同的转化阶段如下图所示：
图1 5个不同的转化阶段
在工业界和学术界，多任务学习是一个提高端到端获客转化率的典型解决方案。近年来，在多任务学习中建模任务间关系的研究取得了很大的进展。我们将这些主要研究分为两大类：
1）控制多任务模型底部的专家模块如何在任务间参数共享[1,2,3]，顶部的多塔模块分别处理每个任务，正如图3（a）所示，我们称这一类为专家底（Expert-Bottom）模式。然而，专家底模式只能在任务间传递浅层表示，但在靠近输出层的网络中往往包含更丰富、更有用的表示[4,5]，这已被证明能带来更多的增益[6]。另外，由于专家底模式不是专门为具有序列依赖的任务设计的，因此这些具有专家底模式的模型不能显式地对序列依赖进行建模。
2）在不同任务的输出层中迁移概率[7,8,9,10]，如图3（b）所示，我们称之为概率迁移（Probability-Transfer）模式。概率迁移模式只能通过标量乘积传递简单的概率信息，而忽略了向量空间中更丰富、更有用的表示，导致了信息的损失。如果其中任何一个概率没有被准确预测，多个任务将会受到影响。
本文针对序列依赖任务，提出了一种自适应信息迁移多任务（Adaptive Information Transfer Multi-task，AITM）框架，该框架通过自适应信息迁移（AIT）模块对用户多步转化之间的序列依赖进行建模。AIT模块可以自适应地学习在不同的转化阶段需要迁移什么和迁移多少信息。此外，通过在损失函数中加入行为期望校准器，AITM框架可以更准确地识别端到端转化。该框架被部署在美团App中，利用它来为对美团联名卡有高转化率的用户实时展示联名卡广告。
三、系统概览
图2 美团App中的多任务排序系统
上图给出了一个多任务排序系统示意图。在我们的信用卡业务中，除了被动的曝光步骤外，我们建模了四个任务。其中核卡、激活是主要任务，点击、申请是辅助任务。这是因为如果用户只完成了点击和申请步骤，而核卡步骤还没有完成，那么就不是一次有效转化，就会造成资源的浪费（例如计算和流量资源）。因此，我们主要关注最后两个端到端的转化任务，即曝光->核卡和曝光->激活。由于后两个任务的正样本数较少，且激活是延迟反馈的，而前两个辅助任务的正样本数较多，因此可以通过前两个任务来缓解后两个任务的类别不平衡问题。
另外，美团联名信用卡是与不同的银行合作发行的，不同的银行处于不同的业务发展阶段，因此对核卡和激活有不同的要求。信用卡业务刚刚起步的银行往往希望发行更多的信用卡以迅速占领市场，而发展成熟的银行则希望提高激活率以实现快速盈利。因此，我们的系统中有一个选择器，可以为不同的银行输出不同的转化目标，多任务框架可以很好地处理不同的业务需求。
此外，由于美团不同的业务都需要流量来为各自业务获客，而且不同用户对不同业务的兴趣也不同，所以不能简单地将流量划分给不同的业务。我们需要一个多业务排序机制来分配流量从而最大化整体的利益。
四、模型介绍
图3 （a）专家底模式（b）概率迁移模式（c）AITM框架
上图（c）中展示了我们提出的AITM框架。该框架利用AIT模块来建模用户多步转化过程中的序列依赖。这个模型图显示了两个相邻的任务：和。
首先，输入特征经过任务共享的Embedding分别输出到多个Tower网络中。通过共享Embedding模块，一方面可以用前边任务的丰富的正样本信息来学习Embedding表示，从而缓解后续任务的类别不平衡问题，另一方面可以减少模型参数。Tower网络可以根据自己需要定制，这里我们只使用了简单的MLP。然后，AIT模块利用当前任务Tower输出的向量以及前一个任务传来的信息来学习任务间如何融合信息。AIT模块如下定义：
这里其实利用了特殊设计的注意力机制来自动为迁移信息和原始信息 来分配权重。而迁移的信息是通过函数来学习的，这里可以是一个简单的全连接层，用来学习两个相邻的任务间应该迁移什么信息。而该函数的输入是前一个任务的AIT模块的输出。
具体地，AIT模块中的注意力机制如下设计：
其中，是自动学习的迁移信息的权重。, , 利用前馈神经网络将输入投影到新的向量空间。
最后，我们通过在损失函数中施加校准器来约束概率的输出尽量满足序列依赖。损失函数是交叉熵 校准器约束，其中定义了校准器约束强度：
具体地，交叉熵定义如下：
校准器约束定义如下：
如果大于，校准器将输出一个正的惩罚项，否则输出0。
五、实验分析
在本节中，我们将在工业和公开现实数据集上进行实验，对比各种基线模型来评估我们提出的AITM框架。接下来，首先会介绍使用的数据集，然后是离线和在线实验结果，最后是进一步的实验分析（包括消融实验、超参数实验和Case Study）。
5.1 数据集
我们使用两个数据集进行了离线实验。工业数据集是美团联名卡广告曝光的所有样本，我们取了一段时间的样本。该数据集有4个任务，分别是点击、申请、核卡、激活。在我们的业务中，我们只关注核卡和激活的转化指标，这两步转化才是有效转化。公开数据集是使用的阿里的点击转化预估数据集[9,11]，这个数据集有点击、购买两个任务。
表1 数据集统计信息。其中，“%Positive”代表采样后训练集中每个任务的正样本占比
5.2 离线、在线实验
表2 工业和公开数据集上的AUC（均值标准差）表现。Gain表示与LightGBM模型相比的AUC提升，下划线代表最好的基线模型。“*”表示与最好的基线模型相比，AITM在配对样本t检验上p-value<0.05。“**”表示与最好的基线模型相比，AITM在配对样本t检验上p-value<0.01
表3 在线A/B实验
我们进行了离线和在线实验。随着业务发展，我们先后部署了LightGBM、MLP和AITM 3个模型到线上。离线和在线实验都证明了AITM的显著表现。
5.3 消融实验
我们设计了AIT模块来建模用户多步转化过程中的序列依赖，为了证明AIT模块的有效性，我们对AIT模块进行了消融研究。我们先分别随机取了500个激活正、负样本，然后对它们的激活任务预测分进行排序。越Top的预测分，表明模型预测这些用户越容易激活联名卡。然后我们利用t-SNE在激活任务上画出了原始信息，迁移 原始信息 ，以及AIT模块学习到的信息的二维图。
从下图中，我们可以看到当用户激活比较容易预测时（即激活分Top0%-Top50%），三个模块都能够较好地区分正负样本。但是，当用户激活比较难预测时（即激活分Top50%-Top100%），原始信息、迁移 原始信息 都不能很好地区分正负样本，而AIT模块在Top50%-Top100%预测分上显著优于其他两个部分，说明了AIT模块的有效性。
图4 AIT中不同模块的t-SNE可视化
5.4 超参数实验
另外，为了研究AITM框架的稳定性以及对超参数的依赖，我们进行了超参数研究。我们通过对Embedding向量维度、校准器强度、正样本比例、任务数量取不同的值进行多次实验，我们有以下发现：
- 前两个超参数实验表明，AITM模块在Embedding向量维度、校准器强度这些超参数下都表现比较稳定。
- 第三个超参数实验表明合适的下采样比例是缓解类别不平衡的一个重要举措。
- 最后一个图显示了更多的任务可以带来更多有用的信息，从而进一步提升端到端转化率。
图5：不同超参数设置下的平均AUC表现，阴影代表多次实验的标准差
5.5 Case Study
最后，为了理解AIT模块在不同的阶段迁移了什么信息以及多少信息，我们进行了Case Study。下图中Wu是迁移信息的权重。我们先随机采样4万个测试样本，然后将它们按照相邻两个任务的Label分成3组：00/10/11（分别对应图中红色、蓝色、绿色的线），并且在每个组中根据Logloss对Top 500个样本进行排序，越Top的样本表示预测越准。
- 首先，看红色的线，由于存在序列依赖，当前一个任务Label是0时，后一个任务Label也只能是0。所以我们看到前一个任务迁移了很强的信息给后一个任务（权重几乎为1）。
- 然后，看蓝色和绿色的线，当前一个任务Label是1时，后一个任务Label是不确定的。随着Logloss的增加，迁移信息的权重会逐渐增大，这表明后一个任务的预测结果可能会被前一个任务所误导。
- 另外，看绿色的线，当后一个任务Label是1时，前一个任务迁移了很少的信息（权重很小），这表明后一个任务主要根据自己任务本身来识别正样本。
- 从以上的结果中，我们可以看到AIT模块能学习到两个相邻的任务间应该迁移多少信息。
图6 不同转化阶段的迁移信息平均权重，阴影代表标准差
六、总结
本文提出了一种自适应信息迁移多任务（AITM）框架来建模用户多步转化之间的序列依赖关系。本文提出的自适应信息迁移（AIT）模块配合行为期望校准器，可以学习在不同的转化阶段需要迁移什么和迁移多少信息，以提高序列依赖多任务学习的表现。离线和在线实验结果表明，与最新的基线模型相比该框架有显著的提升。该框架被部署在美团App中，利用它来为对美团联名卡有高转化率的用户实时展示联名卡广告。
更多的技术细节，欢迎大家参考我们的论文。
七、作者简介
- 冬博、陈振、燕鹏、陈彧等，来自美团金融智能应用团队
- 张颖而：美团实习生、浙江大学本科生
- 朱勇椿：中科院计算所直博生
- 庄福振：北京航空航天大学人工智能研究院研究员
参考文献
[1] Jiaqi Ma, Zhe Zhao, Xinyang Yi, Jilin Chen, Lichan Hong, and Ed H Chi. 2018. Modeling task relationships in multi-task learning with multi-gate mixture-of-experts. In KDD. 1930–1939.
[2] Zhen Qin, Yicheng Cheng, Zhe Zhao, Zhe Chen, Donald Metzler, and Jingzheng Qin. 2020. Multitask Mixture of Sequential Experts for User Activity Streams. In KDD. 3083–3091.
[3] Hongyan Tang, Junning Liu, Ming Zhao, and Xudong Gong. 2020. Progressive Layered Extraction (PLE): A Novel Multi-Task Learning (MTL) Model for Personalized Recommendations. In RecSys. 269–278.
[4] Yixuan Li, Jason Yosinski, Jeff Clune, Hod Lipson, and John E Hopcroft. 2016. Convergent Learning: Do different neural networks learn the same representations? In ICLR.
[5] Matthew D Zeiler and Rob Fergus. 2014. Visualizing and understanding convolutional networks. In ECCV. 818–833.
[6] Eric Tzeng, Judy Hoffman, Ning Zhang, Kate Saenko, and Trevor Darrell. 2014. Deep domain confusion: Maximizing for domain invariance. arXiv preprint arXiv:1412.3474 (2014).
[7] Chen Gao, Xiangnan He, Dahua Gan, Xiangning Chen, Fuli Feng, Yong Li, Tat-Seng Chua, and Depeng Jin. 2019. Neural multi-task recommendation from multi-behavior data. In ICDE. 1554–1557.
[8] Chen Gao, Xiangnan He, Danhua Gan, Xiangning Chen, Fuli Feng, Yong Li, Tat-Seng Chua, Lina Yao, Yang Song, and Depeng Jin. 2019. Learning to Recommend with Multiple Cascading Behaviors. TKDE (2019).
[9] Xiao Ma, Liqin Zhao, Guan Huang, ZhiWang, Zelin Hu, Xiaoqiang Zhu, and Kun Gai. 2018. Entire space multi-task model: An effective approach for estimating post-click conversion rate. In SIGIR. 1137–1140.
[10] Hong Wen, Jing Zhang, Yuan Wang, Fuyu Lv, Wentian Bao, Quan Lin, and Keping Yang. 2020. Entire Space Multi-Task Modeling via Post-Click Behavior Decomposition for Conversion Rate Prediction. In SIGIR. 2377–2386.
[11] https://tianchi.aliyun.com/datalab/dataSet.html?dataId=408
| 招聘信息
美团金融智能应用团队算法岗位持续热招中，诚招优秀算法工程师及专家，坐标北京/上海。招聘岗位如下。
营销算法工程师/专家
- 服务美团金融各业务场景，负责营销获客、留存促活等场景的算法设计与开发，综合机器学习与优化技术，解决金融营销问题；
- 沉淀算法平台能力，提升算法应用的效率，提供客群挖掘、权益分配、素材匹配、动态创意、运筹规划、精准触达等智能解决方案；
- 结合美团金融业务场景，对深度学习、强化学习、知识图谱等人工智能前沿技术探索创新，实施创新技术沉淀和落地。
风控算法工程师/专家
- 通过机器学习模型与策略的开发优化，持续提升对于金融风险行为的识别能力；
- 深入理解业务，应用机器学习技术提高风控工作的自动化程度，全面提升业务效率；
- 跟进人工智能的前沿技术，并在金融风控场景中探索落地。
NLP算法工程师/专家
- 基于美团金融业务场景，结合自然语言处理和机器学习相关技术，落地智能对话机器人到金融营销、风险管理、客服等多个场景；
- 参与研发对话机器人的相关项目，包括但不限于语义理解、多轮对话管理等相关算法的开发和优化；
- 持续跟进学术界和工业界相关技术的发展，并快速应用于项目中。
欢迎感兴趣的同学发送简历至：chenzhen06@meituan.com（邮件标题注明：美团金融智能应用团队）。
| 美团科研合作
美团科研合作致力于搭建美团各部门与高校、科研机构、智库的合作桥梁和平台，依托美团丰富的业务场景、数据资源和真实的产业问题，开放创新，汇聚向上的力量，围绕人工智能、大数据、物联网、无人驾驶、运筹优化、数字经济、公共事务等领域，共同探索前沿科技和产业焦点宏观问题，促进产学研合作交流和成果转化，推动优秀人才培养。面向未来，我们期待能与更多高校和科研院所的老师和同学们进行合作，欢迎大家跟我们联系（meituan.oi@meituan.com）。
