2022年CCF-腾讯犀牛鸟基金课题介绍—机器学习与深度学习

CCF-腾讯犀牛鸟基金于2013年由腾讯公司和中国计算机学会（CCF）共同发起，今年是基金发起的第10年。10年来，犀牛鸟基金致力于为海内外青年学者搭建产学合作创新的平台，推动科技在产业创新和社会发展中持续发挥价值。

本年度犀牛鸟基金设立12个技术领域共35项研究命题，我们将分7期对各项命题进行详细介绍，本文重点聚焦机器学习与深度学习领域，欢迎海内外优秀青年学者关注并申报。

4.机器学习与深度学习

4.1 不完备数据环境下的序列决策问题

从仿真器或者高质量离线数据中，强化学习可以学到优秀的策略以实现自动化控制。然而，在很多真实应用中（如温室控制），我们难以获得仿真器或者高质量离线数据，而仅仅可以获得不完备的数据环境。在不完备数据环境下，如何提升强化学习的各种性能，例如稳健性、有效性等，是本课题的主要研究内容。

建议研究方向：

1) 基于低质量的离线数据，研究稳健的离线强化学习算法；

2) 基于多个不完备数据环境，研究迁移强化学习、以及元强化学习；

3) 针对马尔可夫假设不成立的情况，研究相应的强化学习算法。

4.2 GAME AI之策略多样性研究

“多样性”本身作为一个研究方向，广泛存在于诸如计算机科学、生物学、经济学等各个学科中。近年来，策略多样性作为GAME AI里的一个研究方向越来越受到学界重视。一方面，出于对“多样性”本身的需求和好奇，策略多样性提供了对同一问题的不同解决方案。另一方面，策略多样性作为一个模块，对其他问题的解决也发挥着至关重要的作用。同时，在工业界，随着AI在游戏里的广泛应用，用户对AI的智能化和多样性都提出了更高的要求。本项研究旨在研究GAME AI领域策略多样性生成的相关前沿技术，同时探索、落地策略多样性在GAME AI领域的应用价值。

建议研究方向：

1) 策略多样性的自动生成：在相应游戏场景中，根据用户定义的多样化指标，生成多样化的策略池，其中每个策略本身满足一定的质量约束（质量约束是指对AI强度的要求）；

2) 策略多样性应用：探索多样化策略池对相关问题的应用价值，相关问题包括但不限于：GAME AI场景中的人机协作、对手/队友建模；游戏本身的多样性和可玩性；游戏NPC的智能性和多样性等。

4.3 最优化出价策略在在线广告的应用

计算广告是当前工业界算法应用最为成熟的领域之一，游戏展示广告是各大广告平台重要的业务组成部分。虽然实时竞价策略可以根据模型对每个流量的预测指标（比如预测的点击率、转化率、用户价值等）评估最终出价，但如何考虑市场因素、整合不同的评估指标以更高效地给出最优出价，仍然存在诸多技术挑战，如市场价格预估、冷启动出价等。本课题旨在基于腾讯游戏海量脱敏数据，利用强化学习等前沿算法框架，最优化游戏展示广告场景下实时竞价广告的出价策略，提升出价效率。

建议研究方向：

1) 设计高效且实用的多场景、动态化的强化学习算法与框架，支持序列决策，优化长期收益；

2) 利用强化学习算法结合实际业务问题，改进、优化当前出价方式，提升整体消耗；

3) 基于强化学习的可拓展性，探索优化冷启动广告出价问题的方法。

4.4 大数据分析与深度学习在攻击检测领域的应用研究

随着信息系统复杂度的增大以及攻击手段的不断演进，传统静态规则检测方案过于依赖人工经验，且很容易被攻击者绕过。本课题旨在把大数据分析和深度学习相关技术（如数据挖掘、自然语言处理、图神经网络等）应用于网络攻击检测研究中，其成果可以弥补静态检测规则过于依赖人工经验的缺点，从数据中挖掘更多潜在的攻击。

建议研究方向：

1) 基于进程树语义表征的恶意属性分析研究，例如评估进程的威胁等级、攻击分类；

2) 系统命令的表征和分类研究，例如识别同样功能的不同表示、命令主成分信息；

3) 进程树结构匹配问题研究，例如评估完整进程树的相似度、评估局部进程树的相似度、对相似程度打分；

4) 基于攻击过程的特征收集攻击线索，结合ATT&CK攻击阶段绘制新攻击的攻击路径；

5) 良性主机的进程白名单方案研究，例如进程白名单防误报、过滤进程白名单后告警。

4.5 在线广告预估领域的多场景学习算法研究

工业界的在线广告系统中，点击率、转化率等精排模型的预估是核心的技术。在联盟广告的场景下，由于不同的接入方式、诸多的广告位样式、众多的媒体，精排模型的预估效果存在诸多技术挑战，集中表现在不同场景下的偏差。而经典的多场景学习算法，在面对联盟广告复杂的场景问题时，参数量、分场景样本量、梯度更新等问题尤为突出，影响模型效果。本课题旨在基于腾讯联盟广告相关脱敏数据，提升不同场景下的精排模型预估效果，尤其是研究多场景学习算法，并迁移应用到联盟广告的预估场景中。

建议研究方向：

1) 调研包括但不限于MMOE、ESMM、SNR、CGC/PLE、STAR等广告推荐场景下常用的多任务学习算法，结合业务做算法适配及优化创新，应用到广告精排点击率、转化率预估的场景；

2) 以算法效果和落地效率为出发点，思考从模型结构、损失函数、优化器、样本构造等角度，设计工业界普遍适用的多场景学习算法，并通过AB实验将算法在多个业务场景落地；

3) 建立合理的多场景下的精排预估模型离线效果评估指标；建立标准的多场景下的精排预估模型的训练、测试样本集。

4.6 面向复杂网络的可解释异常检测算法研究

近年来深度学习逐渐在异常检测领域得到重视与应用，尤其在时序数据、图数据上的异常检测研究取得了很大的进展。然而随着模型复杂度的提升，可解释性与稳定性逐渐成为这类算法面临的新挑战，同时可解释性不足也为这些模型的大规模业务应用增加了难度。当前对于深度学习可解释性的研究主要集中在以下方向：1）对模型的参数或者输入施加调整或者扰动，对模型最终结果的变化进行分析，以此推断模型作出决策的依据；2）直接构建本身就具有可解释性的模型或者模型子结构，或是对已有的复杂模型构建具有可解释性的代理模型。这些研究方向已经取得了一定进展，然而在许多具体的领域应用中，仍然需要比较多的人工调整和针对性优化。本课题旨在能够结合产业真实场景特性，构建出兼顾可解释性与效果的异常检测模型。

建议研究方向：

1) 构建面向大规模支付网络的动态图异常检测模型；

2) 使用隐层分析、因果推理或引入可解释性子结构对上述模型的决策输出可解释性的证据。

4.7 AI算法优化EDA及计算光刻学相关算法研究

近年来，多种机器学习算法被广泛应用于EDA相关的算法场景中，从版图布局布线，到计算光刻学的相关算法，都受益于通过引入机器学习算法而获得的运行效率提升。对于这个领域的研究大致可以分为两个方面：一个是大数据及机器学习的应用对于算法本身的加速，另一方面是用算法（如深度学习）来替代传统的物理场仿真，而达到提升运行效率的目的。本课题旨在通过以上两个方向的尝试，进一步挖掘和探索提升EDA底层算法效率的空间。

建议研究方向：

1) 研究用深度学习等AI算法代替光学等物理场仿真，优化计算光刻学中的仿真算法；

2) 用机器学习方法加速EDA算法，包括但不限于布局和布线以及物理验证等相关问题。