2022年CCF-腾讯犀牛鸟基金课题介绍—多模态融合&软件工程

CCF-腾讯犀牛鸟基金于2013年由腾讯公司和中国计算机学会（CCF）共同发起，今年是基金发起的第10年。10年来，犀牛鸟基金致力于为海内外青年学者搭建产学合作创新的平台，推动科技在产业创新和社会发展中持续发挥价值。

本年度犀牛鸟基金设立12个技术领域共35项研究命题，我们将分7期对各项命题进行详细介绍，本文重点聚焦多模态融合&软件工程领域，欢迎海内外优秀青年学者关注并申报。

8.多模态融合

8.1 多媒体数字水印与视频内容篡改识别

随着多媒体技术和网络通信的发展，数字媒体的安全隐患日益严重，一方面平台需要有能保障创作者权益的能力，另一方面平台需要有能识别数字媒体是否被篡改的能力。本课题旨在探索保障多媒体数据安全的技术和方法，提升平台的安全等级，保障互联网生态安全。

建议研究方向：

1) 多媒体数字水印技术，研究方向不限于图像/音频/文本的数字水印算法建模和实现；

2) 视频内容取证/篡改识别的算法研究工作，包括基于元数据分析、深度学习方法建模，用于拼接检测以及篡改定位。

8.2 基于深度学习的可调风格的短视频背景音乐合成

随着短视频的风靡，我们的娱乐方式和信息获取的方式有了很大的改变。合适风格的背景音乐可以增强短视频的情感氛围以及表现力，并显著提升用户的体验和情感反应。然而，背景音乐高昂的版权费和有限的版权使用时间使得短视频制作成本变得很高，并且选取符合短视频风格的音乐也需要一定的专业创作门槛。现有的音乐智能生成技术生成的音乐结构相较简单，其情感、风格难以符合短视频的整体需求。本课题旨在研究如何使用深度学习技术生成结构、情感饱满，并与短视频风格相匹配的背景音乐，从而降低短视频的制作成本和创作门槛。课题组可以提供附有背景音乐的短视频训练样本，具有版权的音乐数据集和所需的计算资源。

建议研究方向：

1) 音乐结构的生成模型：探究利用生成对抗网络、变分自动编码器等深度生成模型，在给定视频风格的嵌入下，生成符合特定风格的音乐；

2) 多乐器的复杂音乐的合成：探究使用生成模型在多乐器条件下合成出使用这些乐器创作出的高质量旋律或伴奏；

3) 视频风格提取：探究使用深度网络，提取视频的风格信息，用以作为风格条件合成音乐。

8.3 语音驱动的带表情3D面部动画合成

语音驱动的3D口型动画近些年在学术界得到了广泛的研究，并取得了不错的成果，同时在游戏动画制作中也获得了广泛的应用。但是，通过用户指定情绪或由语音直接合成带有情绪的、逼真的面部动画，仍是未解决的难题。本课题旨在实现一种由语音驱动的、带表情的面部动画合成方案，目标为：1.能够根据语音生成自然且精确的唇形动画；2.能够根据用户指定的情绪类型及其强度，自动合成出逼真的面部动画(包括面部、嘴部、舌头、及头部的运动)；3.能够从语音直接提取出用户情绪，与口型动画相结合，合成自然的、带表情的面部动画。

建议研究方向：

采用监督学习方法，从多模态数据库中（包含同步的语音、文本、面部动画等数据）学习，来合成自然的、带表情的3D面部动画，情绪不仅可以由语音或文本智能提取，也可以通过用户直接指定。

9.软件工程

9.1 代码智能生成技术研究

由于产品和业务逻辑的复杂性增加，当前软件开发的规模和复杂度也在不断的增加。如何高效的研发大规模、复杂特性的软件，提高软件开发的生产效率是当前亟待解决的一个问题。因此，代码生成技术得到重视。代码生成是机器根据结构化或非结构化的功能描述自动生成源代码的过程。传统上已有基于经验、模板、规则的方式生成的代码，其一般受限于领域特性，生成的代码较为局部，难以获得通用性。随着深度学习、Transformer模型等的飞速发展，如何采用机器学习的方式从代码大数据中学习从而指导机器自动生成代码是当前一个热门研究方向。本课题旨在探索基于代码描述或注释等信息自动生成代码的技术，或者基于代码上下文的自动补全技术，以提高软件开发的效率。

建议研究方向：

1) 基于函数/类/文件描述信息或注释的代码生成技术；

2) 基于程序上下文的代码行/代码块补全技术；

3) 特定场景的代码生成技术。

9.2 面向二进制程序的软件安全关键技术研究

随着软件复杂度的不断提升，面向二进制程序的分析与安全保障工作面临新的机遇和挑战。本课题旨在结合学术界研究热点，选取真实业务场景密切相关的研究课题，研究成果可以对二进制程序分析中的逆向工程、漏洞挖掘等关键任务产生积极影响。

建议研究方向：

1) 机器学习技术在二进制程序分析场景下的应用研究，包括但不限于二进制代码相似度分析、无符号二进制文件的符号补全、二进制代码与源代码的匹配与翻译；

2) 供应链安全场景下面向二进制程序的分析技术研究，包括但不限于二进制可执行文件的软件成分分析，如第三方库及其版本号等关键信息识别、已知漏洞的识别检索；

3) 基于抽象解释的二进制程序静态分析技术研究，包括但不限于值集分析、抽象解释下的安全属性研究、降低误报方法研究；

4) 编译器（解释器）测试代码的自动生成和优化技术研究，包括但不限于自动生成用于编译器（解释器）模糊测试符合特定程序设计语法结构的程序代码及其预期结果、面向上述测试的过程优化技术。