微软亚洲研究院周明 | 从语言智能到代码智能

微软亚洲研究院副院长周明老师报告：From Language Intelligence to Code Intelligence Based on Pre-trained Models

感谢周明老师的分享以及Windy同学的笔记，完整报告内容文末阅读原文一键直达。

代码智能(Code Intelligence)旨在使计算机具备理解和生成代码的能力，并利用编程语言知识和上下文进行推理，支持代码检索、补全、翻译、纠错、问答等场景。

以深度学习为代表的人工智能算法，近年来在视觉、语音和自然语言理解任务上取得了飞跃式的突破。最近基于Transformer的预训练模型大大推动了自然语言处理和多模态的技术进步。而基于最新的自然语言技术与编程语言知识相融合的代码智能的研究也受到越来越多的关注。

本报告将介绍微软亚洲研究院自然语言计算组在该研究领域的一系列最新进展，包括针对代码智能的预训练模型(CodeBERT/CodeGPT)、基准数据集(CodeXGLUE)和融合了编程语言句法和语义信息的新的评价指标(CodeBLEU)。最后，本报告研讨该领域目前存在的主要问题并探索未来的发展方向。

报告笔记如下。

利用数据自然特点，不需要人工标注

「UniLM」（Dong et al.,2019）
- GPT是单向，适合做生成；
- Bert是双向，适合做理解。
- 能否合成？用了一个统一架构三个部分做多任务学习。
「Unicoder for Understanding」 (Huang et al.,2019)
- 多语言；
- 增加contrastive learning任务判断是否构成互译。
「Unicoder for Generation」 (Liang et al.,2020)
- 由于2不能做生成而提出；
- 对输入加噪，试图在解码时去噪。
「Unicoder一VL for Images」 (Li et al, 2020)
- 到图像上的预训练，考虑图片注释。
「Unicoder一VL for Videos」 (Luo et al., 2020)
- 同理，做视频的预训练，多任务训练得到，融入了文本信息。
「LayoutLM: Text Layout Pre 一training」
- 文档的预训练（考虑了排版的信息，OCR结果的位置信息）

能不能把自然语言的方法应用到代码领域，提高效率？

「CodeBERT」 (Model-1)
- baseline，在数据基础上直接训练一个Bert。
「CodeBERT (Model-2): Pre-Train with Code Text」
- 考虑到代码有自己的特点（注释）。
「CodeBERT (Model-3): Pre-Train with Code Text Structure」
- 除了注释还考虑到代码有结构（AST），变量有依赖或顺序关系。
「CodeGPT」