腾讯犀牛鸟精英人才培养计划课题介绍（二）——语音技术&自然语言处理

腾讯犀牛鸟精英人才培养计划是一项面向学生的校企联合培养方案，项目覆盖机器学习、量子计算、计算机视觉、语音技术、自然语言处理等产学研热点方向，入选学生将到腾讯开展科研访问，基于真实产业问题，借助腾讯海量数据、专家指导等资源，验证学术理论，加速成果应用转化，全面提升自身科研能力和综合素质。

2018年度申请时间已经过半，小伙伴们要抓紧哦~

今年共有8个课题方向，54个子课题供大家选择，总有一款适合你！

上一篇文章已经介绍了机器学习及相关应用研究方向、量子计算方向的课题及导师，接下来为大家介绍语音技术方向及自然语言处理方向

语音技术

3.1

结合预测网络的端到端自适应

语音识别系统

目前的端到端语音识别系统缺少很好的自适应能力和鲁棒性，只有在训练数据很大的情况下性能才能与Hybrid 系统匹敌，因而对于长尾的情况识别率不高。在这个项目里，我们结合语音和语言的预测来自动寻找说话人和环境信息并用这些信息快速的对端到端系统进行自适应。

导师简介：

IEEE Fellow, ACM 杰出科学家，腾讯杰出科学家。曾在微软工作多年。主要方向为语音识别。发表过2本专著和170 余篇论文。

3.2

针对鸡尾酒会问题的鲁棒多说话人

语音识别系统

语音识别虽然在某些场景下已经达到了不错的性能，但是在真实复杂的噪声场景下，系统性能急剧下降，离系统实用还有很大差距。这其中，处理那些多人混叠的语音又格外具有挑战性。因而本课题期望利用一些高级的深度学习方法，比如PIT 排列不变性训练、DPCL 深度嵌入分离表示等，并结合多麦克风处理技术和说话人快速自适应方法，来提升系统在处理多人混叠语音上的识别性能。

导师简介：

现任腾讯专家级科学家，之前在上海交通大学任职。目前专注语音识别，说话人识别，深度学习等。发表过近百篇论文。

3.3

低资源下的复杂社交场景

语音信息安全重点技术

本研发全面面向互联网复杂信道场景，在跨语言多语种环境下，UGC 的关键词识别，语音可能是一段低资源的外语，也可能是复杂信道场景下采集的远讲，也有可能是最近非常火的直播。对这类复杂社交场景，低资源下的语音进行关键词唤醒和关键词检索技术的研究，主要表现在：1. 低资源跨语种的神经网络声学模型的适配方法：有效利用现有的使用充足语言数据训练的神经网络声学模型，在只具备有限目标语言数据的条件下，基于各种的模型适配相关技术，训练得到性能与现有模型接近的目标语言的神经网络声学模型。2. 神经网络计算性能优化：一个方向是对庞大的网络参数集进行不同角度的量化或者是子空间聚类，从而压缩参数的表示精度或是表示数目，实现计算加速的目的。希望能结合语音关键词领域进行n-bit 量化神经网络的相关研究与实现。

导师简介：

博士毕业于中科院自动化所，毕业后加入杜比实验室（Dolby Laboratory）,先后负责语音前端（单多通道增强，回声和混响消除，声源定位），下一代语音编解码器TCS，语音的鲁棒传输，会议实时语音识别和关键词检索等项目。在各类国际语音会议和刊物中发表论文17 篇，美国专利10 余项。目前研究兴趣在低资源小语种关键词检索，解码器加速，互联网音频单通道增强等。

3.4

语音与音乐处理技术

基于神经网络进行单通道语音增强的处理，着力于解决鸡尾酒会等用传统信号处理难以解决的单通道语音增强问题，智能地对歌声进行修复，将本来不在节奏或者跑调的歌声通过对声音的各语音特征的调整；语音转换相关技术的研究，通过语音处理改变一个人的语音个性特征，使之具有另一个人的语音特征，但同时保持原有的语义信息不变。

导师简介：

腾讯专家工程师，毕业于北京理工大学，先后就职于中兴通讯、腾讯科技，10 余年语音相关技术研发经验，在实时语音通信各项技术上均有深入研究，有多篇信号处理与网络相关技术专利。近年来积极探索新技术，在基于神经网络的语音增强、语音转换、声音美化等技术上都进行了深入探索与不错的技术积累，团队在Interspeech 等语音顶会也发表了相关领域的论文。

自然语言处理

4.1

基于语义分析和知识推理的

深度文本理解技术及其应用

研究和探索基于语义分析和知识推理的深度文本理解技术以及其在开放域聊天等场景中的应用。

导师简介：

毕业于清华大学计算机科学与技术系，曾任微软亚洲研究院主管研究员和阿里巴巴集团资深算法专家。目前主要研究方向为语义理解和智能人机交互。曾在ACL、EMNLP、WWW、SIGIR、CIKM、AAAI 等国际会议上发表论文20 多篇，曾多次担任ACL、EMNLP、WWW、AAAI 等会议的程序委员会委员以及TOIS、TKDE 等期刊的审稿人。

4.2

基于深度神经网络的文本生成技术

及其应用

研究和探索基于深度神经网络的文本生成技术以及在自动对话生成，文本风格生成上的应用等。

导师简介：

毕业于中国科学技术大学，曾任微软亚洲研究院主管研究员。目前任腾讯专家研究员，主要研究方向为对话交互和文本生成。曾在EMNLP、WWW、KDD 等国际会议上发表多篇论文。

4.3

自然语言处理在腾讯信息安全中的

应用

如何表示文章和句子是目前自然语言处理（NLP）研究领域的一个热门话题。目前的主要方法是从大量的无标注语料中学习有用的特征以表示句子。很多研究者都尝试了非监督的句子表示方法，Google 的Doc2Vec、SkipThought、Facebook 的Sentence2vec 和ICLR'18 提出句子表示框架，然而其中有几个关键问题需要被解决：1. 怎样将词的语义嵌入到句子中；2. 如何有效的表示长文和中文文章；3. 怎样定义目标函数将非监督问题转化成自我监督问题进行学习。目前平台上累积了海量丰富的各类文章，长短不一并且分布在不同的领域，如何有效的训练文章表示模型并利用迁移学习将已经学习到的信息用在之后的NLP任务上是这个项目的主要研究方向。

导师简介：

毕业于澳大利亚悉尼大学，主要从事自然语言处理的应用与研究，在信息抽取、文本分类、知识图谱以及机器学习等方面都有丰富经验。曾在澳大利亚金融部门从事智能反洗钱与风险预测等工作，结合自然语言处理技术建立机器学习预测模型，并推荐预防方案。目前在腾讯从事自然语言处理的基础研究工作。

4.4

基于可微分神经计算机的机器翻译

相对于传统的CNN 和RNN 网络，可微分神经计算机（DNC）作为一个通用框架有更强的记忆和泛化能力，但是目前依然存在一些问题制约了其实际应用：1.复杂的网络结构导致了优化很难，参数十分敏感。2. 一些寻址操作导致模型并行程度不高，很难有效利用GPU 加速。本课题针对上面两个问题，优化DNC网络，构建基于DNC 的新一代神经网络机器翻译模型（NMT）。

导师简介：

博士毕业于中国科学院计算技术研究所，研究方向为自然语言处理和深度学习。在ACL、EMNLP、IJCAI、AAAI 等国际顶级会议发表论文数十篇，并长期担任ACL、EMNLP、Neural Computation、JCST 等国际顶级会议和期刊审稿人。

4.5

面向NMT 的多目标函数优化：

翻译和译文质量评价

神经网络机器翻译（NMT）是AI 和NLP 的重要研究热点。现有的NMT 使用最大似然估计作为优化目标，并不对译文质量进行量化评估。本课题旨在探索改进NMT 优化策略的方法，通过改进模型结构和调整优化目标等，实现最大似然估计和译文评价指标的多目标优化，旨在提高翻译质量的同时，对译文的可用性给出评价。

导师简介：

博士毕业于中国科学院计算技术研究所，研究兴趣为机器翻译、自然语言处理和对话系统。曾作为主要核心人员参与863 重大项目、教育部面上项目、三星SVoice（中文、日文）智能助手系统等多个科研项目的研发。在ACL、EMNLP、AAAI 等顶级国际会议发表学术论文10 余篇。目前从事翻译引擎及相关NLP 工具的研发和改进。

4.6

阅读理解与问答

对给定的问题和参考信息段落提供答案。包括对问题的理解、参考信息的理解、答案的抽取等自然语言处理技术。

4.7

增强学习在自然语言处理中的应用

依靠真实的产品场景和数据，探索增强学习在自然语言处理中的应用，包括序列生成，多轮对话与问答等技术方向。

4.6~4.7 导师简介：

中科院理论物理研究所统计物理专业博士。当前负责机器学习与自然语言理解相关的技术和产品应用，包括对话系统、阅读理解、机器翻译等方向，在ACL、NIPS 等顶会上发表过多篇文章。

4.8

大规模知识图谱的构建与

在问答系统中的应用

构建大规模的领域知识图谱，重点进行知识获取、知识表达、和基于知识的自动问答的研究。