最新 最热

超越Transformer,清华、字节大幅刷新并行文本生成SoTA性能|ICML 2022

---- 新智元报道  编辑:好困【新智元导读】清华&字节联合提出的DA-Transformer摆脱了传统并行模型依赖知识蒸馏的问题,在翻译任务中大幅超越了之前所有并行生成模型,最高提升 4.57 BLEU。同时也首次达到、甚至超越了自...

2022-07-19
2

共话机器翻译新风向,第二届小牛翻译论坛启幕在即

1949年7月15日,美国数学家Warren Weaver发表了《翻译备忘录》,提出了机器翻译的概念。2021年,作为国内规模最大的机器翻译引擎研发团队,小牛翻译团队携手东北大学自然语言处理实验室,决定在每年7月15日举办“小牛翻译论坛...

2022-07-19
2

原创 | 一文读懂Transformer

作者:陈之炎本文约3500字,建议阅读7分钟Transformer 是第一个完全依赖于自注意力机制来计算其输入和输出的表示的转换模型。主流的序列到序列模型是基于编码器-解码器的循环或卷积神经网络,注意力机制的提出,优化了编解码...

2022-07-12
2

今晚,一起来聊聊吸引NLP与CV圈眼球的MoE技术

在过去的十几年里,受到算法设计、数据、算力三大关键因素的推动,深度学习取得了突破性进展,极大地变革了图像分类、机器翻译等领域。然而在这个过程中,大模型以及数据集的使用是以大量计算需求为代价的。过往的一些研究表...

2022-07-06
2

ACL2022 | 基于神经标签搜索的零样本多语言抽取式文本摘要

每天给你送来NLP技术干货!----©作者 | 机器之心编辑部来源 | 机器之心这项研究旨在解决零样本下法语、德语、西班牙语、俄语和土耳其语等多语种的抽取式摘要任务,并在多语言摘要数据集 MLSUM 上大幅提升了基线模型...

2022-07-04
2

吸引机器学习圈眼球的MoE,会成为 NLP 与 CV 的未来吗?

在过去的十几年里,受到算法设计、数据、算力三大关键因素的推动,深度学习取得了突破性进展,极大地变革了图像分类、机器翻译等领域。然而在这个过程中,大模型以及数据集的使用是以大量计算需求为代价的。过往的一些研究表...

2022-07-04
2

基于神经标签搜索,中科院&微软亚研零样本多语言抽取式摘要入选ACL 2022

来源:机器之心本文约2500字,建议阅读5分钟本文介绍了基于神经标签搜索情况下,中科院和微软亚研的实验进展。这项研究旨在解决零样本下法语、德语、西班牙语、俄语和土耳其语等多语种的抽取式摘要任务,并在多语言摘要数据...

2022-07-04
2

近200篇文章汇总而成的机器翻译非自回归生成最新综述,揭示其挑战和未来研究方向

每天给你送来NLP技术干货!----作者:杜林鸽学校:苏州大学人工智能实验班方向:自然语言处理论文标题:A Survey on Non-Autoregressive Generation for Neural Machine Translation and Beyond论文链接:https://arxiv......

2022-06-27
2

10岁是个分水岭!根治英语头疼病,这支笔了解一下

---- 新智元报道  编辑:David 好困【新智元导读】大热天的,别整天抱着单词本不放了,找个新朋友陪读陪聊陪作业,它不香么?大家先来猜猜,这个「赛马场巨头」是什么?没错,是「The Lord of the Rings」指环王。显然,「赛马场巨头...

2022-06-27
1

基于神经标签搜索,中科院&微软亚研零样本多语言抽取式摘要入选ACL 2022

机器之心专栏机器之心编辑部这项研究旨在解决零样本下法语、德语、西班牙语、俄语和土耳其语等多语种的抽取式摘要任务,并在多语言摘要数据集 MLSUM 上大幅提升了基线模型的分数。抽取式文本摘要目前在英文上已经取得...

2022-06-27
2