盘点NLP最新进展:多语种40+任务最优结果任你查

2019-03-07 14:14:09 浏览数 (1)


新智元报道

来源:nlpprogress.com

编辑:大明

【新智元导读】本文是一个自然语言处理资源索引,涵盖了目前NLP领域常用任务的最佳实验 结果和数据集资源,可以作为进一步从事NLP研究的基础。读者也可以自行在Github页面上添加新的结果,本文中大部分为英文NLP资源,还有少数汉语、印地语和越南语资源。

本文实际上是一个索引,旨在记录自然语言处理(NLP)领域的新进展,并概述最常见的NLP任务及其相应数据集的新技术。

这篇索引旨在涵盖主要的传统和核心NLP任务,如语义依赖性解析和词性标注等,以及最近不断取得新突破的任务,比如阅读理解和自然语言推理。本文主要目标是为感兴趣的读者提供关于NLP基准数据集的快速概览,以及最新技术的进展,这些数据集和新进展可以作为进一步NLP研究的基础。

因此,本文有意将这些NLP领域的新研究进展做一个简单汇总,便于研究人员集中查阅参考。

读者也可以通过浏览器访问nlpprogress.com 或nlpsota.com来阅读本文。

简易使用指南

实验结果

本文首选在已发表的论文中的实验结果,但对少数影响力很大的预印本论文也可能入选。

数据集

本文中收录的数据集,除了利用该数据集的论文之外,还应经过至少一篇已发表的其他论文的评估。

代码

我们建议添加指向实现的链接(如果可用)。如果代码不存在,您可以向表中添加代码列(见下文)。在Code列,建议使用官方实现。如果有非官方实现,请使用链接(见下文)。如果没有可用的实现,可以将单元格留空。

向本索引中添加新结果

如果要添加新结果,只需单击文件右上角的小编辑按钮以执行相应任务(如下图所示)。

读者可以在Markdown中编辑文件。只需以相同的格式将一行添加到相应的表中即可。确保表格中数据排序正确(将最佳结果位于顶部)。完成更改后,单击页面顶部的“预览更改”选项卡,确保表格看起来还不错。如果一切看起来都OK,请转到页面底部确认更改。

此处需要为建议更改添加名称,可以选择添加说明文字,可以选择“创建新分支并启动拉取请求”,然后单击“提交更改”。

具体索引内容和研究领域如下,绝大部分为英语,有少量资源为汉语、印地语和越南语。

英语

  • 自动语音识别
  • CCG超级标准
  • 常识
  • 选区解析
  • 共同决议
  • 依赖解析
  • 对话
  • 域适应
  • 实体链接
  • 语法纠错
  • 信息提取
  • 语言建模
  • 词汇规范化
  • 机器翻译
  • 多任务学习
  • 多模态
  • 命名实体识别
  • 自然语言推理
  • 词性标注
  • 问答
  • 关系预测
  • 关系提取
  • 语义文本相似度
  • 语义解析
  • 语义角色标记
  • 情绪分析
  • 浅语法
  • 简单化
  • 状态检测
  • 概要
  • 分类学习
  • 时间处理
  • 文字分类
  • 词义消歧

中文

  • 实体链接
  • 中文词汇分割

印地语

  • 分块
  • 词性标注
  • 机器翻译

越南语

  • 依赖解析
  • 机器翻译
  • 命名实体识别
  • 词性标注
  • 分词

最后以”中文-词汇分割”子类目为例,简单说明这个索引资源的呈现方式。

点击相应链接进入,首先是中文词汇分割这个任务的简要介绍。

下面列出了不同作者建立的基于不同搜索方式的单词分割模型,以及相应模型的发表时间。

接下来是评估指标,此类中为F1分数。下面以表格形式给出每种模型在不同数据集上获得的最佳F1分数。每个分数对应的研究论文链接和部分Github资源地址。

可以看到,表中中文词汇分割模型的最优F1分数均超过了96分,感兴趣的读者可以点击查看论文或Github资源。

0 人点赞