每天给你送来NLP技术干货！
依托全国计算语言学学术会议（CCL），自2017年以来“讯飞杯”中文机器阅读理解（CMRC）系列评测已成功举办四届，对中文机器阅读理解的不同任务进行了评测，见证了中文机器阅读理解技术的不断发展。今年我们继续承办第五届“讯飞杯”中文机器阅读理解评测（CMRC 2022），并将于2022年10月在第二十一届全国计算语言学学术会议（CCL 2022）上召开评测研讨会。我们诚挚邀请各单位和个人报名参加本届评测。
CMRC 2022官网：http://cmrc2022.hfl-rc.com
任务简介
第五届“讯飞杯”中文机器阅读理解评测（CMRC 2022）聚焦的任务是可解释性阅读理解。根据给定一个篇章以及和篇章相关的问题，参赛队伍需要设计一个可以同时抽取答案（或者选择答案）和佐证依据的机器阅读理解系统。根据阅读理解类型分为以下两个赛道：
- 抽取型阅读理解赛道：答案和佐证依据均是篇章中的某个连续片段
- 选择型阅读理解赛道：答案是从若干个候选选项中选出，佐证依据是篇章中的某个连续片段
本届评测的难点在于组委会并不提供带标注的训练集合。因此，选手需要设计无监督或弱监督的机器阅读理解系统来完成答案和佐证依据的抽取。为了训练机器阅读理解系统，参赛队伍可以使用任何公开数据集的训练集部分以及无标注数据，但不能使用任何未公开数据集以及公开数据集中的开发集和测试集。
请访问评测官网了解更详细的任务介绍。推荐阅读往期推送了解本届评测使用的数据集：哈工大讯飞联合实验室发布可解释性阅读理解评测集ExpMRC
比赛流程
本届比赛依次分为以下几个阶段：
- 资格赛：参赛队伍将通过官方平台自助提交开发集结果，取前10名进入到资格审查环节。选手可以在报名之后就开始搭建并优化比赛系统，待榜单开启后提交结果。
- 资格审查：入围队伍需要提交代码以完成资格审查（后续公布详细流程），同时需要提供训练数据来源的详细说明。资格审查通过的队伍进入到决赛。
- 决赛：资格审查通过的队伍将提交两组系统，由组委会给出测试集结果，取两组系统测试集“综合F1”指标高的结果作为该队伍的最终评测结果，参与最终的排名。
重要时间
阶段 | 时间 |
|---|---|
报名 | 2022年5月18日-2022年7月31日 |
资格赛 | 2022年6月1日-2022年7月31日 |
榜单开启 | 2022年6月13日 |
资格审查 | 2022年8月1日-2022年8月15日 |
决赛 | 2022年8月16日-2022年8月31日 |
公布比赛结果 | 2022年9月中旬 |
撰写评测报告 | 2022年9月下旬 |
评测研讨会 | 2022年10月14日-2022年10月16日（TBA） |
评测报名
请扫描下方二维码或使用链接进行报名。
报名地址：https://wj.qq.com/s2/10202266/6435/
奖项设置
本届评测将由中国中文信息学会为获奖队伍提供荣誉证书，由科大讯飞股份有限公司为获奖队伍提供奖金。每个赛道将评选出：
奖项 | 数量 | 奖励（奖金为税前金额） |
|---|---|---|
冠军 | 一名 | ￥10,000 荣誉证书 |
亚军 | 一名 | ￥5,000 荣誉证书 |
季军 | 一名 | ￥ 3,000 荣誉证书 |
评测组织
【评测主席】
崔一鸣（哈工大讯飞联合实验室）
车万翔（哈尔滨工业大学）
【组织单位】
认知智能国家重点实验室
哈尔滨工业大学社会计算与信息检索研究中心（HIT-SCIR）
中科讯飞互联（北京）信息科技有限公司
【赞助单位】
科大讯飞股份有限公司
联系我们
如果有任何与本届评测相关的问题，请联系评测委员会。
邮箱：cmrc2022 [at] 126 [dot] com
CCL 2022评测列表：第二十一届中国计算语言学大会（CCL 2022）技术评测任务发布
最近文章
EMNLP 2022 和 COLING 2022，投哪个会议比较好？
一种全新易用的基于Word-Word关系的NER统一模型，刷新了14种数据集并达到新SoTA
阿里 北大 | 在梯度上做简单mask竟有如此的神奇效果
ACL'22 | 快手 中科院提出一种数据增强方法：Text Smoothing，非常简单且有效尤其在数据不足的情况下
