最新 最热

少到4个示例,击败所有少样本学习:DeepMind新型800亿模型真学会了

机器之心报道编辑:陈萍、杜伟DeepMind 的这个模型,可以说是「看一眼」就学会了。关于智能,其关键点是在得到一个简短的指令时快速学习如何执行新任务的能力。例如,一个孩子在动物园看到动物时,他会联想到自己曾在书中看到...

2022-05-05
0

发布日志记录、公开所有代码,Meta开放1750亿参数大模型,媲美GPT-3

机器之心报道编辑:陈萍OPT-175B,使人工智能更加开放和可复制。Meta AI 在昨天公布的一篇论文可谓是炸开了锅,论文网站 paperswithcode 热搜榜第一,众多 AI 大佬推荐:LSTM 提出者和奠基者,奥地利人工智能高级研究所(IARAI)创始...

2022-05-05
0

斯坦福教授曼宁AAAS特刊发文:大模型已成突破,展望通用人工智能

机器之心报道编辑:泽南、小舟NLP 正在推动人工智能进入激动人心的新时代。当前人工智能领域热度最高的方向就是预训练大模型了,很多人相信,这项研究已在通用人工智能领域初显成效。自然语言处理领域著名学者,斯坦福大学教...

2022-05-05
0

ACL 2022|复旦、字节等推出首个可解释类比推理数据集,中英双语

机器之心专栏作者:陈江捷、徐锐来自复旦大学、字节跳动人工智能实验室等机构的研究者提出E-KAR 数据集,这是首个可解释的知识密集型类比推理数据集,相关工作已经被 ACL 2022 Findings 接收。类比在人类认知中占有重要地...

2022-05-05
0

广告行业中那些趣事系列41:广告场景中NLP技术的业务应用及线上方案

摘要:本篇主要介绍了广告场景中NLP技术的业务应用和线上方案,主要介绍了三大类任务:第一类任务是文本分类任务,业务主要包括自然兴趣建模体系、搜索场景行业词包和在线分类以及商店/搜索/评论等舆情分析,同时介绍我们的线...

2022-05-05
1

广告行业中那些趣事系列49:oCTS:一个标注人员都可以优化分类器的训练系统

摘要:本篇主要介绍我们构建的oCTS分类器优化训练系统,一个标注人员都可以优化分类器的训练系统。首先介绍了项目背景和目标,oCTS主要针对人工可标注的数据场景又好又快的训练分类器;然后重点介绍了项目技术概要,涉及主动学...

2022-05-05
1

广告行业中那些趣事系列47:NLP中对比学习SOTA必学模型ESimCSE

摘要:本篇从理论到实践分享了当前NLP中对比学习SOTA模型ESimCSE。首先回顾了无监督SimCSE以及存在的两个问题;然后重点详解了ESimCSE,包括ESimCSE介绍、通过词重复优化正例构建、通过动量对比优化负例构建和模型实验效果...

2022-05-05
1

广告行业中那些趣事系列45:你想要的NLP各任务baseline这里都有

摘要:本篇从业务实践的角度分享NLP各任务的baseline。首先介绍背景以及CLUE社区提供的NLP公共数据集;然后分别介绍了NLP各子任务的公共数据集、技术方案以及实践源码,主要包括文本分类任务、文本匹配任务、关键词识别任...

2022-05-05
0

哈工大丁效:基于神经符号的认知推理方法

作者 |  丁效整理 | 维克多在过去十年的人工智能浪潮中,以深度学习为代表的人工智能技术已基本实现了视觉、听觉等感知智能,但依然无法很好地做到思考、推理等认知智能。4月9日,哈尔滨工业大学计算学部副研究员丁效,在AI...

2022-05-05
0

少于两层的transformer,且只有注意力块,GPT-3:你怕不是搞事情?

只有一层或两层、且只有注意力块的transformer,在性能上有望达到96层、兼具注意力块与MLP块的GPT-3的效果吗?作者 | Mordechai Rorvig编译 | bluemin编辑 | 陈彩娴在过去的两年里,基于Transformer架构开发的大规模语言模...

2022-05-05
0