机器之心原创
机器之心编辑部
BERT 自然语言处理模型,TensorFlow、PyTorch 深度学习平台,Waymo 自动驾驶汽车……这些能让我们记住的、与顶级 AI 相关的底层技术、平台、产品几乎无一不是舶来品。但 2019 年,我们也看到了部分「进口」技术断供带来的震荡和恐慌。在此背景下,「国产」、「自研」受到了空前的重视。作为中国 AI 的担当,百度 AI 在过去的 2019 年也贡献了不少优质的「国货」。
一年 5712 件:百度领跑中国专利申请数量排行榜
2019 年,百度继续领跑国内机构专利申请数量排行榜。
截至 2019 年 10 月,中国人工智能专利申请量累计 44 万余件,已超越美国成为 AI 领域专利申请量最高的国家。
在这份成绩单中,百度表现亮眼。在 12 月初国家工业信息安全发展研究中心发布的 2019 年度《人工智能中国专利技术分析报告》中,百度以全年 5712 件的专利申请数量位列第一,这也是百度连续两年蝉联第一。
在深度学习技术、语音识别、计算机视觉、云计算、自然语言处理、智能驾驶技术、智能机器人七个人工智能核心领域中,百度包揽了四项分榜的第一名。另据世界知识产权组织报告显示,百度在深度学习领域专利申请量位居全球第二。
蝉联专利申请榜的背后,是百度 AI 在核心技术上的深厚积累和坚定投入。在 11 月公布的百度 2019 年第三季度财报中,百度第三季度研发投入达 47 亿元人民币,占营收比重 16.7%,这一规模的投入,在全球科技公司中位居前列。
23 个冠军、200 多篇论文:前沿技术研究大放异彩
2019 年,百度 AI 在各个国际顶会、各项 AI 赛事中,展示出了 AI 核心玩家的实力。
在诸如 CVPR、ICCV、NeurIPS、MRQA 等全球公认的 Top 级赛事及学术顶级会议上,百度 AI 共包揽 23 项国内外竞赛冠军,200 多篇论文被各大顶会收录,在语义评测、中英翻译、阅读理解领域均取得优异成绩,包括国际语义评测比赛、MRQA 等多个大赛冠军。
2 月,在第十三届国际语义评测比赛的论坛评论建议挖掘任务评测中,百度一举击败来自全球的 210 余支队伍,最终以 F 值 78.12% 的成绩夺得冠军,填补了评论建议挖掘领域的空白。
在 4 月的 ICME 人脸 106 关键点检测比赛中,百度大脑视觉技术团队与全球 20 多个优秀代表队同台竞技,最终夺得冠军。
5 月,在国际权威的多目标追踪挑战(Multiple Object Tracking Challenge,MOT)的 MOT16 榜单上,百度视觉技术团队超越众多实力强劲团队,获得榜单世界第一的好成绩。MOTA 指标显著提升,超越第二名 1.8 个点。
6 月,百度在 CVPR 2019 中共摘得 10 项竞赛任务的冠军,包括视觉领域下的视频理解与分析、目标检测、图像超分辨率、智能城市车辆识别、人脸&人体检测等众多热门子领域。
8 月的 MRQA2019 阅读理解国际评测比赛中,在飞桨的助力下,百度团队以平均 F1 值 72.55% 的成绩夺得这一次机器阅读理解测评的冠军,超过了第二名近两个百分点,同时,在全部 12 个测试数据集中的 10 个排名第一。
10 月,百度首次参加 ICCV VOT 2019 单目标跟踪国际竞赛,百度大脑视觉技术团队&华中科技大学电信学院团队击败了来自全球知名企业、高校研究所的 46 支团队,凭借跟踪算法 ATP,在测试集上以 27.5% 的成绩夺得冠军,同期在 Wider Challenge 人脸检测国际竞赛中,百度大脑视觉团队又以 mAP 值 57.13% 的成绩获得人脸检测的冠军,远超去年冠军 55.82% 的成绩。
10 月,NeurIPS 2019: Learn to Move 强化学习赛事落下帷幕,百度继 2018 年夺得冠军后再度蝉联冠军,也是参赛的 300 支队伍中最终完成挑战的 3 支队伍之一。基于飞桨的强化学习框架 PARL 不仅成功完成挑战,还大幅领先第二名 143 分。
国际权威赛事的冠军,是百度大脑在前沿技术领域的实力体现。
这一年,百度大脑提出流式多级的截断注意力模型 SMLTA,在国际上首次实现流式注意力建模超越整句注意力模型的性能,也是国际上首次实现在线语音识别大规模使用注意力模型。SMLTA 在大幅提升识别速度的同时,也提高了识别准确率。输入法有效产品相对准确率提升 15%,音箱有效产品相对准确率提升 20%。
流式多级的截断注意力模型 SMLTA
这一年,在视觉技术方面,百度形成了包括图像、视频、AR/VR、重要垂类、软硬一体化五大方向的特色视觉技术矩阵。OCR、物体检测、视频理解、目标跟踪等业界领先的图像与视频技术多次在国内外顶级赛事中取得佳绩,例如在 CVPR 2019 就取得 10 项冠军,并已在机械制造、金融、医疗、教育等领域得到广泛应用。创新的 3D 和 AR 视频交互技术,已经实现人脸、手势、环境、肢体多维度的技术突破,可用于一体化人机交互等创新应用。
这一年,在语言和技术方面,百度大脑的预训练模型 ERNIE 让业界惊艳。
预训练模型 ERNIE 登顶 GLUE 排行榜
2019 年底,百度 ERNIE 模型超越微软 MT-DNN-SMART、谷歌 T5、ALBERT,登顶 GLUE 排行榜。
12 月初,国际人工智能顶会 NeurIPS 2019 拉开帷幕,1.3 万人齐聚加拿大温哥华。作为 NeurIPS 2019 的重度参与者,百度在会上展示了 NLP 领域的最新突破,其中最亮眼的要数预训练模型 ERNIE 2.0。
ERNIE 是百度打造的一个可持续学习的知识增强语义理解框架,通过建模海量数据中的实体、概念等先验知识,学习真实世界的语义关系。
大会召开期间,ERNIE 模型在自然语言处理领域权威数据集 GLUE 中荣登榜首,以 9 个任务平均得分首次突破 90 大关刷新该榜单,超越微软 MT-DNN-SMART, 谷歌 T5、ALBERT 等一众国际顶级预训练模型。
在自然语言理解领域,GLUE(General Language Understanding Evaluation)是一个很重要的行业标准,用于评估 NLP 模型在现有的多个自然语言理解任务中的性能,包括文本蕴涵、情感分析和语法判断等。由于其公认的权威性,谷歌、Facebook、微软、卡内基梅隆大学等国际顶尖企业和机构不断向该排行榜发起挑战。
从 2018 年下半年以来,BERT、XLNET、T5 等预训练语言模型先后刷新 GLUE 排行榜,表明对大型语料库的预训练可能在自然语言处理中起着至关重要的作用。但这些模型的出现也在不断推高自然语言处理任务的基线水准。在这样的形势下,基线的进一步推进变得越来越困难。
刷榜背后,ERNIE 今年的表现可谓惊艳。3 月份,百度提出知识增强的语义表示模型 ERNIE 1.0;7 月底发布持续学习语义理解框架 ERNIE 2.0,当时在共计 16 个中英文任务上超越 BERT、XLNET,取得了 SOTA 的效果;11 月,百度发布基于 ERNIE 的语义理解开发套件。从原理、应用到开源及平台化,百度在 NLP 预训练领域进行了极具价值的创新及实践。
目前,ERNIE 已经在阅读理解、情感分析、搜索智能问答、视频推荐、CTR 预估等工业级应用中广泛使用,效果提升非常明显。
打造中国 AI 核心竞争力,不断升级的百度飞桨
2019 年,人工智能的发展走入快速落地期,在全球科技竞争日益加剧的当下,关于深度学习框架的「基础设施之争」愈演愈烈。
深度学习掀起了第三次人工智能热潮,以深度学习框架为核心的深度学习平台下接芯片,上承各种应用,是「智能时代的操作系统」。IDC《中国深度学习平台市场份额调研》报告显示,在接受调研的企业和开发者中,86.2%选择使用开源深度学习框架。
但在谈到深度学习开源框架时,我们的第一反应可能是 Facebook 的 PyTorch 或谷歌的 TensorFlow,前者称霸学界,后者固守业界,占据了深度学习平台市场的大部分份额。然而,从今年发生的种种科技、贸易争端来看,这种对于国外平台的严重依赖长远来看不利于国内深度学习生态的发展。
在全球开源深度学习框架排行榜上,百度飞桨成为排行榜前五中唯一的「国货」。
从 2008 年起,百度开始建设大规模机器学习基础设施、模型、工具及实验平台,并在 2013 年推出了飞桨的原型「Paddle」。2016 年,百度正式开源 PaddlePaddle,这也是国内唯一开源开放、功能完备的深度学习框架——飞桨。
上述报告显示,百度飞桨与谷歌、Facebook 在深度学习平台市场份额中名列前三,领衔中国深度学习平台市场,也是市场份额前五中唯一的国货。
这一年来,飞桨围绕深度学习框架的基本功能、性能、芯片支持的完备性等技术指标进行了一系列的易用性开发和性能迭代。
当下,飞桨在核心技术方面具备了 4 大代表性的领先技术:
- 开发便捷的产业级深度学习框架。飞桨深度学习框架采用基于编程逻辑的组网范式,对于普通开发者而言更容易上手,符合他们的开发习惯。同时支持声明式和命令式编程,兼具开发的灵活性和高性能。网络结构自动设计,模型效果超越人类专家。
- 超大规模深度学习模型训练技术。飞桨突破了超大规模深度学习模型训练技术,实现了世界首个支持千亿特征、万亿参数、数百节点的开源大规模训练平台,攻克了超大规模深度学习模型的在线学习难题,实现了万亿规模参数模型的实时更新。
- 多端多平台部署的高性能推理引擎。飞桨不仅兼容其他开源框架训练的模型,还可以轻松地部署到不同架构的平台设备上。同时,飞桨的推理速度也是全面领先的。尤其经过跟华为麒麟 NPU 的软硬一体优化,使得飞桨在 NPU 上的推理速度进一步突破。
- 覆盖多领域的产业级开源模型库。在上述能力强化的基础上,飞桨官方支持 100 多个经过长期产业实践打磨的主流模型,其中包括在国际竞赛中夺得冠军的模型,同时开源开放 200 多个预训练模型,以助力快速产业应用。
飞桨产业级深度学习开源开放平台全景图
此外,华为麒麟芯片也与百度飞桨深度合作,打通深度学习框架与芯片 AI 算力,强强联合创造中国 AI 核心竞争力。
23 个城市,300 万公里:Apollo 的飞速奔跑
2019 年,全球进入自动驾驶量产阶段,百度 Apollo 也在路上飞速地奔跑着,从硬核技术到商业落地,成果斐然。
自从百度 Apollo 自动驾驶开放平台发布后,两年以来,百度 Apollo 平台开源代码数量超过 56 万,汇聚了全球范围内 97 个国家 3.6 万名开发者和 177 家生态合作伙伴,Apollo 自动驾驶平台已成为全球最强大、最开放、最活跃的自动驾驶平台。
其中,大规模自动驾驶数据集 ApolloScape 是首个来自大型自动驾驶公司的大规模开放数据集,是行业内环境最复杂、标注最精准的三维自动驾驶公开数据集之一,自 2018 年 3 月发布以来,已经在全球范围内被下载上万次。
ApolloScape 数据集示例:彩色图像(上部)及其二位语义标签(下部)
2019 年,百度 Apollo 公开了自动驾驶纯视觉城市道路闭环解决方案「百度 Apollo Lite」,这也是国内唯一的城市道路 L4 级视觉感知解决方案,能够支持对 10 路摄像头、200 帧/秒数据量的并行处理,单视觉链路最高丢帧率能够控制在 5‰以下,实现全方位 360°实时环境感知,前向障碍物的稳定检测视距达到 240 米。同时百度 Apollo Lite 价格低廉且便于获得,为企业、开发者们提供了一个低价、优质的自动驾驶解决方案,让自动驾驶商业落地变得更加触手可及。
L4 级自动驾驶纯视觉城市道路闭环解决方案——百度 Apollo Lite
在 1 月的拉斯维加斯,百度正式发布 Apollo Enterprise(企业版),面向汽车企业、供应商和出行服务商,提供的全球首个量产、定制、安全的自动驾驶和车联网解决方案。Apollo 正式开启商业化元年,从内部研发逐步走入市场。一年之间,Apollo 的足迹也走过了中国更多城市的土地。
2019 年 6 月,Apollo 获得长沙市政府颁发的 45 张可载人测试牌照。8 月 2 日,首批车辆陆续抵达长沙。9 月,首批 45 辆 Apollo 与一汽红旗联合研发的「红旗 EV」Robotaxi 车队在长沙部分开放测试路段开始试运营。
百度自动驾驶出租车队 Robotaxi 在长沙正式开启试运营。
8 月底的智博会期间,百度与重庆市人民政府就共同推进大数据融合创新发展进行合作签约,百度 Apollo 宣布携手重庆合作「西部自动驾驶开放测试基地项目」。
10 月,百度宣布携手绍兴共同打造中国首条以自动驾驶车路协同创新示范为特色的智慧快速路,为绍兴智慧快速路提供一体化的车路协同组件、车路协同边缘云控平台等整体解决方案及产品技术支持。
11 月,Robotaxi 在河北之境留下第一条车辙。百度 Apollo 在沧州举办了开放道路自动驾驶测试启动暨首批载人测试体验活动,标志着我国首个区级全域自动驾驶可载人测试路网正式开放。
迄今,百度 Apollo 累计测试里程已经突破 300 万公里,走过了全球 23 个城市,智能驾驶专利 1237 项,位列全国第一。此外,百度拥有自动驾驶路测牌照 150 张,占中国全部获批自动驾驶路测牌照一半以上。
12 月 18 日,百度 Apollo 生态大会在长沙举行,Apollo 自动驾驶开放平台升级至 5.5 版本,此外车路协同开放平台和智能车联开放平台也正式发布。
智能音箱小度出货量全球第二
2019 年,百度的小度助手和小度智能音箱也代表「国家队」出战,在硬件、软件、生态等方面表现不俗。
2019 年 12 月,中科院物联网研究发展中心发布的《智能音箱的智能技术解析及其成熟度测评》报告显示,小度智能音箱在听清率、听懂率和满足率三个纬度上全面领先,成为智能音箱领域的「全能冠军」。
软件方面,截至 6 月份,搭载小度助手的智能设备激活数量已突破 4 亿台,小度助手语音交互超过 36 亿次。
硬件方面,根据 Strategy Analytics 的统计,在 2019 年第二季度出货量排名前五的企业中,中国企业占了三家,百度更是超越谷歌,市场份额跻身全球第二,同比增长 3700%。2019 年上半年,小度有屏音箱出货量超过了排名其后四位品牌出货量总和,稳居全球第一。
在技术创新方面,2019 年,小度助手 5.0 的对话能力迎来重大技术革新——全双工免唤醒能力,实现了「一次唤醒,多轮交互」免唤醒词连续对话。
在平台建设方面,过去一年中,小度技能开放平台(DuerOS 技能开放平台)上的技能开发者数量已经超过 3.7 万人。小度技能开放平台可提供包括游戏、效率工具、网络电台、直播、儿童教育、智能家居等 3500 多种技能支持。
品牌合作生态上,小度助手的合作伙伴数量已经超过 500 家,与华为、OPPO、vivo、创维、TCL、索尼、小天才等多领域头部品牌建立了多个层级的合作。小度助手可以控制的 IoT 智能家居设备已经超过了 7000 万。
百度大脑 AI 开放平台 5.0:中国服务规模最大的 AI 开放平台
自 2016 年以来,百度已经开放了 228 项领先 AI 能力,开发者数量超过 150 万,日均调用量突破 1 万亿次,语音、人脸、NLP、OCR 调用量中国第一,是业内最全面、最领先、服务规模最大的 AI 开放平台。
2019 年,百度大脑已经升级到 5.0 时代,包括基础层、感知层、认知层、平台层和 AI 安全五大部分的核心架构已经成型,打通了人工智能产业化应用落地的全部流程。百度大脑开放平台已经在语音、视觉、语言与知识等方面实现全面升级,具备深度学习框架、场景化 AI 能力、定制化训练平台到软硬一体模组和解决方案等,可以为不同 AI 技术积累和场景需求的开发者提供助力,解决实际问题。
国内首个开源边缘计算框架——BAETYL
除了为自身及国内开发者提供基础技术支持及产品服务外,百度也在积极走出国门,在国际舞台上发挥自己的技术影响力。
2019 年 9 月,在 2019 年 Open Networking Summit Europe 大会上,百度智能云宣布将百度智能边缘计算框架 BAETYL 捐赠给 LF Edge 基金会。BAETYL 成为中国首个开源的边缘计算框架。
LF Edge 基金会是 Linux 在旧金山成立的针对边缘计算的基金会,百度智能云既是 LF Edge 的创始成员,同时也是国内最早推进边缘计算技术的云服务商之一。
BAETYL 是聚焦在物联网边缘计算的云原生基础设施,具有平台中立、系统中立、网络中立的特点,是国内屈指可数的、厂商中立的开源项目和生态系统。作为中国首个 LF Edge 捐赠项目,百度智能云将领先的技术及产品进一步贡献给全球的开发者,「云 AI」助力全球边缘计算的发展,创造更多的价值。
此外,BAETYL 和百度智能边缘 BIE(Baidu IntelliEdge)云端管理套件配合使用可以达到云端配置、边缘运行的效果,满足各种边缘计算场景的需求。
基于中国第一款云端全功能 AI 芯片「百度昆仑」的云服务器上线
在人工智能技术发展的浪潮中,计算硬件经历了从 CPU、GPU 到专用芯片的演变。
也正是基于这么多年来在 CPU、GPU 和 FPGA 的 AI 加速器研发经验,「百度昆仑」在 2018 年 7 月面世,这是百度自研的中国第一款云端全功能 AI 芯片,包含训练芯片百度昆仑 818-300 和推理芯片百度昆仑 818-100。近日,「百度昆仑」芯片已经完成研发,将在 2020 年初实现量产。
今年,基于「百度昆仑」的云服务器也首次亮相。在 150 瓦功耗下,它能带来 260 万亿次定数的 AI 运算,提供 512GB/s 的内存带宽;提供完整的开发工具链,支持用户使用 C/C 开发算子,具有很好的可编程性;提供一套图编译框架 XTCL,能够支持百度飞桨、TensorFlow 和 Pytorch 等主流深度学习框架;支持语音,图像,NLP 等不同的算法模型,其中 ERNIE 模型的性能是 T4 GPU 的三倍以上。
跨越 2019:百度 AI「Do Better」,科技为更好
2019,百度 AI 也从未停下创造美好的脚步。正如百度董事长兼首席执行官李彦宏所说:「我们会始终坚守积极、正向的 AI 伦理观,让人工智能成为服务社会、助人成长的变革力量。」
在「百度 AI 寻人」平台,已经发起过接近 40 万次照片比对,迄今已有 9000 多个走失者在百度 AI 的帮助下与家人重新团聚。
随着垃圾分类政策在全国的推广实施,「百度 AI 垃圾分类」智能小程序已在全面上线百度 App,基于百度 AI 在视觉和语音方面的处理技术,让大众通过语音搜索或识图搜索,就可以方便快捷地对垃圾进行分类。
基于医学知识图谱、医学自然语言处理等 AI 技术,通过学习权威教材、指南及三甲医院优质病历,百度 AI 开发了临床辅助决策系统(CDSS),目前已经覆盖全国 16 个省市,服务近百家大型医院和近千家基层医疗机构,上万名医生。
5 月,百度听障儿童无障碍阅读计划正式发布,同时推出全球首款听障儿童 AI 手语翻译小程序,将绘本文字翻译为手语,帮助听障儿童实现无障碍阅读。
百度地图上线了全国首个与政府机构合作、覆盖多个城市的母婴室位置信息查询产品——母婴室地图,用户可在百度地图中一次性查找周边甚至全程的母婴室,并直接导航前往。
此外,百度也将 AI 应用在了台风路径查询、濒危土家语保护、A 改造盲人按摩院等方面,让 AI 抵达无数的远方,让无数的人的生活因 AI 而变得更好。
百度 CTO 王海峰用三句话总结了百度 AI 的 2019 年:「打造了扎实的底座,推动了真实的改变,创造了值得信赖的未来。」
2019 年,百度大脑的算法算力不断突破,各项核心技术领先国际,百度 AI 成为「软硬一体 AI 大生产平台」,让中国的 AI 技术走入标准化、自动化、模块化的阶段,为中国智能经济的发展打造了「扎实的底座」。
2019 年,百度 AI 的核心技术正在走到更广阔的天地中去,这些能力通过百度智能云「云 AI」的高速公路输送到了中国的各行各业,在当下人工智能与实体经历相互交融的浪潮中推动着「真实的改变」。
2019 年,百度 AI 依然从「Do Better,科技为更好」出发,以 AI 技术服务社会,让人们的生活变得更美好,为每一个中国人创造着「值得信赖的未来」。
2020 年,百度 AI 仍然在路上。
本文为机器之心原创,转载请联系本公众号获得授权。