百度Paddle应用:汽车说明书跨模态智能问答

2022-11-11 16:26:58 浏览数 (1)

工欲善其事必先利其器。做人工智能,必然少不了基础框架。深度学习领域两大主流框架TensorFlow和PyTorch,一个是来自Google,另一个来自于Facebook. 国内其实也有不少框架,百度的Paddle算是做得最早的,除此之外,还有华为的MindSpore等等。

说实话,前两年看Paddle其实步子迈得还比较慢,和TensorFlow、PyTorch差距很大。但其实Paddle相比TensorFlow、PyTorch天然有中文优势,毕竟百度开发,国内程序员群体很大,如果好好维护社区,是很有希望得到快速发展的。

最近登上Paddle的GitHub看到宣传,还是很惊喜的,虽然star(4.3k)和TensorFlow(165k)还很有差距,但是在往正确的方向发展,社区也越来越热闹。做框架最重要的便是生态,基础功能经过一段时间的研发各家基本大差不差,作为一个工具,开箱即用,安装使用方便,另外最新的模型及时跟进推出,更多地支持学术界使用,提供代码开源和复现,获得欢迎只是时间问题。

相比之下,华为的MindSpore就显得较为冷清了。

这次要介绍的便是Paddle新推出的一个新应用:汽车说明书跨模态智能问答。相信大家面对各种厚厚的手册很容易抓狂,即使是电子版能够搜索关键字,但是往往不是太多命中,就是一个也没命中,很难一下获得理想的答案。另外我们不是业内人士,很多专业术语也不了解,例如:谁知道汽车手册里后备箱叫做尾门呢?

这便是这个应用的由来:对用户提出的问题,自动从汽车说明书中寻找答案并进行回答。如下图所示,用户提出问题:"如何更换前风窗玻璃的刮水片",问答引擎从寻找相关文档,然后抽取出相应的答案,并进行高亮展示

通过使用汽车说明书问答系统,能够极大地解决传统汽车售后的压力:

· 用户:用户没有耐心查阅说明书,打客服电话需要等待

· 售后客服:需要配置大量客服人员,且客服专业知识培训周期长

· 构建问题库:需要投入大量人力整理常见问题库,并且固定的问题库难以覆盖灵活多变的提问

对于用户来说,汽车说明书问答系统能够支持通过车机助手/APP/小程序为用户提供即问即答的的功能。对于常见问题,用户不再需要查阅说明书,也无需打客服电话,从而缓解了人工客服的压力。

对于客服来讲,汽车说明书问答系统帮助客服人员快速定位答案,高效查阅文档,提高客服的专业水平,同时也能够缩短客服的培训周期。

整体流程

问答系统主要包括 3 个模块:OCR处理模块排序模块跨模态阅读理解模块。

其中,OCR模块对提供的汽车说明书文档进解析,并将解析结果保存下来供后续排序模块使用。

对于用户提问的问题,首先会被传入排序模块,排序模块会针对该问题对解析的文档进行排序打分,其结果将会被传入跨模态阅读理解模块。阅读理解模块将从分数最高的说明书文档中,抽取用户问题的答案,并返回给用户。

下图展示了用户提问的三个问题:"后备箱怎么开","钥匙怎么充电" 和 "NFC解锁注意事项",汽车说明书问答系统找到答案并进行高亮显示。

附:

汽车说明书跨模态智能问答github地址:https://github.com/PaddlePaddle/PaddleNLP/tree/develop/applications/doc_vqa

AI人工智能与大数据

0 人点赞