大数据文摘出品
作者：郑璇真
也许你也有过这样的经历，向智能客服咨询问题，却陷入毫无进展的对话里：
-你们家的面膜都是纯天然的？ -亲亲，我们家的面膜都是芦荟精华提取，纯天然的哦~
-我皮肤有点干，推荐一款呗~ -冬天皮肤干燥推荐给亲亲我们的保湿精华乳~
-我是要买面膜，你是机器人吧，让人来说话。
作为顾客，此时你大概要叹一句“人工智能真不智能”。这些所谓“智能”客服们往往只能做到一问一答，一旦对话涉及稍微复杂的情境，它们就开始答非所问。
让人工智能学会根据上下文去处理信息，是自然语言处理技术一个关键的门槛，也是多年来整个学术界和工业界都在努力攻克的难题。尽管在通用NLP领域，gpt-2，BERT等算法模型的出现，让语义理解取得了重大进展，但是由于专业性强、垂直语料库不足等原因，某些亟待落地的应用场景，例如高强度的客服对话，还深陷在开头出现的“人工智障”泥潭中。
最近，这个难题迎来了新进展。晓多科技（下称“晓多”）开发的基于上下文的语义识别项目，以深度学习的方式，让智能问答机器人能够像人类一样，结合语境去理解复杂场景下的对话，并且进行持续的自我学习，无需人工设置规则，也能不断扩展和覆盖更多的场景。
从一问一答到读懂语境
为什么人工智能会有这些“不智能”的表现？这是因为目前市面上主流的智能问答机器人，大部分都是根据单个句子来识别顾客的意图，从而进行一问一答的任务型对话。但在日常聊天对话中，我们习惯口语化表达，尤其在打字时，一般不会大段大段地发送，而会使用很多断句，这种零碎的表达使得机器人无法从单个句子中准确识别出你的真实意图，造成答非所问的情况。
这对于服务业来说是一个致命伤。
和普通的闲聊机器人不同，智能客服必须做到对各种场景的精准识别。因为智能客服面对的工作，是要及时地、明确地解决顾客的问题。
当你和闲聊机器人逗趣的时候，它答非所问的话并不会让你烦躁，反而觉得很有趣味；但当你只想赶紧退货或者得到赔偿时，智能客服的胡言乱语足够让烦躁的顾客给这家店铺打上0星，并在评论区洋洋洒洒好几百字，控诉店铺服务不到位。
在商品售前阶段也是这样，智能客服错误的回复或答非所问，都会影响顾客的体验度，平台商家竞争激烈的情况下，得不到满意答复的顾客可能会很快放弃，选择另外一家店铺，从而造成顾客的大量流失。
单句识别与上下文识别的差别
解决这一问题的关键，在于要让机器人像人一样，学会联系上下文，结合语境来对话，而不仅仅对单个句子作出反应。
目前市面上其他机器人都不支持上下文语义，他们是在靠规则和流程设置关键词。也就是说，这个情景中需要什么信息，就要设计出对应的问题，让机器人按照固定的顺序提问，顾客按照要求回答完所有问题，机器人才能根据所有信息来进行回应。
例如，顾客要购买飞机票，就要设定机器人首先询问顾客起点、终点、时间，再问顾客想要什么等级的座位等等，通过这些固定问题的答案，把需要的信息补充完整，最终给出推荐。
在这种情况下，每一个场景都需要人工去设定对应的规则，效率十分低下。尤其在电商领域，从售前到售中，再到售后，涉及到的问题是方方面面的，更别说还有购物品类的区别，场景的扩展是指数级的，靠人工设定规则去做到全覆盖，说是天方夜谭也不为过。
如果能够将目前人工智能领域大热的深度学习应用到这一问题的解决上，让机器人能够通过自己学习，掌握基于上下文的语义理解，并持续学习扩展到各个场景中，就可以大大地提高智能机器人面对复杂场景的精准应对能力，同时提高它覆盖各种场景的效率。怀着这样的想法，晓多开始了上下文语义项目。
让机器人自己“划重点”：记住重要信息，忘记不重要的
机器人自己学会理解上下文，困难在哪里？晓多算法工程师、本次上下文语义项目的负责人张翀向大数据文摘介绍，最关键的问题在于要让机器人像人一样记得上文的重要信息，并且知道这些信息和当前问句的关联。
在这个问题上，目前学术界和业界并没有现成的解决方案。对此，张翀介绍，晓多为新一代问答机器人创新设计了一个深度学习模型，包含四个模块：记忆与遗忘、提炼、融合、输出。
记忆与遗忘模块赋予机器人记住上文关键信息的能力。没有记忆能力的机器人，只会对最近的一句话作出反应，而晓多的模型可以帮助机器人把前后的诉求关联起来，及时作出准确的推荐。
点击图片查看详细内容
在技术上，晓多做出了一个此前业界还没有实现过的创新应用，参照一个名叫长短期记忆网络（LSTM）的结构，设计实现会话级别的记忆和遗忘。
晓多的又一创新，是应用于提炼模块的注意力机制。它会自动对上文的每一条信息进行计算，算出这些信息与当前句子对应的重要程度，重要程度高的，就会被保留下来。
假如顾客得到了满意的产品推荐之后，又提出“什么时候发货”的问题，注意力机制通过计算，就会发现上文的重要程度并不高，这样，无用的信息就会被过滤，与当前对话有关联的上文信息被选取出来，进入下一个模块中。
在融合模块中，机器人会对提炼出的上文关键信息和当前聊天消息结合，来识别顾客的意图。晓多采用的方式是在向量空间做梳理，简单来说，可以理解为提取上文关键信息是在机器人大脑内部的一个操作，这之后，再在一个抽象的空间里，把提取出来的关键信息与当前的单句进行综合，最终输出一个结合上文信息和当前单句所做出的判断。
这个模型在实验中得到的数据令人惊喜。晓多从真实电商聊天⽇志中抽取了若⼲涉及上下⽂的问答样本，构造两份意图识别测试集，分别对应两个电商领域，对⽐发现结合上下⽂预测的模型效果远超只根据单句预测的模型：
recall(召回率)=机器人正确识别的问题数/问题总数
Precision(精确率)=机器人正确识别的问题数/机器人已识别的问题数
f1core=2*precision*recall/(precision recall) ，表示综合考虑召回率和精确率的评分
这些工作并不是想到就可以做到的，对机器人的训练需要大量的数据，迁移学习能力是晓多能够实现这些创新的关键。
“人工智能的深度学习，突出的特点就是对数据的依赖非常大，”张翀说，“因为深度学习模型的参数非常多，你可以理解为它是一个更复杂的智能体，数据是它学习的依据，它要学习的东西越多，需要的数据就更多，而你给它的数据越多，它也越聪明。”
目前，晓多的标注团队从上百亿的数据中进行分析提取的价值样本，提供给机器学习进行数据训练。
如果每一步都需要人工设计，从发现场景、总结规律，到最后开发、测试、上线，可能需要至少两周的时间才能扩展一个场景，张翀介绍说，而使用这样的数据标注让机器进行深度学习，只需要几天的时间，就可以同时扩展几十个场景、几百个产品。
各个行业的电商客服需要应对的场景虽然有很多差异，但有一些数据却是通用的，包括关于快递物流的问答等。晓多对标注好的数据进行了模块拆分，区分出通用数据，当机器人需要对新行业进行学习时，可以直接使用这些标注好的通用数据，实现迅速的扩展学习。
谈到数据、算法和计算能力的关系，张翀认为，数据是基础，大数据为机器学习装上引擎；算法是核心，将人工智能带到全新高度；而计算能力是保障，为算法的实现提供坚实的后盾。
不止于此，顾客体验迎来后智能化时代
从售前的商品导购，到售中咨询运费、活动赠品等，目前，晓多的上下文语义项目已经投入使用，覆盖了多种电商服务场景。这仅仅只是这项技术投入应用的第一步，晓多的业务计划中，还涉及到更多的业务铺开。
在售前，顾客可能会要求客服进行商品推荐，他们的需求点信息包含在整个对话过程中。传统的客服机器人只能根据顾客最后的需求进行推荐，而晓多机器人会对顾客的会话信息进行分析，更加准确地识别到顾客的真实需求，推荐给顾客符合心意的产品。
点击图片查看详细内容
另外，对于电商行业中热门的服装领域来说，售前的服装尺码推荐是客服经常会遇到的问题，店铺内大量商品的尺码各不相同，尺码问题会耗费客服大量的人力。通过上下文识别的手段，客服机器人可以获取顾客的尺码信息，准确地进行尺码推荐。
点击图片查看详细内容
在销售过程中，顾客常常要询问运费问题，这就涉及到了首次购买和退换货两种场景。没有上文语境，机器人就只能解读出“运费”，而不能准确地判断顾客询问的是首次购物运费还是退换货运费，可能导致错误的回复。而在加入了上下文理解后，机器人能够准确判断顾客的实际问题，准确地回复此类问题。
点击图片查看详细内容
另一个常见的售中场景是关于活动赠品的问题。当店铺进行活动优惠提供赠品时，顾客的提问可能不是针对商品，而是针对赠品，需要机器人通过语境来识别，防止混淆这两个方面的提问，给出张冠李戴的答案。
这项技术不但可以应用在智能对话上，智能营销、智能质检、情绪识别……客服行业中还存在着更多未被开发的可能性。
对于晓多来说，这意味着他们为顾客提供的服务，向超专家级更进了一步。“我们现在可能只是把它应用在语义识别上，但后续我们在其它业务线上还可以继续铺开。我们把它当成一个基础的能力，一个支撑我们整个公司的算法产品。”张翀说。
晓多也期待着，上下文语义识别可以作为技术基石应用到行业各个方面，通过推开这项技术的应用，机器人可以自动生成尺码表，自动获取个性化对话内容进行系统自动萃取对接等等，机器人行业一直以来由人工配置的时代可能走向终结，而迎来一个从数据中学习后智能化自动生成的时代。
