引言
了解知识图谱的基本概念，也做过一些demo的实践，毕竟是做问答方向的，所以就比较关注基于知识图谱的问答。其实构建知识图谱的核心在于命名实体识别和关系抽取，围绕这两个方面也有很多细致的工作，比如如何解决实体的歧义，进行实体消歧；如何进行多关系的抽取等。从最近各大公司举行的比赛，我们也可以看出来，今年的主要工作就在这上面，这也是技术落地的一个重要标志。最近也在捣鼓BERT，想着就将基于KB的QA流程撸一遍，于是就有了这个demo。
AI项目体验地址 https://loveai.tech
数据集介绍[1]
NLPCC全称自然语言处理与中文计算会议（The Conference on Natural Language Processing and Chinese Computing）,它是由中国计算机学会（CCF）主办的 CCF 中文信息技术专业委员会年度学术会议，专注于自然语言处理及中文计算领域的学术和应用创新。
此次使用的数据集来自NLPCC ICCPOL 2016 KBQA 任务集，其包含 14 609 个问答对的训练集和包含 9 870 个问答对的测试集。并提供一个知识库，包含 6 502 738 个实体、 587 875 个属性以及 43 063 796 个 三元组。知识库文件中每行存储一个事实( fact) ，即三元组 ( 实体、属性、属性值) 。各文件统计如下：、
原数据中本只有问答对（question-answer），并无标注三元组（triple)，本人所用问答对数据来自该比赛第一名的预处理
https://github.com/huangxiangzhou/NLPCC2016KBQA
构造Triple的方法为从知识库中反向查找答案，根据问题过滤实体，最终筛选得到，也会存在少量噪音数据。该Triple之后用于构建实体识别和属性选择等任务的数据集。
问答对样例如下所示：
技术方案
基于知识图谱的自动问答拆分为2 个主要步骤:命名实体识别步骤和属性映射步骤。其中，实体识别步骤的目的是找到问句中询问的实体名称，而属性映射步骤的目的在于找到问句中询问的相关属性。
- 命名实体识别步骤，采用BERT BiLSTM CRF方法（另外加上一些规则映射，可以提高覆盖度）
- 属性映射步骤，转换成文本相似度问题，采用BERT作二分类训练模型
技术细节
- 命名实体识别
构造NER的数据集，需要根据三元组-Enitity 反向标注问题，给数据集中的Question 打标签。我们这里采用BIO的标注方式，因为识别人名，地名，机构名的任务不是主要的，我们只要识别出实体就可以了，因此，我们用B-LOC, I-LOC代替其他的标注类型。
- 属性映射
构造测试集的整体关系集合，提取 去重，获得 4373 个关系 RelationList；
一个 sample 由“问题 关系 Label”构成，原始数据中的关系值置为 1；
从 RelationList 中随机抽取五个属性作为 Negative Samples；
- 模型总体架构
1、 实体检索：输入问题，ner得出实体集合，在数据库中检索出与输入实体相关的所有三元组
2、 属性映射：bert分类/文本相似度
非语义匹配：如果所得三元组的关系(attribute)属性是输入问题字符串的子集(相当于字符串匹配)，将所得三元组的答案(answer)属性与正确答案匹配，correct 1
语义匹配：利用bert计算输入问题(input question)与所得三元组的关系(attribute)属性的相似度，将最相似的三元组的答案作为答案，并与正确的答案进行匹配，correct 1
目前这2个是一起做的，更注重的是测试性能，所以并没有像Retrieval QA那样做召回 排序，其实修改一下很简单，也就那回事。
总结
- 目前不足
- 在命名实体识别的时候，进行eval，最后的结果是nan，如下：
当然，predict是没有什么问题的。
- 反思
- 其实用question和attribute进行一个相似度计算做排序是有缺陷的，毕竟question的句子明显更长，语义明显比attribute更丰富，单拿attribute进行匹配有种断章取义的感觉，所以不提倡，但是也适用。
- 在用BERT online做命名实体识别的时候，速度有点慢，如何提高线上速度是个问题。
原文地址 https://zhuanlan.zhihu.com/p/62946533
