大厂技术实现 | 详解知识图谱的构建全流程 @自然语言处理系列

知识图谱（Knowledge Graph）的概念由谷歌2012年正式提出，旨在实现更智能的搜索引擎，并且于2013年以后开始在学术界和业界普及。目前，随着智能信息服务应用的不断发展，知识图谱已被广泛应用于智能搜索、智能问答、个性化推荐、情报分析、反欺诈等领域。本篇是『知识图谱构建与落地实践』的起始篇，我们与来自百度的NLP工程师路遥，一起研究知识图谱的构建流程与技术细节。

⛵ 作者：韩信子@ShowMeAI，路遥@百度 ⛵ 大厂解决方案系列教程：https://www.showmeai.tech/tutorials/50 ⛵ 本文地址：https://www.showmeai.tech/article-detail/94

一图看懂全文

文章结构 | 详解知识图谱的构建全流程

ShowMeAI社区的技术专家小伙伴们对知识图谱的典型算法做了实现，构建了相关应用 ⛵『知识图谱构建与落地实践』，对细节感兴趣的话，请前往 这里 查看实现代码参考。代码的整理花费了很多心思，欢迎大家 PR 和 Star！

⭐ ShowMeAI官方GitHub（实现代码参考）：https://github.com/ShowMeAI-Hub/

一、知识图谱简介

知识图谱，是结构化的语义知识库，用于迅速描述物理世界中的概念及其相互关系，通过知识图谱能够将Web上的信息、数据以及链接关系聚集为知识，使信息资源更易于计算、理解以及评价，并能实现知识的快速响应和推理。

1.1 广泛应用于各领域

当下知识图谱已在工业领域得到了广泛应用，如搜索领域的Google搜索、百度搜索，社交领域的领英经济图谱，企业信息领域的天眼查企业图谱，电商领域的淘宝商品图谱，O2O领域的美团知识大脑，医疗领域的丁香园知识图谱，以及工业制造业知识图谱等。

知识图谱在工业领域得到了广泛应用; 6-2

在知识图谱技术发展初期，很多企业和科研机构会采用自顶向下的方式构建基础知识库，如 Freebase。随着自动知识抽取与加工技术的不断成熟，当前的知识图谱大多采用自底向上的方式构建，如 Google 的 Knowledge Vault 和微软的 Satori 知识库。

1.2 构建技术分类

知识图谱的构建技术主要有自顶向下和自底向上两种。

• 自顶向下构建：借助百科类网站等结构化数据源，从高质量数据中提取本体和模式信息，加入到知识库里。
• 自底向上构建：借助一定的技术手段，从公开采集的数据中提取出资源模式，选择其中置信度较高的信息，加入到知识库中。

知识图谱的构建 | 自顶向下→自底向上; 6-3

1.3 “实体-关系-实体”三元组

下图是典型的知识图谱样例示意图。可以看到，“图谱”中有很多节点，如果两个节点之间存在关系，他们就会被一条无向边连接在一起，这个节点我们称为实体（Entity），节点之间的这条边，我们称为关系（Relationship）。

一个知识图谱(Knowledge Graph)实例; 6-4

知识图谱的基本单位，就是“实体(Entity)-关系(Relationship)-实体(Entity)” 构成的三元组，这也是知识图谱的核心。

二、数据类型和存储方式

知识图谱的原始数据类型一般来说有三类（也是互联网上的三类原始数据）：

• 结构化数据（Structed Data），如：关系数据库、链接数据
• 半结构化数据（Semi-Structured Data），如：XML、JSON、百科
• 非结构化数据（Unstructured Data），如：图片、音频、视频

知识图谱 | 3种数据类型 & 2种存储方式; 6-5

典型的半结构化数据样例如下：

知识图谱的数据类型示例 | 半结构化数据; 6-6

如何存储上面这三类数据类型呢？

一般有两种选择：可以通过RDF（资源描述框架）这样的规范存储格式来进行存储，比较常用的有Jena等。

<RDF>
    <Description about="https://www.w3.org/RDF/">
        <author>HanXinzi</author>
        <homepage> http://www.showmeai.tech </homepage>
    </Description>
</RDF>

另一种方法是使用图数据库来进行存储，常用的有Neo4j等。

知识图谱的存储方式示例 | 图数据库; 6-7

截止目前为止，看起来知识图谱主要是一堆三元组，那用关系数据库来存储可以吗？

对，从技术上来说，用关系数据库来存储知识图谱（尤其是简单结构的知识图谱），是完全没问题的。但一旦知识图谱变复杂，用传统的『关系数据存储』，查询效率会显著低于『图数据库』。在一些涉及到2,3度的关联查询场景，图数据库能把查询效率提升几千倍甚至几百万倍。

而且基于图的存储在设计上会非常灵活，一般只需要局部的改动即可。当你的场景数据规模较大的时候，建议直接用图数据库来进行存储。

三、知识图谱的架构

知识图谱的架构主要可以被分为：

• 逻辑架构
• 技术架构

知识图谱的架构 | 逻辑架构 & 技术架构; 6-8

3.1 逻辑架构

在逻辑上，我们通常将知识图谱划分为两个层次：数据层和模式层。

• 模式层：在数据层之上，是知识图谱的核心，存储经过提炼的知识，通常通过本体库来管理这一层（本体库可以理解为面向对象里的“类”这样一个概念，本体库就储存着知识图谱的类）。
• 数据层：存储真实的数据。

可以看看这个例子： 模式层：实体-关系-实体，实体-属性-性值 数据层：吴京-妻子-谢楠，吴京-导演-战狼Ⅱ

3.2 技术架构

知识图谱的整体架构如图所示，其中虚线框内的部分为知识图谱的构建过程，同时也是知识图谱更新的过程。别紧张，让我们顺着这张图来理一下思路。

• 首先，我们有一大堆的数据，这些数据可能是结构化的、非结构化的以及半结构化的；
• 然后，我们基于这些数据来构建知识图谱，这一步主要是通过一系列自动化或半自动化的技术手段，来从原始数据中提取出知识要素，即一堆实体关系，并将其存入我们的知识库的模式层和数据层。

四、构建技术

前面的内容说到了，知识图谱有自顶向下和自底向上两种构建方式，这里提到的构建技术主要是自底向上的构建技术。

如前所述，构建知识图谱是一个迭代更新的过程，根据知识获取的逻辑，每一轮迭代包含三个阶段：

• 信息抽取：从各种类型的数据源中提取出实体、属性以及实体间的相互关系，在此基础上形成本体化的知识表达。
• 知识融合：在获得新知识之后，需要对其进行整合，以消除矛盾和歧义，比如某些实体可能有多种表达，某个特定称谓也许对应于多个不同的实体等。
• 知识加工：对于经过融合的新知识，需要经过质量评估之后（部分需要人工参与甄别），才能将合格的部分加入到知识库中，以确保知识库的质量。

知识图谱技术架构 @自底向上; 6-9

下面我们依次来对每一个步骤进行介绍。

4.1 知识抽取

知识抽取（infromation extraction）是知识图谱构建的第1步，其中的关键问题是：如何从异构数据源中自动抽取信息得到候选指示单元？

信息抽取是一种自动化地从半结构化和无结构数据中抽取实体、关系以及实体属性等结构化信息的技术。涉及的关键技术包括：实体抽取、关系抽取和属性抽取。

知识抽取(Information Acquisition); 6-10

1）实体抽取

实体抽取，也称为命名实体识别（named entity recognition，NER），是指从文本数据集中自动识别出命名实体。

图中，通过实体抽取我们可以从其中抽取出四个实体：“非洲”、“中国海军”、“冷锋”、“战狼”。

实体抽取 / 命名实体识别(NER); 6-11

研究历史： ◉ 从面向单一领域进行实体抽取，逐步跨步到面向开放域（Open Domain）的实体抽取。

2）关系抽取

文本语料经过实体抽取之后，得到的是一系列离散的命名实体。为了得到语义信息，还需要从相关语料中提取出实体之间的关联关系，通过关系将实体联系起来，才能够形成网状的知识结构。这就是关系抽取需要做的事，如下图所示。

关系抽取 /从语料中提取实体之间的关系; 6-12

研究历史： ◉ 人工构造语法和语义规则（模式匹配）。 ◉ 统计机器学习方法。 ◉ 基于特征向量或核函数的有监督学习方法。 ◉ 研究重点转向半监督和无监督。 ◉ 开始研究面向开放域的信息抽取方法。 ◉ 将面向开放域的信息抽取方法和面向封闭领域的传统方法结合。

3）属性抽取

属性抽取的目标是从不同信息源中采集特定实体的属性信息，如针对某个公众人物，可以从网络公开信息中得到其昵称、生日、国籍、教育背景等信息。

属性抽取 / 从不同信息源中采集特定实体的属性信息; 6-13

研究历史： ◉ 将实体的属性视作实体与属性值之间的一种名词性关系，将属性抽取任务转化为关系抽取任务。 ◉ 基于规则和启发式算法，抽取结构化数据。 ◉ 基于百科类网站的半结构化数据，通过自动抽取生成训练语料，用于训练实体属性标注模型，然后将其应用于对非结构化数据的实体属性抽取。 ◉ 采用数据挖掘的方法直接从文本中挖掘实体属性和属性值之间的关系模式，据此实现对属性名和属性值在文本中的定位。

4.2 知识融合

通过信息抽取，我们就从原始的非结构化和半结构化数据中获取到了实体、关系以及实体的属性信息。如果我们将接下来的过程比喻成拼图的话，那么这些信息就是拼图碎片，散乱无章甚至还有从其他拼图里跑来的碎片、本身就是用来干扰我们拼图的错误碎片。

也就是说，拼图碎片（信息）之间的关系是扁平化的，缺乏层次性和逻辑性；拼图（知识）中还存在大量冗杂和错误的拼图碎片（信息）。那么如何解决这一问题，就是在知识融合这一步里我们需要做的了。

知识融合(Knowledge Fusion); 6-14

知识融合包括2部分内容：实体链接、知识合并。

1）实体链接

实体链接（entity linking）是指对于从文本中抽取得到的实体对象，将其链接到知识库中对应的正确实体对象的操作。其基本思想是首先根据给定的实体指称项，从知识库中选出一组候选实体对象，然后通过相似度计算将指称项链接到正确的实体对象。

实体链接 / 半结构化数据 & 非结构化数据; 6-15

研究历史： ◉ 仅关注如何将从文本中抽取到的实体链接到知识库中，忽视了位于同一文档的实体间存在的语义联系； ◉ 开始关注利用实体的共现关系，同时将多个实体链接到知识库中。即集成实体链接（collective entity linking）。

实体链接的流程：

• 从文本中通过实体抽取得到实体指称项。
• 进行实体消歧和共指消解，判断知识库中的同名实体与之是否代表不同的含义以及知识库中是否存在其他命名实体与之表示相同的含义。
• 在确认知识库中对应的正确实体对象之后，将该实体指称项链接到知识库中对应实体。

◉ 实体消歧：是专门用于解决同名实体产生歧义问题的技术，通过实体消歧，就可以根据当前的语境，准确建立实体链接，实体消歧主要采用聚类法。其实也可以看做基于上下文的分类问题，类似于词性消歧和词义消歧。 ◉ 共指消解：主要用于解决多个指称对应同一实体对象的问题。在一次会话中，多个指称可能指向的是同一实体对象。利用共指消解技术，可以将这些指称项关联（合并）到正确的实体对象，由于该问题在信息检索和自然语言处理等领域具有特殊的重要性，吸引了大量的研究努力。共指消解还有一些其他的名字，比如对象对齐、实体匹配和实体同义。

2）知识融合

在前面的实体链接中，我们已经将实体链接到知识库中对应的正确实体对象那里去了，但需要注意的是，实体链接链接的是我们从半结构化数据和非结构化数据那里通过信息抽取提取出来的数据。

那么除了半结构化数据和非结构化数据以外，我们还有个更方便的数据来源———结构化数据，如外部知识库和关系数据库。对于这部分结构化数据的处理，就是我们知识融合的内容啦。

一般来说知识融合主要分为两种：合并外部知识库，主要处理数据层和模式层的冲突；合并关系数据库，有RDB2RDF等方法。

结构化数据; 6-16

4.3 知识加工

经过刚才那一系列步骤，我们终于走到了知识加工这一步了！在前面，我们已经通过信息抽取，从原始语料中提取出了实体、关系与属性等知识要素，并且经过知识融合，消除实体指称项与实体对象之间的歧义，得到一系列基本的事实表达。

然而事实本身并不等于知识。要想最终获得结构化，网络化的知识体系，还需要经历知识加工的过程。知识加工主要包括3方面内容：本体抽取、知识推理和质量评估。

知识加工(Knowledge Processing); 6-17

1）本体抽取

本体（ontology）是指工人的概念集合、概念框架，如“人”、“事”、“物”等。本体可以采用人工编辑的方式手动构建（借助本体编辑软件），也可以以数据驱动的自动化方式构建本体。因为人工方式工作量巨大，且很难找到符合要求的专家，因此当前主流的全局本体库产品，都是从一些面向特定领域的现有本体库出发，采用自动构建技术逐步扩展得到的。

自动化本体构建过程包含三个阶段： 实体并列关系相似度计算 → 实体上下位关系抽取 → 本体的生成。

本体抽取 / 自动化本体构建过程; 6-18

如图所示，当知识图谱刚得到“战狼Ⅱ”、“流浪地球”、“北京文化”这三个实体的时候，可能会认为它们三个之间并没有什么差别。但当它去计算三个实体之间的相似度后，就会发现，“战狼Ⅱ”和“流浪地球”之间可能更相似，与“北京文化”差别更大一些。

• 第一步下来，知识图谱实际上还是没有一个上下层的概念。它还是不知道，“流浪地球”和“北京文化”不隶属于一个类型，无法比较。
• 因此第二步『实体上下位关系抽取』需要去完成这样的工作，从而生成第三步的本体。
• 当三步结束后，这个知识图谱可能就会明白，“战狼2和流浪地球，是电影这个实体下的细分实体。它们和北京文化这家公司并不是一类”。

2）知识推理

在我们完成了本体构建这一步之后，一个知识图谱的雏形便已经搭建好了。但可能在这个时候，知识图谱之间大多数关系都是残缺的，缺失值非常严重，那么这个时候，我们就可以使用知识推理技术，去完成进一步的知识发现。

知识推理 / 进一步完善知识图谱; 6-19

当然知识推理的对象也并不局限于实体间的关系，也可以是实体的属性值，本体的概念层次关系等。

• 推理属性值：已知某实体的生日属性，可以通过推理得到该实体的年龄属性；
• 推理概念：已知(老虎，科，猫科)和（猫科，目，食肉目）可以推出（老虎，目，食肉目）

这一块的算法主要可以分为3大类：基于知识表达的关系推理技术；基于概率图模型的关系推理技术路线示意图；基于深度学习的关系推理技术路线示意图。

知识推理 / 3类主要算法; 6-20

3）质量评估

质量评估也是知识库构建技术的重要组成部分，这一部分存在的意义在于：可以对知识的可信度进行量化，通过舍弃置信度较低的知识来保障知识库的质量。

4.4 知识更新

从逻辑上看，知识库的更新包括概念层的更新和数据层的更新。

• 概念层的更新：新增数据后获得了新的概念，需要自动将新的概念添加到知识库的概念层中。
• 数据层的更新：主要是新增或更新实体、关系、属性值，对数据层进行更新需要考虑数据源的可靠性、数据的一致性（是否存在矛盾或冗杂等问题）等可靠数据源，并选择在各数据源中出现频率高的事实和属性加入知识库。

知识图谱构建 & 更新流程; 6-21

知识图谱的内容更新有两种方式：

• 全面更新：指以更新后的全部数据为输入，从零开始构建知识图谱。这种方法比较简单，但资源消耗大，而且需要耗费大量人力资源进行系统维护；
• 增量更新：以当前新增数据为输入，向现有知识图谱中添加新增知识。这种方式资源消耗小，但目前仍需要大量人工干预（定义规则等），因此实施起来十分困难。

知识图谱的构建就此结束！

参考文献

1 刘峤, 李杨, 段宏,等. 知识图谱构建技术综述J. 计算机研究与发展, 2016, 53(3):582-600. 2 打怪的蚂蚁. CSDN. 知识图谱技术技巧. 3 Ehrlinger L, Wöß W. Towards a Definition of Knowledge GraphsC// Joint Proceedings of the Posters and Demos Track of, International Conference on Semantic Systems - Semantics2016 and, International Workshop on Semantic Change & Evolving Semantics. 2016. 4 Das R, Neelakantan A, Belanger D, et al. Chains of Reasoning over Entities, Relations, and Text using Recurrent Neural NetworksJ. 2016:132-141.

ShowMeAI 大厂技术实现方案推荐

• 大厂解决方案系列 | 数据集&代码集（持续更新中）：https://www.showmeai.tech/tutorials/50
• ShowMeAI官方GitHub（实现代码）：https://github.com/ShowMeAI-Hub/
• 『推荐与广告』大厂解决方案
  • 大厂技术实现 | 多目标优化及应用（含代码实现）@推荐与广告计算系列
  • 大厂技术实现 | 爱奇艺短视频推荐业务中的多目标优化实践@推荐与计算广告系列
  • 大厂技术实现 | 腾讯信息流推荐排序中的并联双塔CTR结构@推荐与计算广告系列
• 『计算机视觉 CV』大厂解决方案
  • 大厂技术实现 | 图像检索及其在淘宝的应用@计算机视觉系列
  • 大厂技术实现 | 图像检索及其在高德的应用@计算机视觉系列
• 『自然语言处理 NLP』大厂解决方案
  • 大厂技术实现 | 详解知识图谱的构建全流程@自然语言处理系列
  • 大厂技术实现 | 爱奇艺文娱知识图谱的构建与应用实践@自然语言处理系列
• 『金融科技』大厂解决方案
• 『生物医疗』大厂解决方案
• 『智能制造』大厂解决方案
• 『其他AI垂直领域』大厂解决方案