5分钟 NLP:使用 OpenNRE 进行关系提取

2021-12-28 08:59:48 浏览数 (1)

关系提取( Relation Extraction)是一项自然语言处理任务,旨在提取实体之间的关系。例如,从句罗密欧与朱丽叶是由威廉莎士比亚写的,我们可以提取关系三元组(威廉莎士比亚,是罗密欧与朱丽叶的作者)。

关系提取是自动知识图谱构建中的一项关键技术。通过关系提取,我们可以累积提取新的关系事实,扩展知识图谱,这些知识可以作为机器理解人类世界的一种方式,在问答、推荐系统、搜索引擎等下游有很多应用。

OpenNRE 是对文本进行关系提取最常用的库之一。

OpenNRE 是一个开源且可扩展的工具包,它提供了一个统一的框架来实现关系提取模型。

该库带有两个预训练模型,无需任何训练即可投入生产:

  • wiki80_cnn_softmax:使用 CNN 编码器在 Wiki80 数据集上训练。
  • wiki80_bert_softmax:使用 BERT 编码器在 Wiki80 数据集上训练。

两个模型都在 Wiki80 数据集上进行训练,该数据集由 80 个关系组成,每个关系有 700 个实例。

为了使用 OpenNRE 库,必须首先从它的 repo 安装它:

代码语言:javascript复制
# download repo with OpenNRE library
git clone https://github.com/thunlp/OpenNRE.git

# install library
cd OpenNRE
pip install -r requirements.txt
python setup.py install

接下来的步骤是:

  • Python 代码中导入库
  • 加载预训练模型。
  • 调用模型的 infer 函数,传递 (1) 一个段落,(2) 第一个实体位置,以及 (3) 第二个实体位置。该函数返回实体对的预测关系,使用段落作为上下文。
代码语言:javascript复制
import opennre

# download NRE pretrained model
model = opennre.get_model('wiki80_cnn_softmax')

# text used to look for relations
text = """
Kobe Bean Bryant was an American professional basketball player.
A shooting guard, he spent his entire career with the Los Angeles Lakers in the NBA.
"""

# choose two entities whose relation is to be predicted
h_text = "Kobe Bean Bryant"
t_text = "shooting guard"
h_pos = (text.index(h_text), text.index(h_text)   len(h_text))
t_pos = (text.index(t_text), text.index(t_text)   len(t_text))

# predict relation
model.infer({'text': text, 'h': {'pos': h_pos}, 't': {'pos': t_pos}})

# output:
# ('position played on team / speciality', 0.9829357862472534)

尽管名称为关系提取,但我们在这里看到的示例实际上是一个多标签分类问题,其中可以提取的关系类型是训练集中存在的关系类型。

0 人点赞