EMNLP 2022 | 复杂标签空间下的Prompt调优（将关系分类转换成填充问题）

引言

目前，利用提示（Prompt）对预训练模型进行微调，并将其应用到下游任务中是非常常用的方法。（对Prompt不了解的小伙伴可以读一下我之前的文章：一文了解预训练模型 Prompt 调优）但是当应用于复杂标签的关系分类时，由于严格的提示限制，一般的Prompt Tuning方法难以处理具有任意长度的标签表达。受预训练生成模型的文本填充任务的启发，「本文提出了一种新的生成提示调整方法，即将关系分类重新表述为填充问题，从而摆脱了当前基于提示的方法的限制，完全利用了实体和关系类型的丰富语义」。实验证明了本文模型在完全监督和低资源设置下的有效性。

EMNLP2022第五波已更新，下载方式回复：历年EMNLP

背景介绍

关系分类(RC)是自然语言处理(NLP)中的一项基本任务，旨在检测句子中实体之间的关系。随着一系列预训练语言模型(plm)的兴起，微调plm已经成为RC的主要方法。然而，预训练和微调之间的存在客观的差距，这就导致了预训练知识在此类下游任务的表现会略显逊色。为此，最近提出了提示调优(Prompt Tuning)，并且已被证明对低资源场景尤为有效。其核心思想是将下游任务的目标转换为更接近训练前任务的目标，即在训练前，设计一个模板，将输入示例重新制定为完形填空短语，并设计一个verbalizer将标签映射到候选词，通过预测掩码token，可以确定输入示例的标签。提示调优的一个缺点是严格的模板限制，其中掩码标记的数量和位置通常是固定的。如下图所示：

当标签空间很简单时，下游任务可以很容易地适应这种范式，它在一个掩码位置预测一个语言标记。然而，当对具有传递丰富语义信息的复杂标签空间的RC应用提示调优时，普通提示调优方法可能难以处理具有不同长度的复杂标签语言。

本文认为这种限制的根本原因是现有的提示调优方法模仿了掩码语言建模 (MLM)，它仅在一个掩码位置预测一个标记。与MLM不同，预训练生成模型的文本填充任务似乎与RC更兼容。该任务丢弃连续的标记跨度，并学习预测每个片段中不仅缺少哪些标记，还预测缺少多少标记。遵循这种范式允许模型在多个预测槽处生成任意数量的令牌。

为此提出了一种新颖的生成提示调优方法（GenPT），它将RC重新定义为文本填充任务，以消除严格的提示限制，从而充分利用标签语义，实体类型信息被进一步注入，这对RC至关重要。

本文模型介绍

MLM和文本填充

掩码语言建模被广泛采用作为预训练任务，以获得双向的预训练模型。一般来说，屏蔽语言模型(MLM)从输入语句中随机屏蔽一些标记。每个[MASK]对应一个令牌。目标是基于其余标记预测掩码词(参见下图a)。与仅预测一个令牌的MLM(MASK)不同，用于预训练seq2seq模型的文本填充任务可以灵活地恢复不同长度的跨度。下图b所示，文本填充任务对许多与原句子长度不同的文本跨度进行抽样。然后，用单个哨点令牌替换每个span。编码器输入损坏的序列，而解码器按顺序生成由哨点标记分隔的缺失跨的连续标记。该任务更加灵活，可以与一些复杂的下游任务更加兼容，但现在被严重忽视了。