GPT-3竟然有10个盲点，艾伦研究所推出GPT「鉴错师」

新智元报道

来源：VB

编辑：LQ

大卡车的盲区大到我们难以想象。

‍

GPT-3这个1750亿参数的超级语言模型也一样，有很多「盲点」。

比如，经常被人诟病的消极语言、偏见等。

OpenAI创始人Sam Altman也表示：对GPT-3的宣传有点过了，它还存在很严重的缺点，也会犯很严重的错误。

如果要将GPT-3投入大规模商用，比如应用在需要非常谨慎的领域——医疗保健、金融和法律行业，就需要「驯化」GPT-3.

GPT的10个盲点近日，艾伦人工智能研究所开发了一个框架「Scarecrow」，这个框架为开发人员在 AI 生成的文本中标记问题提供了新方法。

△ 论文 https://arxiv.org/pdf/2107.01294.pdf

他们把Scarecrow应用于GPT-2，GPT-3和华盛顿大学的假新闻生成器和检测器Grover，结合从专家分析和和人们的言论中搜集的1300个段落，研究人员从中找出了13000个注释，在对其分析后，研究人员将语言模型常出现的错误分成了10类：

1、语法和用法：缺少的单词、额外的单词以及不正确或无序的单词

2、非提示内容：与语言生成系统的提示词不相关或相互矛盾的短语或句子

3、冗余：用不同的词重复词语、短语或某种意思

4、自相矛盾：与系统之前编写的另一段文本相矛盾

5、不连贯：不属于上述类别不过也没有意义的文本

6、计算错误：简单的数学计算、单位或货币转换错误

7、百科知识：被教科书、维基百科或者百科全书推翻的错误文本

8、常识错误：违背我们对世界的基本理解的文本

9、需要Google：事实或数字似是而非，还需进一步搜索确认

10、技术术语：来自深奥领域的专业术语或特定词汇

接下来，用GPT-3举例说明Scarecrow如何鉴别错误。在下面这个例子中，「GPT-3 DaVinci」在文段第一句的提示下（According to the Financial Times, Apple's ... an autonomous car.) 自动生成了后面的几句话：

经过鉴错师「Scarecrow」鉴别，共发现了3类7个问题：

「语法和用法」：the loose ends，不管是前面的推测还是接下来新品发布会的描述都不能叫做loose ends（没说清楚）。
「非提示内容」：Apple's CarPlay，虽然Apple CarPlay和汽车相关，但却与主题无关。
「常识错误」：hiring 1,200 engineers, 为了新品发布会就要招聘1200名工程师这不符合常理。
「常识错误」：building the CarPlay-specific testing track, track在这里指「车道」，但这显然跟CarPlay没有关系。
「常识错误」：Lincoln Navigator，苹果要造自己的车，不是已经存在的林肯 Navigator.
「常识错误」：Burberry‘s head of product design to lead the integration of software and hardware, Burberry的产品设计总监显然不能胜任这一技术职位。
「非提示内容」：WWDC 2015：We know what you're thinking: Another Monday? 这句话偷换主语，跟提示文不对题。

以上就是Scarecrow注释框架系统的鉴错方法。

语言模型的参数也并非来自真空，不管是GPT-2的15亿参数还是GPT-3的1750亿参数都来自于新闻、维基百科和在线书籍，还有Reddit和其他网站上所有有争议的讨论。

对于上述10种错误，研究人员分析道：

有些错误类型在逐步减少，比如「百科知识」、「常识错误」和「不连贯」，随着用于训练模型的「新闻」内容的增长，参数量更大的模型，上述三类错误也会更少。

参数规模不断扩大使「非提示内容」、「计算错误」、「语法和用法出错」三种错误的出现趋于稳定。

研究人员表示，GPT-3出现后，上述的三种错误的出现趋于稳定。对人们来说，仍然会犯一些「非提示内容」和「语法和用法」错误，但「计算错误」似乎已经处于饱和状态。

「自相矛盾」和「冗余」表现出更复杂的规模化行为，在中级和大型模型中增加，这取决于与其他错误类型的交互作用以及如何计算错误。从更大的单词集中抽样使模型更容易改变主题，但不太可能重复，反之亦然。

研究人员在论文中指出: 我们认为原因在于尤其是GPT-2「不连贯」和「非提示内容」的错误很多，几乎没有机会产生相关的、可以被理解的观点，然后改变这种出错的情况。

同时研究人员也观察到，GPT-3似乎会停留在某个特定主题上，比人类作家更频繁地阐述、用不同的表述表达类似的观点。

研究人员的目的是刺激对大规模自然语言生成的探索，特别是语言模型中的错误可能被自动修复的方式。

本文的重点是开放式生成，但这种方法会限制语言生成，如机器翻译。特别是在考虑一个新的任务设置时，新的错误类型可能也会被证明是有用的。

鉴错师Scarecrow的注释tookit和数据集现在已经公开：https://yao-dou.github.io/scarecrow/.

参考资料：

https://venturebeat.com/2021/07/08/researchers-detail-blind-spots-of-large-language-models/

0 人点赞