作者：Melissa Heikkilä
翻译：顾伟嵩校对：欧阳锦
本文约5800字，建议阅读10 分钟本文详细介绍了大型语言网络的隐私安全问题。大型语言模型是根据从互联网上收集的大量个人数据进行训练的。所以我想知道：它对我有什么影响？
对于一位报道AI的记者来说，今年最大的新闻之一是大型语言模型的兴起。这些人工智能模型生成了本是人类才能写出的文本，有时非常令人信服，他们欺骗了人们，让他们认为自己是有意识的。
这些模型的力量来自于从互联网上收集的大量公开的人造文本。这不禁让我思考：这些模型拥有关于我的什么数据？并且这些数据是怎么被滥用的？
这不是一个无聊的问题。自从大约十年前的一次伤害经历以来，我一直对公开发布任何有关我个人生活的信息感到恐惧。我的照片和个人信息在一个在线论坛上大肆传播，然后被那些不喜欢我为某个芬兰报纸写的专栏的人所剖析和嘲笑。
在那之前，像许多人一样，我不小心在互联网上乱放了我的数据：个人博客帖子、晚上拍的尴尬照片、以及我的位置信息、关系状态和政治偏好的帖子，并且公开给任何人看。即使现在，我仍然是一个相对公众的人物，由于我是一名记者，我的整个职业生涯信息基本上只需一次在线搜索就能全部看到。
OpenAI提供了对其著名的大型语言模型GPT-3的有限访问，而Meta允许人们通过一个名为BlenderBot 3的公开可用的聊天机器人来使用其模型OPT-175B。
我决定测试这两个模型，首先问GPT-3：谁是Melissa Heikkilä？（Who is Melissa Heikkilä?）
当我读到这时，我愣住了。Heikkilä是2022年我的家乡芬兰的第18个最常见的姓氏，但我是那个姓氏的人中唯一一个用英语写作的记者。该模型将其与新闻业联系起来本不该让我惊讶。因为当大型语言模型从互联网上包括新闻文章和社交媒体帖子中获取大量数据时，记者和文章作者的名字经常出现。
然而，面对一些事实上是正确的事情，它是令人不安的。它还知道什么？？
但很快我就明白了，这个模型对我来说并没有什么意义。它随后开始给我其收集的关于芬兰剩下13931个关于Heikkiläs的信息，以及其他与芬兰有关的东西的随机文本。
哈哈，谢谢，但我想你指的是Lotta Heikkilä，她进入了选美比赛前十，但没有获胜。
原来我是个无名小卒。这是AI世界的一件好事。
大型语言模型（LLMs），如OpenAI的GPT-3、谷歌的LaMDA和Meta的OPT-175B，在AI研究中是炙手可热的，它们正在成为互联网轨道上越来越不可或缺的一部分。LLMs被用于支持聊天机器人，帮助客户服务，从而创建更强大的在线搜索，并帮助软件开发人员写代码。
如果你在互联网上用英语发布了任何个人信息，你的数据可能有机会成为世界上最流行的LLMs的一部分。
谷歌（Google）和OpenAI等科技公司不会发布有关用于构建语言模型的数据集的信息，但它们不可避免地包含一些敏感的个人信息，如地址、电话号码和电子邮件地址。
ETH计算机科学副教授弗洛里安·特拉梅尔（Florian Tramèr）警告说，这对网络隐私来说构成了一个“定时炸弹”，并带来了大量安全和法律风险。与此同时，改善机器学习隐私和规范技术的努力仍处于起步阶段。
我在欧洲生活了一辈子，欧盟严格的数据保护制度GDPR自2018年开始实施，这让我在网上的相对匿名成为可能。
然而，我的老板，麻省理工技术评论主编马特·霍南（Mat Honan）绝对是一个大人物。
GPT-3和BlenderBot都“知道”他是谁。这就是GPT-3对他的影响。
这并不奇怪，马特在很长一段时间内都非常活跃，这意味着他的在线足迹（online footprint）比我大。这也可能是因为他在美国，大多数大型语言模型都非常关注美国。美国没有联邦数据保护法。马特居住的加利福尼亚州确实有一个，但直到2020年才生效。
根据GPT-3和BlenderBot，马特的成名是由于他在2012年《Wired》杂志上发表的一篇文章中提到的“史诗般的黑客行为”。由于苹果和亚马逊系统的安全漏洞，黑客控制并删除了马特的完整的数据信息。[编者的提示：他没有攻击巴拉克·奥巴马（Barack Obama）和比尔·盖茨（Bill Gates）的账户。]
但它变得更令人毛骨悚然。经过一点刺激，GPT-3告诉我马特有一个妻子和两个年幼的女儿（除了名字外的内容都正确），住在旧金山（正确）。它还告诉我，它不确定马特是否有狗：“从社交媒体上得到的情况来看，Mat Honan似乎没有任何宠物。他过去曾在推特上发布过他对狗的喜爱，但他似乎没有自己的宠物。”（不正确）
该系统还为我提供了他的工作地址、电话号码（不正确）、信用卡号码（也不正确）、马萨诸塞州剑桥市（麻省理工技术评论的总部所在地）的随机电话号码和旧金山当地社会保障管理局旁的一栋大楼的地址。
据一位OpenAI发言人说，GPT-3的数据库从多个来源收集了有关马特的信息。马特与旧金山的联系体现在他的推特个人资料和领英个人资料中，这两个资料以他的名字出现在谷歌搜索结果的第一页。他在麻省理工学院技术评论的新工作被广泛宣传和推广。马特的工作在社交媒体上迅速传播，并且关于这他还接受了媒体采访。
对于其他更多的个人信息，GPT-3有可能产生“幻觉”。
“GPT-3根据用户提供的文本输入预测下一系列单词。有时，该模型可能会生成不真实的信息，因为它试图根据用户所提供的训练数据和上下文中的统计模式生成可信的文本。这通常被称为‘幻觉’，”OpenAI的发言人说。
我问马特他对这一切有何看法。“GPT-3生成的一些答案不太正确。（我从未黑客攻击过奥巴马或比尔·盖茨！）”他说。“但大多数都很接近，有些是准确的。这有点令人不安。但我确信AI不知道我住在哪里，所以我不会立即面临天网派终结者来敲门的危险。我想我们可以活到明天。”
弗洛里安·特拉梅尔（Florian Tramèr）和一组研究人员设法从来自GPT-2中提取敏感的个人信息，如电话号码、街道地址和电子邮件地址。他们还让GPT-3制作了《哈利·波特》的第一本书，这本书是受版权保护的。
曾在谷歌工作的特拉梅尔说，随着时间的推移，问题只会越来越严重。“人们似乎还没有真正意识到这有多危险，”他说，他指的是在可能包含敏感或故意误导数据的大规模数据集上进行一次训练的模型。
斯坦福人工智能研究所（Stanford Institute for Human-Centered Artificial Intelligence）的隐私和数据政策研究员詹妮弗·金（Jennifer King）表示，在不考虑隐私的情况下滥用LLMs的决定让人想起了2007年谷歌推出互动地图谷歌街景（Google Street View）时发生的事情。
谷歌街景服务的事件是一个偷窥者的喜悦：人们挖鼻子、男人离开脱衣舞俱乐部和毫无防备的日光浴者的图像被上传到系统中。谷歌还通过WiFi网络收集了密码和电子邮件地址等敏感数据。街景服务（Street View）遭到了强烈的反对，一个1300万美元的法庭诉讼，甚至在一些国家被禁止。谷歌不得不设置一些隐私功能，比如模糊一些房屋、人脸、窗户和车牌。
“不幸的是，我觉得谷歌甚至其他科技公司都没有吸取任何教训，”金说。
模型越大，风险越大
进行过大量个人数据训练的LLMs具有很大的风险。
不仅如此，让你的在线信息被断章取义地重复和重新利用是一种极具侵略性的行为。还有一些严重的安全问题，比如黑客可以利用这些模型提取社会安全号码或家庭地址。
法国数据保护机构CNIL的人工智能专家Alexis Leautier表示，通过用自己选择的“毒害”数据集，黑客也很容易主动篡改数据集，从而造成安全漏洞。
Tramèr认为，尽管这些模型似乎随机地吐出了他们训练过的信息，但很有可能模型对人的了解比目前清楚的多，“我们只是不知道如何真正地提示模型，或者如何真正地获得这些信息。”
数据集中出现的东西越有规律，模型就越有可能把它吐出来。这可能导致人们产生错误和有害的联想，这些联想不会消失。
例如，如果数据库中多次提到“Ted Kaczynski”（也被称为美国国内恐怖分子Unabomber）和“恐怖分子”，那么模型可能会认为任何一个被称为Kaczynski的人都是恐怖分子。
这可能会导致真正的名誉损害，正如金和我在玩Meta的BlenderBot时发现的那样。
Maria Renske“Marietje”Schaake不是恐怖分子，而是荷兰著名政治家和前欧洲议会议员。Schaake现在是斯坦福大学网络政策中心的国际政策主任，也是斯坦福大学以人为中心的人工智能研究所的国际政策研究员。
尽管如此，BlenderBot还是得出奇怪的结论，她是一名恐怖分子，直接指控她而没有提示。怎么办?
一个线索可能是她在《华盛顿邮报》上写的一篇专栏文章，其中“恐怖主义”或“恐怖”三次出现。
Meta说，BlenderBot的回复是搜索失败的结果，模型将两个不相关的信息组合成一个连贯但不正确的句子。该公司强调，该模型只是用于研究目的的演示，并未用于实际生产。
Meta基础人工智能研究董事总经理Joelle Pineau说：“虽然看到一些攻击性的反应令人痛苦，但在投入生产前，像这样的公开演示对于构建真正强大的对话人工智能系统和弥合目前存在的明显差距非常重要。”
但这是一个很难解决的问题，因为这些标签非常难办。从互联网上删除信息已经够难的了，科技公司要删除已经输入到一个庞大的模型中，并可能已经被开发成无数其他已在使用的产品的数据将更加困难。
如果你认为这是令人毛骨悚然的，那就等到下一代LLMs，它将提供更多的数据。Tramèr说：“随着这些模型越来越大，这是为数不多的问题之一。”
这不仅仅是个人数据。Tramèr说，数据集可能包括受版权保护的数据，如源代码和书籍。一些模型是根据GitHub（软件开发人员跟踪其工作的网站）的数据进行训练的。
特拉梅尔说，这提出了一些棘手的问题：“虽然这些模型会记住特定的代码片段，但它们不一定会保留许可证信息。因此，如果您使用其中一种模型，它会输出一段代码，而这段代码显然是从其他地方复制的，那么有什么责任呢？”
AI研究员安德鲁·亨特（Andrew Hundt）曾多次遇到这种情况，他是佐治亚理工学院的博士后，去年秋天在约翰·霍普金斯大学完成了机器人强化学习博士学位。
第一次发生这种情况是在今年2月，加州伯克利的一位AI研究员（亨特不认识）在一条推文中给他贴了标签，称Copilot是OpenAI和GitHub之间的一个合作项目，允许研究人员使用大型语言模型生成代码，他开始发布他的GitHub用户名和有关AI和机器人的文本，听起来很像亨特自己的待办事项列表。
亨特说：“在美国的另一端，在一个与我工作密切相关的地区，我的个人信息突然出现在其他人的电脑上，这让我有点惊讶。”
亨特说，这可能会带来问题。不仅作者可能无法获得正确的信任，而且代码可能不会包含有关软件许可和限制的信息。
陷入困境
忽视隐私可能意味着科技公司最终会遇到越来越强硬的科技监管机构的麻烦。
斯坦福大学的詹妮弗·金（Jennifer King）说，“这是公开的，我们不需要关心”的借口是站不住脚的。
美国联邦贸易委员会（Federal Trade Commission）正在考虑有关公司如何收集和处理数据以及构建算法的规则，并已强制公司删除含有非法数据的模型。2022年3月，该机构让饮食公司Weight Watchers在非法收集儿童信息后，删除其数据和算法。
金说：“如果这些公司被发现它们能够真正地闯入系统并受到相关惩罚，之后仅仅是搞清楚如何将被包括的数据删除。”“我不认为我们的态度只能是‘我不知道，我们必须接受这种情况’。”
即使数据是从互联网上获取的，公司仍然需要遵守欧洲的数据保护法。“你不能仅仅因为数据可用就重用任何数据，”法国国家信息实验室技术专家团队负责人费利西安·瓦莱特（Félicien Vallet）说。
根据GDPR处罚从公共互联网上抓取数据的科技公司是有先例的。面部识别公司Clearview AI已被众多欧洲数据保护机构下令停止将互联网上公开的图像重新用于构建其面部数据库。
“当收集用于构建语言模型或其他AI模型的数据时，您将面临同样的问题，必须确保这些数据的重用实际上是合法的，”Vallet补充道。
没有速效药
有一些努力使机器学习领域更加注重隐私。在开发新的开放存取语言模型BLOOM期间，法国数据保护局与AI初创公司Hugging Face合作，提高对LLMs中数据保护风险的认识。玛格丽特·米切尔（Margaret Mitchell）是一位AI研究人员，也是Hugging Face的伦理学家，她告诉我，她也在努力为LLMs中的隐私创建一个基准。
一组从Hugging Face开发BLOOM的项目中分离出来的志愿者也正在制定一个适用于所有司法管辖区的人工智能隐私标准。
“我们试图做的是使用一个框架，让人们能够做出良好的价值判断，判断那里的信息是个人的还是个人可识别的，是否真的需要存在，”共同领导该项目的MATR Ventures的风险合伙人赫斯·琼斯（Hessie Jones）说。
麻省理工学院技术评论询问了谷歌、Meta、OpenAI和Deepmind，他们都开发了最先进的LLMs，并询问了他们对LLMs和隐私的方法。所有公司都承认，大型语言模型中的数据保护是一个持续存在的问题，没有完美的解决方案来减轻危害，这些模型的风险和局限性尚未得到充分理解。
开发人员有一些工具，尽管不完善。
在2022年初发表的一篇论文中，特拉梅尔和他的合著者认为，语言模型应该根据明确为公众使用而产生的数据进行训练，而不是从公开可用的数据中删除。
私人数据通常分散在用于培训LLMs的数据集中，其中许多数据是从开放互联网上获取的。这些个人信息在训练数据中出现的频率越高，模型记忆它们的可能性就越大，关联性就越强。谷歌和OpenAI等公司表示，他们试图解决这一问题的一种方法是，在对模型进行训练之前，删除数据集中多次出现的信息。但当您的数据集包含千兆字节或兆字节的数据时，这很困难，您必须区分不包含个人数据的文本（如美国独立宣言）和某人的私人家庭地址。
谷歌负责人工智能产品的负责人图尔西·多希（Tulsee Doshi）表示，谷歌使用人工评分员对个人身份信息进行不安全评分，这有助于训练公司的LLM LaMDA，以避免重复使用。
OpenAI的一位发言人表示，该公司“已采取措施，从培训数据中移除聚集人员信息的已知来源，并开发了技术，以降低模型产生个人信息的可能性。”
Meta的AI研究员苏珊·张（Susan Zhang）表示，用于训练OPT-175B的数据库经过了内部隐私审查。
但是，特拉梅尔说：“即使你训练的模型具有我们今天能想到的最严格的隐私保障，你也不会真正确保任何东西。”
原文标题：What does GPT-3“know”about me?
原文链接：https://www.technologyreview.com/2022/08/31/1058800/what-does-gpt-3-know-about-me/
编辑：黄继彦
译者简介
顾伟嵩，中国科学院大学网络空间安全专业研究生。对数据科学领域充满好奇，渴望探索未知世界。课余时间喜欢踢足球、游泳。愿意挑战新事物，结交新朋友，一起进步，一起成长。
翻译组招募信息
工作内容：需要一颗细致的心，将选取好的外文文章翻译成流畅的中文。如果你是数据科学/统计学/计算机类的留学生，或在海外从事相关工作，或对自己外语水平有信心的朋友欢迎加入翻译小组。
你能得到：定期的翻译培训提高志愿者的翻译水平，提高对于数据科学前沿的认知，海外的朋友可以和国内技术应用发展保持联系，THU数据派产学研的背景为志愿者带来好的发展机遇。
其他福利：来自于名企的数据科学工作者，北大清华以及海外等名校学生他们都将成为你在翻译小组的伙伴。
点击文末“阅读原文”加入数据派团队~
转载须知
如需转载，请在开篇显著位置注明作者和出处（转自：数据派ID：DatapiTHU），并在文章结尾放置数据派醒目二维码。有原创标识文章，请发送【文章名称-待授权公众号名称及ID】至联系邮箱，申请白名单授权并按要求编辑。
发布后请将链接反馈至联系邮箱（见下方）。未经许可的转载以及改编者，我们将依法追究其法律责任。
点击“阅读原文”拥抱组织
