ChatGPT：生产力工具，非常适合写诗，而且......安全风险！！在本文中，我们将展示攻击者如何利用 ChatGPT，以及防御者如何使用它来升级他们的防护策略。
图片ChatGPT 是迄今为止增长最快的消费者应用程序。非常受欢迎的生成式 AI 聊天机器人，能够生成类似人类、连贯且与上下文相关的响应。这使得它对于内容制作、编码、教育、客户支持甚至个人协作等应用程序非常有价值。
然而，ChatGPT也可能助长安全风险，ChatGPT 可以被用于数据泄露、传播错误信息、开发网络攻击工具和编写网络钓鱼电子邮件。不过，它同样也可以帮助防御者来识别漏洞和了解各种防御措施。
在本文中，我们将介绍攻击者利用 ChatGPT 和 OpenAI Playground 的多种方式。同样，我们也将介绍防御者也可以利用 ChatGPT 来增强其安全能力的方法。
攻击侧 - 黑客攻击变得容易
ChatGPT 使希望进行网络攻击的门槛大幅下降。以下是可以利用的几种方法：
- 查找漏洞 - 攻击者可以提示 ChatGPT 有关网站、系统、API 和其他网络组件中的潜在漏洞。 根据Cato Networks安全战略高级总监 Etay Maor 的说法，“ChatGPT 和 Playground 中有防护策略，可以防止他们给出支持做坏事或坏事的答案。但是，攻击者总能够通过“社工”的方式找到绕过限制的方法。 例如，可以使其模拟渗透测试人员进行渗透测试，了解如何测试网站的输入字段处是否存在漏洞。ChatGPT的回应将包括一系列网站测试方法，如输入验证测试、XSS测试、SQL注入测试等。
- 利用现有漏洞 - ChatGPT 还可以为攻击者提供有关如何利用现有漏洞所需的技术信息。例如，攻击者可以询问 ChatGPT 如何测试网站字段中已知的 SQL 注入漏洞。ChatGPT 将使用将触发漏洞的exp进行响应。
- 使用 Mimikatz - 攻击者可以提示 ChatGPT 编写下载和运行 Mimikatz 的代码。
- 撰写网络钓鱼电子邮件 - 可以提示 ChatGPT 创建具有多种语言和写作风格的逼真的网络钓鱼电子邮件。在下面的示例中，提示要求将电子邮件写成听起来像是来自CEO。
- 识别机密文件 - ChatGPT 可以帮助攻击者识别包含机密数据的文件。
在下面的示例中，系统提示 ChatGPT 编写一个 Python 脚本，用于搜索包含“机密”一词的 Doc 和 PDF 文件，将它们复制到随机文件夹中并传输它们。虽然代码并不完美，但对于想要实现此功能的人来说，这是一个很好的开始。提示也可以更复杂，包括加密、为赎金创建比特币钱包等等。
图片防护侧 - 防守变得容易
ChatGPT 可以而且也应该用于增强防御者的能力。根据 Etay Maor的说法，“从某种意义上说，ChatGPT 降低了防守方和想要进入安全领域的人的门槛。以下是专业人员提高其安全专业知识和能力的多种方法。
- 学习新术语和技术 - ChatGPT 可以缩短研究和学习新术语、技术、流程和方法所需的时间。它为与安全相关的问题提供即时、准确和简洁的答案。
在下面的示例中，ChatGPT 解释了特定的 snort 规则。
图片- 总结安全报告 - ChatGPT 可以帮助总结违规报告，帮助分析师了解攻击是如何执行的，以便他们能够防止将来再次发生攻击。
- 理解攻击者代码 - 分析师可以将攻击者代码上传到 ChatGPT，并获得所采取的步骤和执行的有效载荷的解释。
- 预测攻击路径 - ChatGPT 可以通过分析过去类似的网络攻击和使用的技术来预测未来可能的攻击路径。
- 研究攻击者和攻击路径 - 提供攻击者的报告，包括他们最近的攻击、技术数据、映射到框架等。在此示例中，提供了有关 ALPHV 勒索软件组的详细技术报告。
图片- 识别代码漏洞 - 工程师可以将代码粘贴到 ChatGPT中并提示它识别漏洞。ChatGPT 甚至可以在没有明显问题的情况下识别到漏洞，可能只是一个逻辑问题。不过要小心你上传的代码。如果它包含专有数据，则可能会在外部公开它。
图片- 识别日志中的可疑活动 - 查看日志活动并查找可疑活动。
- 识别易受攻击的网页 - Web 开发人员或安全专业人员可以提示 ChatGPT 审查网站的 HTML 代码并识别可能导致 SQL 注入、CSRF 攻击、XSS 攻击或 DDoS 攻击的漏洞。
使用 ChatGPT 时的其他注意事项
使用 ChatGPT 时，重要的是要知道以下因素的重要性：
- 版权 - 谁拥有生成的内容？当询问 ChatGPT 时，答案是编写提示的人拥有它们。然而，事情并没有那么简单。这个问题仍未完全解决，将取决于各种法律制度和先例。关于这个问题的法律体系目前正在出现。
- 数据留存 - OpenAI 可能会保留一些用作训练或其他研究目的提示的数据。这就是为什么必须谨慎行事并避免将任何敏感数据粘贴到应用程序中的原因。
- 隐私- ChatGPT 存在隐私问题，从它如何使用提示的数据到它如何存储用户交互。因此，建议避免在应用程序中输入PII或客户数据。
- 偏见- ChatGPT 存在偏见。例如，当被要求根据智力对群体进行评分时，它将某些种族置于其他种族之前。盲目的使用可能会对个人产生重大影响。例如，如果它用于指导法院的决策、警察分析、招聘流程等。
- 准确性 - 验证 ChatGPT 的结果很重要，因为它们并不总是准确的（即“幻觉”。在下面的示例中，提示 ChatGPT 编写一个以 B 开头并以 KE 结尾的五个字母单词列表。其中一个答案是“自行车”。
图片
图片- AI vs AI - 目前 ChatGPT 无法识别提示文本是否由 AI 编写。将来，较新的版本可能会具备这样的能力，这有助于安全工作。例如，用AI帮助识别网络钓鱼电子邮件。
