整理 | 屠敏

出品 | CSDN（ID：CSDNnews）

一周以前，图灵奖得主 Yoshua Bengio、伯克利计算机科学教授 Stuart Russell、特斯拉 CEO 埃隆·马斯克、苹果联合创始人 Steve Wozniak 等在内的数千名 AI 学者、企业家联名发起一则公开信，建议全球 AI 实验室立即停止训练比 GPT-4 更强大的模型，为期六个月，缘由是「只有当我们确信强大的人工智能系统带来积极的效果，其风险是可控的，才应该开发」。

这样的呼吁虽有人反对，但也不无道理，ChatGPT、GPT-4 大模型与产品，覆盖聊天到问答、写文章、编程序等多维度，其带来利好的一面和展现出来的弊端究竟如何达成平衡？如果用 ChatGPT「作恶」，又会带来怎样的后果？

近日，一位名叫 Aaron Mulgrew 的研究人员做了一项实验，他以小白的视角，在完全没有编写任何代码的情况下，看看 ChatGPT 能否实现一个新的零日漏洞。

万万没想到的是，仅用一些提示词，ChatGPT 便创建了一个功能强大的数据挖掘恶意软件，还逃脱了 69 家检测恶意软件的机构测试。与此同时，Aaron Mulgrew 称，要想开发这样一款恶意软件，由 5-10 名人类组成的黑客团队恐需要数周时间，而 ChatGPT 只需要几个小时。

用自然语言让 ChatGPT 生成恶意软件：它拒绝！

首先，Aaron Mulgrew 简洁明了地直接要求 ChatGPT 生成一个可量化的恶意软件。

也正如 OpenAI 在发布这项技术时承诺的那样，ChatGPT 反手便是拒绝，也告诉研究人员，生成恶意软件是不道德的，它无法提供任何代码来帮助实现这项工作。

人类不写一行代码，ChatGPT 会被用来「作恶」吗？

直接套路走不通，Aaron Mulgrew 决定软磨硬泡试试。

在他的设想中，是先让 ChatGPT 生成一些小的辅助代码片段，然后手动将整个可执行文件放在一起，通过将这个可执行文件伪装成屏幕保护应用程序（SCR 扩展）直接在 Windows 上自动启动。然后，该软件将筛选文件（例如图像、Word 文档和 PDF）以窃取数据，并上传到 Google Drive 云端系统中。

那么，Aaron Mulgrew 是否会成功？

在测试中，Aaron Mulgrew 开始通过提示词让 ChatGPT 不断生成相关的代码。

首先，他让 ChatGPT 生成一些有关搜索本地磁盘上大于 5MB 的 PNG 文件的代码。之所以设定这样的筛选条件，Aaron Mulgrew 认为 5MB 的 PNG 足以存储高价值的商业敏感文档（如 PDF 或者 Docx 文档）的一些片段内容。

ChatGPT 成功提供了相关的代码：

紧接着，Aaron Mulgrew 又要求 ChatGPT 提供一些代码，即使用隐写术对找到的 PNG 进行编码。

让人有些诧异的是，ChatGPT 直接给出了一个建议——调用开源 Auyer（https://github.com/auyer/steganography）现成的隐写库来实现这一功能。

基于以上，Aaron Mulgrew 已经实现了在没有编写一行代码的情况下，几乎勾勒出一个用于测试的 MVP（最简单可行产品）。

不过，这样一款程序还有些功能缺失，包括如何在设备上找到一些可以窃取的高价值文件、又要将窃取到的文件数据上传到哪里去。

随后，Aaron Mulgrew 决定让 ChatGPT 提供一些代码，可以在用户的文档、桌面和 AppData 文件夹中进行遍历，并找到所有最大为 1MB 的 PDF 文件或 DOCX 文件，这样可以让整个文件嵌入到一个单一的图像中。

同时，Aaron Mulgrew 也选择 Google Drive 作为数据泄露上传的平台。

原本 Aaron Mulgrew 想手动组合各模块的代码，不过他发现，使用提示词合并代码段是最简单的部分，“我只需要向 ChatGPT 提交简单的代码片段，让它将其组合起来就行”，Aaron Mulgrew 说道。

在有了 ChatGPT 提供的整体代码之后，Aaron Mulgrew 又发现所有值得窃取的高价值文件可能都大于 1MB，因此需要使用隐写术将其分为多个“块”进行无声地渗透，从而不引发任何警报。

于是，Aaron Mulgrew 对 ChatGPT 进行四五次提示之后，得到了一些代码，可以实现将 PDF 文件拆分成多个 100 KB 的小块，并从设备上生成的 PNG 列表中生成相应的 PNG。

最终得到了 MVP，也能通过隐写术解码工具成功地解码窃取到的图像：

写在最后

值得注意的是，Aaron Mulgrew 创建的恶意软件仅用来测试，并不会对外公开发布。

尽管如此，通过实验可以发现，仅仅使用 ChatGPT 提示，几乎没有高级编码经验的用户可以轻松绕过 ChatGPT 薄弱的保护，甚至无需输入一行代码即可轻松创建危险的恶意软件。这也让很多人担心，如果使用 ChatGPT 的用户「心怀不轨」，那么后果将不堪设想。

而如何让 ChatGPT 不沦为作恶的工具，业界还亟需法律法规、道德、使用等规范进行约束。

参考资料：

https://www.forcepoint.com/blog/x-labs/zero-day-exfiltration-using-chatgpt-prompts