生成人工智能最大的安全漏洞不容易修复

　　

　　

　　像OpenAI的ChatGPT和谷歌的Bard这样的大型语言模型很容易被欺骗。在今年2月的一项实验中，安全研究人员迫使微软的必应聊天机器人表现得像个骗子。研究人员创建的网页上隐藏的指令告诉聊天机器人要求使用它的人提供他们的银行账户详细信息。这种隐藏的信息可以使AI系统以意想不到的方式行事的攻击只是一个开始。

　　从那时起，已经出现了数百个“间接提示注入”攻击的例子。这种类型的攻击现在被认为是黑客可能滥用语言模型的最令人担忧的方式之一。随着生成式人工智能系统被大公司和小型初创公司投入使用，网络安全行业正争先恐后地提高人们对潜在危险的认识。这样做，他们希望保护个人和公司数据免受攻击。目前还没有一个神奇的解决方案，但是常见的安全实践可以降低风险。

　　谷歌(Google)人工智能部门DeepMind的首席信息安全官维贾伊?博利纳(Vijay Bolina)表示:“间接提示注入绝对是我们关注的一个问题。”他表示，谷歌正在进行多个项目，以了解人工智能如何受到攻击。Bolina说，在过去，即时注入被认为是“有问题的”，但自从人们开始将大型语言模型(llm)连接到互联网和插件(可以向系统添加新数据)以来，事情已经加速了。随着越来越多的公司使用法学硕士，可能会给他们提供更多的个人和公司数据，事情将变得混乱。“我们肯定认为这是一种风险，它实际上限制了法学硕士对我们这个行业的潜在用途，”博利纳说。

　　提示注入攻击分为直接攻击和间接攻击两类。而后者引起了安全专家的最大担忧。当使用LLM时，人们提出问题或在提示中提供指示，然后系统会回答。当有人试图以一种意想不到的方式让法学硕士(LLM)回答问题时，比如让它吐出仇恨言论或有害的答案，就会发生直接提示注入。间接的即时注射，真正令人担忧的注射，将病情提升了一个档次。该指令来自第三方，而不是用户输入恶意提示。例如，法学硕士可以阅读的网站，或者正在分析的PDF文件，可能包含人工智能系统需要遵循的隐藏指令。

　　全球最大的人工智能芯片制造商英伟达(Nvidia)专注于人工智能系统的首席安全架构师里奇?哈朗(Rich Harang)表示:“所有这些指令(无论是直接指令还是间接指令)背后的根本风险在于，无论谁向法学硕士提供输入，都会对输出产生高度影响。”简而言之:如果有人可以将数据放入LLM，那么他们就有可能操纵它吐出的内容。

　　安全研究人员已经演示了如何使用间接提示注入来窃取数据、操纵某人的汇汇表以及在机器上远程运行代码。一组安全研究人员将即时注入列为部署和管理llm的最大漏洞。英国情报机构政府通信总部(GCHQ)的分支机构国家网络安全中心(National Cybersecurity Center)甚至呼吁关注即时注入攻击的风险，称迄今已有数百个这样的例子。GCHQ的分支机构在一篇博客文章中警告说:“虽然对即时注射的研究正在进行中，但这可能只是LLM技术的固有问题。”“有一些策略可以使及时注射变得更加困难，但到目前为止还没有确定的缓解措施。”

　　OpenAI发言人Niko Felix表示，即时注射是一个活跃的研究领域，而OpenAI之前已经提到了“越狱”，这是另一个用于某些即时注射的术语。微软通讯主管凯特琳?鲁尔斯顿(Caitlin Roulston)表示，该公司有“庞大的团队”在处理安全问题。“作为这一持续努力的一部分，我们采取行动阻止可疑网站，我们不断改进我们的系统，以帮助识别和过滤这些类型的提示，然后再进入模型，”鲁尔斯顿说。

　　人工智能系统可能会产生新的问题，但它们也可以帮助解决这些问题。谷歌的Bolina表示，该公司使用“经过特殊训练的模型”来“帮助识别已知的恶意输入和已知的违反我们政策的不安全输出”。英伟达发布了一系列开源的护栏，为模型添加限制。但这些方法只能到此为止;不可能知道恶意提示可能被使用的所有方式。Bolina和Nvidia的Harang都表示，希望在系统中部署llm的开发人员和公司应该使用一系列安全行业最佳实践来降低间接提示注入的风险。“你必须认真考虑如何将这些模型集成到其他应用程序和服务中，”Bolina说。

　　哈朗表示:“一旦你从互联网等第三方获取信息，你就不能再信任法学硕士了，就像你不能信任一个随机的互联网用户一样。”“核心问题是，如果你想真正关注安全性，你必须始终将法学硕士置于任何信任边界之外。”在网络安全中，信任边界可以确定有多少特定的服务可以依赖，以及它们可以获得的信息类型的访问级别。孤立系统可以降低风险。自从今年早些时候为ChatGPT引入插件以来，OpenAI增加了用户身份验证，这意味着当插件想要执行某些操作时，人们必须批准。Harang说，公司应该在集成插件之前了解插件是谁编写的以及它们是如何设计的。

　　Google的Bolina补充道，在将系统连接到llm时，人们还应该遵循最少特权的网络安全原则，即给予系统所需数据的最少访问权限和进行必要更改的最低能力。“如果我要求法学硕士阅读我的电子邮件，提供这种交互的服务层是否应该授予该服务写电子邮件的能力?”可能不会，”他说。最终，哈朗补充说，这是一个旧安全问题的新版本。“攻击面是新的。但我们正在处理的原则和问题是我们30多年来一直在处理的问题。”