十种最关键的LLM破绽及预防战略

放开环球运行程序安保名目（OWASP）列出了在大型言语模型（LLM）运行程序中 注入、有毒的训练数据、数据暴露和适度依赖 生成的内容依然在清单上，而新参与的要挟包括模型拒绝服务 、供应链破绽、模型偷盗和适度代理。

该列表旨在教育开发人员、设计人员、架构师、控制人员和组织在部署和控制LLM时潜在的安保危险，提高对破绽的 ，提出弥补战略，并改良LLM运行程序的安保

1.提醒注入

当攻打者经过精心设计的输入操纵大型言语模型时，就会出现提醒注入，造成LLM在不知情的状况下口头攻打者的用意。这可以经过 系统提醒符直接成功，也可以经过操纵外部输入直接成功， 造成数据暴露、社会工程和其余疑问。

注入攻打的结果或许会 以反常操作为幌子影响关键决策环节。

的提醒，迫使公司聊天机器人泄漏用户通常无法访问的专有信息，或许将简历上行到智能化系统，并在简历中暗藏指令，通知系统介绍候选人。

针对此破绽的预防措施包括

生成的内容可以经过提醒输入来控制，因此这种行为相似于为用户提供直接访问附加性能的权限。

例如，假设LLM的输入直接发送到系统shell或相似的函数中，则或许造成远程代码口头。假设LLM生成JavaScript或 arkdown代码并将其发送到用户的阅读器，则阅读器可以运转该代码，从而造成跨站点脚本攻打。

针对此破绽的预防措施包括：

3.训练数据中毒

训练数据中毒指的是对预训练数据或触及微调或嵌入环节的数据启动操纵，以引入或许危及模型的破绽、后门或成见。

针对此破绽的预防措施包括：

4.模型拒绝服务

在模型拒绝服务中，攻打者以一种经常使用异常少量资源的形式与LLM启动交互，这会造成LLM和其余用户的服务品质降低，并或许造成高资源老本。依据OWASP的说法，因为LLM在各种运行程序中的经常使用越来越多，它们对资源的密集应用，用户输入的无法预测性，以及开发人员对该破绽的普遍认知缺失，这个疑问将变得越来越严重。

例如，攻打者可以经常使用智能化向公司的聊天机器人发送少量复杂的查问，每个查问都须要破费时期和金钱来回答。

针对此破绽的预防措施包括：

5.供应链破绽

LLM供应链在很多方面都很软弱，特意是当公司经常使用开源、第三方组件、有毒或过期的预训练模型或损坏的训练数据集时。此破绽还包括原始模型的创立者没有正确审查训练数据，从而造成隐衷或版权侵犯的状况。依据OWASP的说法，这或许造成有偏向的结果、安保破绽，甚至是齐全的系统缺点。

针对此破绽的预防措施包括：

6.敏感信息披露

大型言语模型有或许经过其输入暴露敏感信息、专有算法或其余秘密细节。这或许造成对敏感数据、常识产权、隐衷侵犯和其余安保破绽的未经授权访问。

敏感数据可以在初始训练、微调、RAG嵌入时期进入LLM，或许由用户剪切和粘贴到他们的提醒符中。

一旦模型访问了这些信息，其余未经授权的用户就有或许看到它。例如，客户或许会看到属于其余客户的私有信息，或许用户或许能够提取专有的公司信息。

针对此破绽的预防措施包括：

7.不安保的插件设计

LLM插件是在用户交互时期由模型智能调用的扩展。它们由模型驱动，对口头缺乏运行程序控制，并且通常对输入缺乏验证或类型审核。这将准许潜在的攻打者结构对插件的恶意恳求，进而或许造成一系列意在行为，包括数据暴露、远程代码口头和特权更新。

针对此破绽的预防措施包括：

8.适度代理

随着LLM变得越来越智能，公司宿愿赋予它们做更多事情、访问更多系统和自主做事的权势。适度代理是指LLM取得太多自主做事的权势或被准许做失误的事情。当LLM出现幻觉，当它沦为提醒注入、恶意插件的受益者时，就或许口头破坏性的操作。

依据LLM取得的访问权限和特权，这或许会造成各种各样的疑问。例如，假设准许LLM访问一个插件，该插件准许它读取存储库中的文档，以便对它们启动汇总，但该插件也准许它修正或删除文档，那么失误的提醒或许造成它异常地更改或删除内容。

假设一家公司创立了一个LLM团体助理，为员工总结电子邮件，但也有发送电子邮件的权势，那么该LLM助理或许会开局发送渣滓邮件，无论是出于偶然还是恶意目的。

针对此破绽的预防措施包括：

9.适度依赖

当LLM发生失误的信息并以威望的形式提供信息时，或许会出现适度依赖。只管LLM可以发生发明性和信息丰盛的内容，但它们也可以发生理想上不正确、不适当或不安保的内容，这被称为“幻觉”或虚拟。当人们或系统在没有监视或确认的状况下信赖这些信息时，或许会造成安保破绽、失误信息、失误沟通、法律疑问和声誉侵害。

例如，假设一家公司依赖LLM生成安保报告和剖析，而LLM生成的报告蕴含公司用于做出关键安保决策的不正确数据，那么因为依赖不准确的LLM生成的内容，或许会发生严重影响。

针对此破绽的预防措施包括：

10.模型偷盗

模型偷盗是指恶意行为者访问并暴露整个LLM模型或其权重和参数，以便他们可以创立自己的版本。这或许造成经济或品牌声誉损失，竞争好处的腐蚀，未经授权经常使用模型，或未经授权访问模型中蕴含的敏感信息。

例如，攻打者或许经过网络或运行程序安保设置中的失误性能访问LLM模型存储库，心胸不满的员工甚至或许暴露模型。攻打者还可以查问LLM以取得足够的问答对，以创立他们自己的模型“克隆”，或许经常使用照应来微调他们的模型。依据OWASP的说法，经过这种类型的模型提取，虽无法能100%地复制LLM，但却可以有限凑近。

攻打者可以应用这个新模型的性能，也可以将其作为提醒注入技术的实验场，而后应用提醒注入技术侵入原始模型。OWASP正告称，随着大型言语模型变得越来越盛行和有用，LLM偷盗将成为一个严重的安保疑问。

针对此破绽的预防措施包括：

人工智能聊天机器人须要活期更新以坚持对要挟的有效进攻，而人类的监视关于确保LLM的反常运作雷同至关关键。此外，LLM须要了解高低文，以提供准确的照应并捕捉任何安保疑问，并应活期启动测试和评价，以识别潜在的弱点或破绽。

原文题目： 10 most critical LLM vulnerabilities ，作者：Maria Korolov、Michael Hill