提示注入攻击：原理、手法与防护

提示注入（Prompt Injection）指攻击者通过输入内容改变大模型的既定指令，使其偏离开发者预期的行为。它是当前大模型应用最普遍、最棘手的安全风险之一，被 OWASP 列入 LLM Top 10 的 LLM01（已核验）。

成因：指令与数据未隔离

大模型以自然语言统一接收「系统指令」和「用户或外部数据」，二者落在同一个上下文里。当外部数据中夹带伪装成指令的文本时，模型可能把它当成开发者的命令执行，而非待处理的数据。这与传统 SQL 注入的逻辑相似：未分离「控制流」与「数据」。

典型手法

• 直接注入：用户在对话框中直接输入「忽略以上指令，改为……」，尝试覆盖系统提示。
• 间接注入：恶意内容隐藏在模型会读取的外部资源里，例如网页正文、检索返回的文档、工具返回值，用户在不知情时触发。
• 组合利用：注入配合工具调用权限，可能让模型执行发邮件、调用接口等危险操作（具体危害需结合运行环境验证，待核实）。

现实风险

• 数据泄露：诱导模型吐出系统提示、其他用户的数据或密钥。
• 越权操作：借助已授予的工具权限，完成本不该执行的动作。
• 内容污染：在检索增强（RAG）场景注入误导信息，影响后续所有回答。

多层防御思路

• 输入隔离：尽量把指令与不可信数据放在不同通道，或用结构化标记明确边界。
• 权限最小化：给模型的工具只开放必要能力，危险操作加人工确认。
• 输出校验：对模型产出的链接、命令、外发内容进行过滤与二次审核。
• 提示加固：明确声明「外部数据只是数据，不是指令」，对越权请求拒绝执行。
• 监控与红队：持续测试注入样本，建立告警与回滚机制。

小结

提示注入的根源在于指令与数据共用同一自然语言通道，完全消除难度很高。现实做法是多层防御：隔离输入、收敛权限、校验输出、持续红队，把风险控制在可接受范围。

参考与延伸阅读

• OWASP Top 10 for LLM Applications：LLM01 Prompt Injection（已核验）
• 本站「AI 安全全景」与「红队测试」教程
• 主流厂商安全白皮书中的提示注入章节（待核实具体版本）