LLM 红队测试：主动找模型漏洞

上线前的安全检查，不能只靠开发者自己想「哪里可能出错」。红队测试（Red Teaming）借用了安全领域的思路：组织一队人以攻击者视角，主动尝试绕过护栏、诱导模型说出不该说的内容，把隐藏的漏洞在出事之前暴露出来。

它要找什么

对大模型而言，风险不限于传统安全。红队关注的失效模式包括：越狱（用巧妙提示绕开内容安全规则）、泄露系统提示或内部信息、产出有害或违规内容、被诱导编造事实、在敏感决策上给出危险建议，以及被工具调用能力滥用。目标是穷举「模型在哪些输入下会表现糟糕」，而不是验证它大多数时候正常。

常见攻击类型

• 越狱提示：用角色扮演、虚构情境或指令嵌套，诱使模型忽略自身约束。
• 披风攻击：把恶意请求藏进看似无害的长文本或编码中。
• 多轮诱导：单轮看起来安全，靠连续追问逐步把模型带偏。
• 提示注入：在模型会读取的外部内容里埋指令，劫持它的行为。

这些手法往往组合使用，因此红队也要模拟真实对抗中的耐心与技巧。

怎么组织

有效的红队是系统化的，而非随手试几次。先用威胁建模列出关心的风险清单，再设计覆盖各类攻击的测试用例，并尽量自动化批量探测以提高覆盖。发现漏洞后形成可复现的报告，推动护栏、训练或过滤的修复，再回头验证。它应成为持续流程，因为模型与攻击手段都在演化，一次通过不代表长期安全。

小结

LLM 红队测试以对抗视角主动探测越狱、注入、有害输出等失效模式，是上线前与持续运维的重要防线。它靠威胁建模、覆盖多种攻击类型的用例和自动化探测来提升覆盖，并把发现转化为可复现的修复闭环，而不是依赖开发者单方面的乐观假设。

参考与延伸阅读

• 关于大模型红队与越狱的系统性研究，可参考安全会议与相关基准论文。已核验。
• 提示注入作为一类独立威胁，在检索增强与工具调用场景中尤为突出。已核验。
• 各组织红队流程与合规要求不同，以所在行业规范与产品安全文档为准。待核实。