安全评测：基准与红队

安全评测是检验 AI 系统是否会输出有害、不可靠或可被利用结果的过程，主要由两类活动组成：用标准化基准做量化评测，以及用红队（red teaming）主动尝试攻破系统。两者互补，一个看「平均水平」，一个找「最坏情况」。

是什么

基准是一组固定题目或数据集，用于可复现地衡量模型在某类风险上的表现，例如毒性、偏见、越狱成功率。红队则是人类或自动化攻击方，刻意构造刁钻输入探查边界，目标是发现基准覆盖不到的失败模式。

评测组合：
基准测试 -> 可复现的量化指标
红队测试 -> 主动发现未知漏洞
二者结合 -> 既看平均也看尾部

为什么重要

仅靠准确率无法反映安全风险。一个在常规任务上表现优秀的模型，仍可能在对抗提示下泄露隐私或生成危险内容。评测把「安全」变成可度量、可比较的工程对象。

怎么做

上线前跑覆盖主要风险类别的基准，记录通过率与失败样例；组织红队针对提示注入、数据泄露、越狱做专项测试；把结果纳入风险台账，对未达标项要求修复后再上线。

注意点

基准会过时，红队发现的漏洞也可能被攻击者抢先利用。评测应是持续过程，并随新威胁情报更新测试用例。

小结

安全评测以基准量化风险、以红队暴露盲点，二者缺一不可。它应作为上线的硬性门槛并持续迭代。

参考与延伸阅读

• OWASP LLM Top 10（风险类别参考）。已核验。https://owasp.org/www-project-top-10-for-large-language-model-applications/
• NIST GenAI Profile（AI RMF 生成式 AI 风险与评测）。已核验。https://www.nist.gov/itl/ai-risk-management-framework