数据投毒防御：守住训练数据与供应链三道关卡
数据投毒（Data Poisoning）是人工智能系统面临的一类隐蔽且高影响的威胁：攻击者在模型训练之前或训练过程中，向数据集中植入恶意样本，从而让最终模型学会攻击者期望的偏差、后门或错误行为。与前台可见的提示注入不同，投毒的破坏发生在模型「出厂之前」，一旦模型被部署，问题往往难以从输入侧发现。本文面向工程与安全意识兼顾的读者，把防御拆成三道关卡：训练数据清洗、模型来源校验、供应链最小权限，并给出可落地的检测与应急手段。
什么是数据投毒
通俗地说，数据投毒就是「在原料里动手脚」。模型的能力来自它见过的所有数据，如果原料被污染，产出的模型就会带着污染出厂。按攻击者想达成的目标，常见的投毒形态有三类。
后门投毒
攻击者在训练集中混入带有特定触发条件（例如某段固定短语、某个图像水印）的样本，并把这些样本标注为攻击者期望的类别或输出。模型在绝大多数正常输入上表现正常，但一旦输入中该触发条件出现，模型就会给出攻击者预设的结果。这类危害的麻烦之处在于：常规测试集上指标可能完全正常，因为触发条件很窄、平时不会被测到。
标签翻转
攻击者把一部分样本的真实标签改成错误标签。例如把「正常邮件」标成「垃圾邮件」，或把某一类对象整体误标。模型学完后会在对应分布上系统性犯错。标签翻转不一定需要复杂触发条件，只要在数据量足够大、人工复核缺失时混入一定比例错误标注即可生效。
偏差注入
攻击者通过选择性地投放某种视角、某种群体、某种立场的样本，让模型在价值观、公平性、事实倾向等方面产生可被利用的偏移。这类投毒更隐蔽，它不追求让模型「立刻出错」，而是让模型在长期使用中持续放大某种偏见或错误信息，进而影响下游决策。
攻击面全景
要把防御做扎实，先要清楚投毒可能从哪几个入口进入系统。
- 训练数据：自有采集或业务回流的标注数据，一旦采集链路或标注外包被渗透，就可能被混入选坏样本。
- 预训练语料：大规模爬取的网页、书籍、代码语料，体量巨大且难以逐条审核，是偏差注入与隐性后门的高风险区。
- 第三方数据集：公开数据集、社区贡献数据集、Kaggle 或 Hub 上下载的成品数据集，来源可信度参差不齐。
- 模型权重：直接下载的预训练权重、微调权重、LoRA 适配器，本身就是「已经训练好的数据产物」，若来源不可信，等于把别人投过毒的模型直接接入系统。
可以看到，投毒不只发生在「数据」这一环，模型权重作为训练结果，同样构成攻击面。这也是为什么本文把「模型来源校验」单独列为第二道关卡。
第一道关卡：训练数据防御
训练数据防御的核心思路是：把进入训练流程的每一条数据都当作「不可完全信任」来对待，用审计、去重、异常检测和统计清洗四步过滤。
来源审计
在训练开始前，为数据集建立来源清单：数据是谁提供的、通过什么渠道获得、采集时间与范围是什么、是否有授权与合规证明。对第三方数据集，记录其版本号与下载链接，最好保留原始归档以便事后追溯。来源不可追溯的数据，原则上不进入核心训练集。
去重与近重复检测
投毒样本常以「少量但反复出现」的方式生效，去重能削弱这类攻击的覆盖度。对文本数据可做归一化后哈希去重，对图像或向量数据可做语义近重复聚类，把高度相似的重复项合并或单独标记。去重还有附带好处：减少记忆与隐私泄漏风险。
异常检测
异常检测目标是找出「特征分布或标签关系明显偏离主流」的样本，交人工复核，而不是直接删除。下面给出一个防御侧思路示例：按类别计算特征质心，把与同类的平均距离显著偏大的样本标记为待复核，由人或规则进一步判断，绝不自动丢弃，避免误伤正常长尾样本。
from dataclasses import dataclass
from typing import List
import numpy as np
@dataclass
class DataSample:
sample_id: str
features: np.ndarray
label: str
def detect_label_inconsistency(samples: List[DataSample]) -> List[str]:
# 防御侧思路：在标注数据集中，检测「特征分布与标签显著不一致」的离群样本。
# 这里用每个类别特征质心的距离做粗筛，仅用于人工复核，不自动删除任何样本。
by_label: dict[str, list] = {}
for s in samples:
by_label.setdefault(s.label, []).append(s.features)
# 计算每个类别的质心
centroids = {
lab: np.mean(np.vstack(v), axis=0)
for lab, v in by_label.items()
}
suspicious: List[str] = []
for s in samples:
centroid = centroids[s.label]
dist = float(np.linalg.norm(s.features - centroid))
# 同类样本到质心的平均距离
same_class_dists = [
float(np.linalg.norm(f - centroids[s.label]))
for f in by_label[s.label]
]
mean_dist = float(np.mean(same_class_dists))
# 距离显著大于同类均值才进入待复核队列
if mean_dist > 0 and dist > 3.0 * mean_dist:
suspicious.append(s.sample_id)
return suspicious
统计清洗
统计清洗关注标签与特征之间的整体一致性。例如：检查每个类别的标签分布是否出现不自然的尖峰；检查是否存在某来源批量样本全部指向同一错误标签；检查特征取值范围内是否出现离群区间。把这些统计做成训练前必跑的流水线，任何越过阈值的维度都触发告警。
下面是一份训练数据入库前的检查清单，可作为代码评审与流水线配置的锚点。
训练数据入库检查清单
1. 来源可追溯：提供方、渠道、版本、下载时间均有记录
2. 授权合规：使用许可与隐私处理已确认
3. 去重完成：归一化哈希去重与近重复聚类已执行
4. 标签一致性：各类别标签分布无异常尖峰
5. 异常检测：离群样本已导出供人工复核，未自动删除
6. 分布快照：训练前特征分布已存档，便于事后比对
7. 隔离环境：清洗与解析在沙箱中进行，避免解析型载荷执行
第二道关卡：模型来源校验
当直接复用预训练权重或第三方模型时，模型本身就是一个需要校验的制品。把它当作软件依赖来管理，而不是当作可信黑盒。
哈希与签名校验
下载权重后，第一件事是校验完整性。用发布方公布的 SHA-256 摘要比对本地文件，防止下载过程被篡改或文件损坏。更进一步，用发布方的数字签名验证文件确实来自该发布方，而不是被中间人替换。下面给出一条防御侧命令行思路。
#1) 校验下载权重的完整性（SHA-256 摘要比对）
sha256sum --check model.safetensors.sha256
#2) 用 Sigstore / Cosign 验证模型制品的签名与来源
cosign verify-blob \
--certificate model.safetensors.crt \
--signature model.safetensors.sig \
model.safetensors
权重扫描
即使哈希匹配，也应做一层模型内部体检：用已知的良性探针样本跑一遍模型，确认输出分布与发布方公布的基准一致；对权重张量做基础统计扫描，留意是否存在异常稀疏触发通道或明显异常的权重簇。权重扫描不能替代来源校验，但能作为上线前的最后一道保险。
可信发布渠道
优先从官方仓库、经过鉴权的私有模型库获取权重，避免使用来源不明的镜像站或论坛附件。对 Hugging Face、ModelScope 等平台上的模型，核对发布者身份、下载量与社区反馈，必要时固定到具体版本并提交团队归档，而不是每次训练都拉取最新未知版本。
第三道关卡：供应链最小权限与依赖锁定
模型依赖的链条很长：基础框架、分词器、数据集加载库、训练脚本、容器镜像、预训练权重、外部插件。任何一个环节被替换，都可能把投毒带进来。这一关的目标是把链条收紧。
最小权限
训练与推理服务只拥有完成任务所必需的最低权限。加载模型权重的进程不应拥有写外部存储、访问无关密钥、调用高危工具的权限。对具备工具调用能力的智能体系统，每个工具授权都要按场景收窄，高风险动作必须有人工确认环节，避免被污染的模型间接造成现实损害。
依赖锁定
把训练环境做成可复现的：固定框架版本、固定数据集加载库版本、固定随机种子与数据快照。用锁文件锁定依赖树，禁止在训练时自动拉取未知新版本。对从社区安装的加载器（尤其是会执行反序列化逻辑的格式），在隔离沙箱中解析，避免加载即执行的载荷在本地运行。
软件物料清单
为机器学习栈生成软件物料清单（SBOM），记录每一个组件、版本与来源。当某个底层库曝出投毒或漏洞时，能快速定位受影响的模型与流水线，而不是从头排查。这一步与 AI 供应链安全整体实践相呼应：把模型当成依赖来治理。
检测与应急响应
防御很难做到百分之百，因此必须配套检测与应急能力。
后门与金丝雀评估
金丝雀（Canary）思路是：在训练集中埋入少量带已知标记的样本，训练后检验模型是否对这些已知标记产生预期外的异常响应。若模型对金丝雀样本出现非预期行为，说明训练数据可能被污染。此外，用一组覆盖潜在触发模式的探针评估集定期测试已上线模型，留意其在特定输入下的输出偏移。
监控与回滚
上线后持续监控模型输出的分布漂移、异常拒绝率、特定类别的准确率变化。一旦发现指标异常，先隔离受影响服务，再回滚到经过校验的历史版本，并保留现场数据用于归因。回滚的前提是有可信的历史版本归档与可复现的训练快照，这正是前三道关卡沉淀下来的资产。
合规与标准
把投毒防御纳入组织治理，可以借助成熟框架对齐行业要求。
- NIST AI 风险管理系统框架（AI RMF 1.0，文档编号 NIST AI 100-1）于 2023 年 1 月 26 日发布，由美国国家标准与技术研究院（NIST）下属信息技术实验室（ITL）主导，强调在人工智能产品的设计、开发、使用与评估中纳入可信性考量，数据治理与溯源是其核心实践之一。已核验
- OWASP 大型语言应用 Top 10（2025 版）中，LLM03：2025 供应链漏洞（Supply Chain）与 LLM04：2025 数据与模型投毒（Data and Model Poisoning）直接与本文主题相关，前者覆盖被篡改的预训练模型、投毒数据集与第三方组件，后者覆盖训练与微调数据被污染引入后门或偏差的情形。已核验
- SLSA（Supply-chain Levels for Software Artifacts，读音 salsa）是由开源安全基金会（OpenSSF）维护的供应链安全框架，提供一套防止篡改、提升制品完整性与来源可追溯的等级化控制清单，可直接映射到模型权重的签名与来源校验实践。已核验
小结
数据投毒的破坏发生在模型出厂之前，因此防御必须前置到训练数据与供应链环节。本文给出三道关卡的落地思路：训练数据侧，用来源审计、去重、异常检测和统计清洗把不可信数据挡在门外；模型来源侧，用哈希与签名校验、权重扫描、可信渠道把权重视作需要校验的制品；供应链侧，用最小权限、依赖锁定与软件物料清单收紧整条链路。再配合金丝雀评估、分布监控与回滚，形成「前置防御加事后应急」的闭环。投毒防御没有银弹，但把每一道关卡做扎实，能显著降低模型带着后门或偏差出厂的概率。
参考与延伸阅读
- NIST AI Risk Management Framework 1.0，文档编号 NIST AI 100-1，2023 年 1 月 26 日发布，由 NIST 信息技术实验室（ITL）主导。核验来源：NIST 官方页面 https://www.nist.gov/itl/ai-risk-management-framework 。已核验
- OWASP Top 10 for Large Language Model Applications（2025 版），其中 LLM03：2025 供应链漏洞、LLM04：2025 数据与模型投毒与数据投毒防御直接相关。核验来源：OWASP GenAI Security Project 及多源交叉确认（官方页面存在浏览器校验，条目名称经多方资料一致确认）。已核验
- SLSA：Supply-chain Levels for Software Artifacts，由开源安全基金会（OpenSSF）维护，聚焦软件制品的完整性与来源证明。核验来源：https://slsa.dev/ 。已核验
- 关于后门攻击与训练数据投毒的学术研究（如 BadNets 等代表性工作），建议在 arXiv 检索原文并核验具体编号后再引用。待核实（本文未逐一核验具体论文编号，正式引用前请自行核验标题与编号）