合成数据治理：安全、偏见与合规的边界

合成数据指由模型或程序生成、而非直接来自真实世界观测的训练样本。它既能缓解真实数据稀缺、又能降低隐私泄露风险，因而在大模型预训练、医疗与金融等敏感领域被大量采用。但合成数据不是「干净数据」的代名词：生成过程本身会引入隐私、偏见、分布与真实性四类隐患。本文面向关注训练数据合规与偏见治理的工程师与研究者，系统梳理合成数据的价值与风险、治理的四个维度、它与数据投毒检测的互补关系，并给出一个「生成-过滤-审计-留痕」的最小闭环实践，其中用一段 Python 演示可落地的公平性指标计算。

一、合成数据的价值与风险

理解价值，才能客观看待风险；看清风险，治理才有抓手。

隐私保护的双刃剑

合成数据最常被宣传的好处是「无需搬运真实个人信息」。理想情况下，生成器只学习真实数据的统计结构，产出的样本在个体层面不可回溯到任何真人，从而满足差分隐私与匿名化的合规诉求。但双刃剑的另一面是：如果生成器记忆了训练集（典型如过拟合的小样本 GAN 或语言模型逐字复读），合成样本可能以高保真度泄露原始记录，包括姓名、住址、病历等。也就是说，隐私保护不是「用了合成数据就自动成立」，而取决于生成器是否真正脱离了个体记录。

偏见放大

真实数据里的偏见会被生成器当作「应当学习的规律」继承下来，并在放大后再喂给下游模型。Gender Shades 研究（Buolamwini 与 Gebru，2018）已经证明，常用人脸基准 IJB-A 与 Adience 中浅肤色样本占比分别高达 79.6% 与 86.2%，由此训练的性别分类系统对深肤色女性的错误率最高可达 34.7%，而对浅肤色男性最高仅 0.8%。若用这类已偏数据集去「补全」训练语料，偏见会被一再强化，形成自我证明的循环。该文献属于本文已核验来源。

分布漂移

合成数据往往围绕训练分布的「主体」生成，对长尾、罕见但关键的边界情形覆盖不足，导致合成分布相对真实部署分布发生漂移。模型在合成数据上指标漂亮，上线后却在真实用户群上退化。更隐蔽的是，生成器倾向于输出「更平均、更典型」的样本，反而压低了分布边缘的多样性，使长尾能力进一步萎缩。

幻觉固化

当合成数据由另一个大模型产出时，源模型自身的错误与编造（幻觉）会被当作「事实」写进样本。多轮迭代下，错误在生成-训练-再生成的回路里累积，最终引发模型坍塌：多样性崩塌、事实被错误共识取代。把幻觉当真值反复注入，是合成数据最容易被忽视的真实性风险。

二、治理的四个维度

针对上述风险，治理工作可落在四个相互衔接的维度上。

来源透明

来源透明要求记录「这份合成数据由谁、用什么模型、基于什么原始数据、在何时生成」。最低限度应保留生成器版本、基础数据集名称与版本、生成参数与随机种子，使任何一份合成数据都可被回放到生成那一刻。来源透明不直接消除偏见，但它让后续所有审计与追责有迹可循，也是满足监管对数据治理可追溯要求的前提。

去标识化

去标识化针对隐私那把双刃剑。措施包括：在送入生成器前对真实数据做字段脱敏与聚合；对生成样本做成员推断风险（membership inference）与最近邻抽检，确认其无法被反推回具体个人；必要时配合差分隐私训练约束生成器的记忆能力。去标识化不是一次性开关，而应作为生成流水线的常驻关卡。

偏见审计

偏见审计在合成数据入库前，量化其群体公平性与代表性。常用做法包括分组错误率对比、正向预测率（positive prediction rate）的组间差异、差异影响（disparate impact）比值，以及对受保护属性的分布检验。审计结果应可解释、可阈值化，超过阈值的批次进入人工复核而非自动入库。第四节给出一个最小可用的 Python 示例。

许可证与版权

合成数据同样受许可证与版权约束。其边界至少有三层：原始数据的使用许可是否允许被拿去训练生成器；生成器权重本身的开源或商用许可（如模型卡与许可证条款）；以及部分司法辖区下合成数据是否构成可版权客体、能否再授权给第三方。忽略任一层，都会在合规审计时暴露权属瑕疵。EU AI Act 对通用目的 AI 模型的提供者有公布训练内容概要、遵守版权指令的义务，合成数据属于其中需要单独厘清的一环（见参考）。

三、与数据投毒检测的互补关系

合成数据治理与数据投毒检测（data-poisoning-detection）常被混为一谈，但二者视角不同、且必须配合。姊妹篇 data-poisoning-detection 聚焦训练前筛查：用离群点检测、激活聚类、统计异常与数据溯源，把恶意样本挡在模型之外。合成数据治理则聚焦「数据是怎么造出来的」——确保生成过程透明、去标识、偏见可控、权属清晰。

二者的互补点在于：一条被投毒的合成数据流水线，其危害发生在生成环节而非入库环节。若生成器或其基础数据在生成前已被悄悄污染，单纯的入库前样本筛查可能难以察觉，因为污染已经「长」进了生成分布的常态里。反过来，只做合成数据治理而放弃样本层面的投毒检测，一旦生成出的批量数据混入异常点，也缺乏最后一道拦截。因此需要分层：上游用生成治理压低偏见与污染概率，下游用投毒检测的离群与统计手段兜底那些看不出来源的批次。

需要事先声明：本节与姊妹篇一样，对所有攻击机理只做概念描述，不提供任何可复现的攻击载荷或具体污染构造方法，目的是帮助防御方建立对手画像，而非演示如何攻击。

四、实践清单：生成-过滤-审计-留痕的最小闭环

把上面四个维度落成一条可执行的闭环，最简形态是四步：生成、过滤、审计、留痕。下面用一段 Python 演示其中的偏见审计环节——计算分组正向预测率与差异影响，作为入库前的硬性闸门。

from sklearn.metrics import confusion_matrix

def group_fairness_metrics(y_true, y_pred, group):
    # 按受保护属性分组，分别计算每个组的阳性预测率
    groups = sorted(set(group))
    rates = {}
    for g in groups:
        mask = [i for i, x in enumerate(group) if x == g]
        yt = [y_true[i] for i in mask]
        yp = [y_pred[i] for i in mask]
        tn, fp, fn, tp = confusion_matrix(yt, yp, labels=[0, 1]).ravel()
        # 阳性预测率 = 预测为正的比例，衡量不同组是否被区别对待
        rates[g] = (tp + fp) / len(yt)
    # 差异影响 = 最小组阳性率 / 最大组阳性率，0.8 常作为合规阈值
    di = min(rates.values()) / max(rates.values())
    return rates, di

def should_block(rates, di, threshold=0.8):
    # 差异影响低于阈值则判定为组间偏差过大，该批合成数据暂缓入库
    if di < threshold:
        return True, "差异影响 %.3f 低于阈值 %.2f" % (di, threshold)
    return False, "公平性指标通过"

过滤环节建议在生成后先跑去标识化与离群剔除：对生成样本做最近邻抽检，剔除与真实个体记录过度相似的副本；对明显偏离目标分布的样本做统计过滤。留痕环节则用结构化日志把生成参数、审计指标与处置结论一起写入，保证可回放。

import json
import datetime

def write_audit_log(log_path, meta, rates, di, blocked):
    # 把生成与审计的关键信息落盘，形成可审计、可回放的留痕
    record = {
        "generated_at": datetime.datetime.utcnow().isoformat(),
        "generator": meta.get("generator"),
        "base_dataset": meta.get("base_dataset"),
        "seed": meta.get("seed"),
        "group_rates": rates,
        "disparate_impact": round(di, 4),
        "blocked": blocked,
    }
    with open(log_path, "a", encoding="utf-8") as f:
        f.write(json.dumps(record, ensure_ascii=False) + "\n")

四步串起来即：用透明来源生成、用去标识化与离群过滤、用公平性指标审计、用结构化日志留痕。任何一步不达标都先拦截，而不是默认入库。

小结

合成数据是一把双刃剑：它降低隐私搬运风险，也可能通过记忆泄露个体、放大既有偏见、漂移出真实分布、并把模型幻觉固化成「事实」。治理要从四个维度同时下手——来源透明让过程可回放，去标识化守住隐私，偏见审计量化公平，许可证与版权厘清权属。它与数据投毒检测是互补而非替代：前者管「数据怎么造」，后者管「可疑样本别进锅」，二者叠加才覆盖从生成到入库的完整链路。落到工程上，最务实的是把「生成-过滤-审计-留痕」四步做成最小闭环，用可量化的公平性闸门挡住偏差过大的批次，并把每一步留下可审计的痕迹。

参考与延伸阅读

• 欧盟人工智能法案（EU AI Act，Regulation (EU) 2024/1689）。高风险系统的数据治理要求见第 10 条：训练、验证与测试数据集应当相关、具有充分代表性、在合理范围内无错误且完整。通用目的 AI 模型提供者须公布训练内容概要并遵守版权指令。已核验，依据 artificialintelligenceact.eu 官方高层摘要。
• NIST (2023). AI Risk Management Framework (AI RMF 1.0)。发布于 2023-01-26，DOI 10.6028/NIST.AI.100-1，将可信 AI 拆为 Govern（治理）、Map（映射）、Measure（测量）、Manage（管理）四大功能，其中治理与测量对应本文的数据校验与权责流程。已核验，依据 nist.gov 官方页面。
• Buolamwini, J., Gebru, T. (2018). Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. PMLR 81:77-91。发现 IJB-A 与 Adience 中浅肤色样本分别占 79.6% 与 86.2%；深肤色女性分类错误率最高 34.7%，浅肤色男性最高仅 0.8%。已核验，依据 proceedings.mlr.press 原文摘要。
• Gebru, T., Morgenstern, J., Vecchione, B., et al. (2021). Datasheets for Datasets。数据集卡片化记录的参考实践，与本文「来源透明」维度相呼应。待核实，建议查阅原文确认细节。
• Datasheets / Model Cards 实践（如 Google Model Cards）用于记录数据来源、局限与偏差，配合留痕治理。待核实，建议以发布方最新文档为准。
• 姊妹篇：data-poisoning-detection（数据投毒检测），讲训练前离群、聚类、统计与溯源筛查，与本篇在「合成数据闭环」下游互补。