偏见与公平：让模型更中立

一个在整体数据上表现优异的模型，可能对某些群体明显更差：放贷模型更拒特定人群，简历筛选模型偏向某类姓名。这类问题被称为模型偏见与公平（bias and fairness）。它不只是技术指标，更关系到模型是否会系统性地伤害某群人，因此在招聘、信贷、司法等场景尤其敏感。

偏见来自哪里

偏见通常不是模型「主动」产生的，而是被数据带进来的：

• 训练数据偏差：历史数据本身就含社会偏见（例如某职业的性别分布失衡），模型会把它学成「规律」。
• 标注偏差：人工标注者的主观倾向会渗进标签，尤其在对「得体」「专业」等主观维度打分时。
• 采样偏差：某些群体的样本过少，模型在该群体上既学不好、也难被及时发现。

衡量思路

公平的量化没有唯一标准，常见角度是「不同群体间表现是否一致」：例如比较模型在两组人群上的准确率、误拒率差异。更细的指标（如均等机会差异、人口均等）能刻画不同类型的公平缺口，但具体指标名称与适用条件因任务而异，本文不逐一列举，实际选用请以权威文献与所处行业的合规要求为准，使用前请核实。

缓解策略

• 去偏数据：在训练前重新平衡或修正带有偏见的样本与标签。
• 重采样与重加权：对弱势群体的样本提高权重，抵消数据不均衡。
• 后处理：在模型输出阶段做校准，使不同群体的通过率更接近。

一个重加权的简化示意：

def reweight(X, y, group):
    w = np.ones(len(y))
    for g in set(group):
        share = (group == g).mean()
        w[group == g] = 1.0 / (share + 1e-6)   # 少数群体权重更高
    return w                                     # 训练时作为样本权重传入

局限与持续监控

没有一种方法能一劳永逸：去偏可能损害整体精度，后处理可能掩盖而非消除根因。更重要的是，数据分布会随时间漂移，今天的公平不代表明天仍公平。因此偏见治理应是持续工程：建立分群体的监控看板，定期复评，并把「公平」作为和产品精度并列的常态化指标，而不是上线前一次性检查。

小结

模型偏见多源自训练数据与标注的历史偏差，表现为群体间的表现落差。可通过去偏数据、重采样重加权与输出后处理来缓解，但每种方法都有精度或根因层面的权衡。公平没有单一指标，需按任务与合规要求选用并核实；更关键的是把分群体监控常态化，因为数据漂移会让公平性随时间失效。

参考与延伸阅读

• 公平性度量的经典梳理可参考 Barocas, Hardt, Narayanan 的《Fairness and Machine Learning》公开教材，对均等机会、人口均等等概念有系统说明。已核验（教材层面）。
• 具体行业合规口径（如反洗钱、信贷场景的公平要求）以当地监管规定为准，本文不替代法律意见。待核实。