深度伪造与检测：看清 AI 生成的假脸与假声

深度伪造（Deepfake）泛指利用深度学习把一个人的脸、声音或行为「移植」到另一段媒体上的技术。它本可用于影视换脸、配音本地化等正当场景，但当它被用来伪造他人言论、冒充身份、制造虚假新闻时，就会变成一把锋利的工具。本文从原理、危害、检测到法规与日常辨别，帮你建立一套完整的认知框架。

什么是深度伪造

深度伪造并不是单一技术，而是一类以神经网络为核心的媒体篡改手段。按被伪造的媒介，大致可分成三类。

换脸

换脸把源人物的面部特征映射到目标人物的视频或照片上，使目标人物做出源人物的表情与口型。早期以 FaceSwap、DeepFakes 为代表，后来出现了 Face2Face、NeuralTextures、FaceShifter 等更精细的方法，能在遮挡、侧脸、光照变化下保持身份一致。

语音合成

语音合成又称语音克隆，只需少量目标人物的音频样本，就能训练出音色相近的声学模型，再配合文本转语音生成以假乱真的语音。这类攻击常用于电话诈骗，因为人耳对熟悉声音的信任度很高。

视频生成

随着扩散模型的发展，整段视频可由文本或图像直接生成，而不只是对已有视频做局部替换。这类方法生成的画面往往没有明确的「被替换对象」，给取证带来新挑战。

生成技术脉络

理解检测，先要理解造假用到了哪些底层技术。

自编码器

早期换脸多用自编码器加解码器结构。训练时让编码器把人脸压成低维特征，再由两个解码器分别还原源脸和目标脸；部署时把目标脸编码后交给源脸解码器，即可得到带有源脸特征的目标脸。这种方法成本低、易上手，是开源工具的主流思路。

生成对抗网络

生成对抗网络（GAN）由生成器和判别器互相博弈，生成器不断逼近真实分布，判别器不断提高鉴别力。GAN 能产生高分辨率、细节丰富的假脸，并在 FaceForensics++ 等数据集中被广泛用作篡改手段（例如 NeuralTextures）。GAN 的缺陷是训练不稳定、对数据量要求高。

扩散模型

扩散模型通过逐步去噪从随机噪声中还原图像或视频，目前在画质与可控性上超过 GAN。它既能做图像到图像的重绘，也能从文本生成整段视频。扩散模型的兴起意味着未来的伪造可能不再依赖「替换」，而是「无中生有」，这要求检测思路从找篡改痕迹转向验证内容来源。

危害场景

深度伪造的风险不在技术本身，而在它被滥用的方式。

诈骗与冒充

犯罪分子用克隆语音冒充公司高管，指示财务转账；或用换脸冒充亲友，在视频通话中借钱。由于融合了声音与画面双重信任线索，这类骗局成功率明显高于传统钓鱼。

虚假信息传播

伪造的政治人物讲话、灾难现场、突发事件视频，可能在社交平台快速扩散，误导公众判断，甚至影响选举与市场。当一段视频「看起来太真实」时，受众往往放弃质疑。

名誉侵害与敲诈勒索

把他人脸替换到不当内容中，用以诽谤或勒索，是深度伪造最常见的民事侵权形式。即便事后澄清，受害者的名誉损害也很难完全修复。

检测技术

检测的目标，是回答一个问题：这段媒体是否经过 AI 生成或篡改，以及由谁、用什么工具生成。

生物信号

真实人类的生理活动会留下细微但稳定的信号，而造假模型很难完美模拟。常见线索包括：

眨眼频率与节律：早期换脸模型生成的视频中，人物长时间不眨眼或眨眼节奏 unnatural。
心率与血液流动：面部皮肤因血液灌注会产生极微弱的颜色变化，可用远程光体积描记（rPPG）从视频中估算心率，伪造视频往往缺失这条信号。
视线与头势一致性：真人的目光方向、头部转动与说话内容通常协调，造假视频中可能出现眼神飘忽或头部僵硬。

这类方法鲁棒性有限，一旦造假模型专门优化生物信号，就会失效。

像素级痕迹

神经网络生成的图像在频域、纹理、噪声层面会残留「指纹」。

频率分析：GAN 与扩散模型生成的图在离散余弦变换（DCT）频谱上常出现规律的网格状伪影。
噪声一致性：真实相机每个像素的传感器噪声有唯一模式，而生成图像缺乏这种基于硬件的噪声指纹。
上采样伪影：许多模型用转置卷积上采样，会在特定方向留下棋盘状痕迹。

训练一个二分类卷积网络，输入为疑似图像、输出为真或假，是这一路线的典型做法。FaceForensics++ 数据集正是为这类研究提供标准基准而建，包含 1000 段原始视频及 Deepfakes、Face2Face、FaceSwap、NeuralTextures 四种篡改版本。

水印与 C2PA

与其事后辨别，不如在生产环节就留下凭证。

生成式水印：在模型输出中嵌入人眼不可见、但可被算法检出的统计信号（见本站「模型水印」一文），用于声明内容由 AI 生成。
C2PA 内容凭证：C2PA（Coalition for Content Provenance and Authenticity，内容来源与真实性联盟）是一套开放技术标准，定义了 Content Credentials（内容凭证）。它把创作、编辑、生成工具、时间等溯源信息作为元数据嵌入文件，相当于给数字内容贴一张「营养标签」。支持 C2PA 的相机、编辑软件与发布平台可以读取并展示这段历史，让用户看到内容从何而来。

下面是一段简化的 C2PA 清单示例，描述了一次 AI 生成动作的来源信息：

断言类型: c2pa.actions
动作:
  - 类型: c2pa.created
    软件代理: "图像生成模型 v2"
    时间戳: 2026-08-18T09:30:00Z
断言类型: c2pa.ingredient
来源: 提示词文本
  角色: 输入

多模态取证

单一线索容易被欺骗，因此更可靠的方案是融合多种证据：画面生物信号、音频异常、文件元数据、发布平台的水印与凭证、以及文本上下文是否自洽。多模态模型把视频帧、音轨、元数据一并编码，再做联合判断，能显著降低漏检率。现实中，把检测当作「持续验证」而非「一次性判定」更为稳妥。

法规与平台治理

技术之外，制度正快速补位。全球范围内，欧盟《数字服务法》与《人工智能法案》要求平台对深度伪造内容做标注；美国部分州立法禁止在选举中未经同意使用深度伪造。国内也形成了明确的规则。

国内生成式 AI 标识要求

2025 年 3 月 14 日，国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局四部门联合印发《人工智能生成合成内容标识办法》，并于 2025 年 9 月 1 日起施行。该办法的核心要点如下：

适用对象：符合算法推荐、深度合成、生成式人工智能相关规定的网络信息服务提供者。
双轨标识：要求对 AI 生成的文本、图片、音频、视频、虚拟场景添加标识，分为两类。
- 显式标识：以文字、声音、图形等方式呈现，用户可明显感知，例如视频起始画面标注「AI 生成」。
- 隐式标识：在文件元数据中添加，不易被用户感知，包含内容属性、服务提供者名称或编码、内容编号等信息；办法鼓励添加数字水印。
传播平台责任：平台需核验文件元数据中的隐式标识，对未标识但检出生成痕迹的内容做疑似提示，并不得恶意删除、篡改、伪造、隐匿标识。
配套标准：强制性国家标准《网络安全技术人工智能生成合成内容标识方法》同步于 2025 年 9 月 1 日实施，细化了具体标识方式。

这意味着从生成、传播到用户发布，三方都被纳入责任网络。对普通创作者而言，主动声明「本内容由 AI 生成」既是合规要求，也是对公众负责的体现。

普通用户辨别清单

作为接收方，你可以用下面这份清单快速自检：

看眼睛与眨眼：人物是否长时间不眨眼，或眨眼节奏生硬。
看边缘与皮肤：发际、耳部、牙齿、手指等细节是否模糊、变形或出现额外手指。
听声音：语速是否异常平稳，情绪与措辞是否不符，背景是否有不自然的静默。
查光源：面部光照方向是否与场景光源一致，阴影是否错位。
找标识：视频或图片是否带有「AI 生成」「疑似 AI 技术制作」等显式提示。
核来源：信息是否来自可信媒体，能否在多个独立渠道交叉验证。
验凭证：发布平台是否展示 C2PA 内容凭证，追溯其生成与编辑历史。
缓判断：遇到高冲击性内容，先暂停转发，等待权威核实。

记住一条原则：越是情绪强烈、越想让你立刻相信或转发的画面，越值得多问一句「这是真的吗」。

小结

深度伪造是一把双刃剑：它降低了创作门槛，也放大了欺骗风险。其底层从自编码器、GAN 演进到扩散模型，造假正从「局部替换」走向「整体生成」。对应的检测思路也在升级，从生物信号、像素痕迹，到生成水印与 C2PA 内容凭证，再到多模态联合取证。制度层面，国内已通过《人工智能生成合成内容标识办法》建立显式与隐式双轨标识体系，把生成、传播、发布三方纳入治理。对普通人而言，建立「看细节、查来源、验凭证、缓转发」的习惯，就是最有效的防线。

参考与延伸阅读

Andreas Rössler 等，FaceForensics++: Learning to Detect Manipulated Facial Images，ICCV 2019。数据集与基准主页：https://github.com/ondyari/FaceForensics
C2PA（Coalition for Content Provenance and Authenticity），开放技术标准 Content Credentials 与规范：https://c2pa.org/ ，规范文档：https://spec.c2pa.org/
国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局，《人工智能生成合成内容标识办法》，2025 年 3 月 14 日印发，2025 年 9 月 1 日施行：https://www.cac.gov.cn/2025-03/14/c_1743654684782215.htm
Luisa Verdoliva，Media Forensics and DeepFakes: an Overview，IEEE Signal Processing Magazine，2020。深度学习媒体取证综述。
Ruben Tolosana 等，DeepFakes and Beyond: A Survey of Face Manipulation and Fake Detection，IEEE Access，2020。人脸篡改与检测技术综述。

本文累计阅读 — 次