知识蒸馏工程化六阶段总览

本文定位与前置知识

本文属于「工程化流程」层（L4），是一篇索引式总览：把知识蒸馏从”论文方法”推进到”可上线系统”的全流程拆成六个阶段。它不直接展开某一类方法的数学细节，而是给出工程骨架，并指向本系列其他教程进行方法级深入。阅读前建议已了解经典 KD 基础：温度 $T$ 软化 softmax 得到软标签，蒸馏损失为软损失（温度 $T$ 下 KL/CE）与硬损失（普通 CE）的加权和（Hinton et al. 2015, arXiv:1503.02531）。

注：本系列同时包含「主流方法体系（L3）」各篇，分别对应关系基蒸馏、注意力迁移、自蒸馏、在线互学习、多教师蒸馏，可在对应阶段按需查阅。

一、阶段一 · 选型（Selection）

明确”谁教谁、怎么教”：

教师来源：预训练大模型、集成模型、或同构自蒸馏的上一代（见自蒸馏/多教师篇）。
学生结构：在延迟/显存预算内尽量保留教师能力；结构差异越大，越需特征基/关系基辅助。
方法类别：响应基（输出 logits，Hinton 式）、特征基（中间层/注意力，见 AT 篇）、关系基（样本间结构，见关系基篇）、自蒸馏/互学习/多教师等。
目标约束：体积、推理延迟、精度保留率的硬指标。

二、阶段二 · 数据（Data）

有标签 vs 无标签：经典 KD 可用无标签数据借教师生成软标签（Bucilă 2006 的伪标签思路）；有标签时保留硬损失更稳定。
教师前向：离线先把教师推理结果存盘，可大幅降低训练期算力（避免每 batch 重跑教师）。
数据分布：训练数据应覆盖部署分布；领域偏移会直接传导到学生。

三、阶段三 · 调参（Tuning）

关键超参（依方法而异）：

温度 $T$：软化程度，过大模糊信号、过小退化为硬标签；常取 2~6 网格搜索。
损失权重 $\alpha$：软损失与硬损失的平衡；纯无标签时可设 $\alpha=1$。
匹配层/关系层：特征基、关系基方法需选定对齐哪些层。
学习率与训练轮数：学生通常收敛更快，注意早停防过拟合教师偏差。

四、阶段四 · 训练（Training）

通用训练骨架（伪代码，响应基为例）：

teacher = load_pretrained().eval()        # 冻结
student = build_student()
for (x, y) in dataloader:
    with torch.no_grad():
        soft_T = softmax(teacher(x)/T)
    logits_S = student(x)
    L = α * KL(soft_T, softmax(logits_S/T)) + (1-α) * CE(logits_S, y)
    L.backward(); optimizer.step()

离线缓存软标签可把训练开销从”每步 K 个教师前向”降为普通监督训练。
多方法叠加：同一学生可同时接受软标签（响应基）+ 注意力（特征基）+ 关系结构（关系基）监督。

五、阶段五 · 评估（Evaluation）

不只看精度，更要看”压缩收益”：

精度保留率：学生相对教师的性能保持比例。
体积与速度：参数量、显存、推理延迟的下降幅度。

作为可参照的已验证案例：Sanh 等人（2019）发布的 DistilBERT（arXiv:1910.01108）报告——相较 BERT，体积减小约 40%、推理速度提升约 60%、保留约 97% 的 BERT 语言理解性能。该组数字来自原论文，可直接作为”蒸馏收益”的标杆参照，但具体任务上的保留率会因基准不同而变化（待核实其跨任务通用性）。

六、阶段六 · 部署（Deployment）

蒸馏产出的小模型仍需工程优化才能落地：

量化/剪枝：在蒸馏后再做 INT8 量化进一步加速。
推理引擎：NVIDIA NeMo Framework 提供官方蒸馏文档（docs.nvidia.com/nemo-framework），TensorRT Model Optimizer 支持训练时蒸馏与量化感知，可作为部署链路参考。
服务化：将学生导出为推理服务，监控线上精度漂移，必要时用新数据回流重蒸馏。

注：上述 NVIDIA 工具链为官方文档所列能力；具体版本支持范围请以官方文档为准（待核实其随版本变动的细节）。

七、六阶段检查清单（小结）

阶段	关键交付物	常见坑
选型	师生结构 + 方法	学生过小导致欠拟合
数据	软标签缓存	分布偏移
调参	$T, \alpha$	温度失衡
训练	收敛的学生	教师偏差累积
评估	保留率/体积/速度	只报精度忽略收益
部署	量化后推理服务	部署链路未验证

本总览串起从方法到系统的主线；各主流方法的具体公式与机制，请结合本系列 L3 各篇深入。

八、常见失败模式与排查清单

工程落地中，蒸馏失败往往有迹可循：

学生精度远低于教师：先确认软标签是否真的被使用（温度 $T$ 是否生效、KL 方向是否写反）；再检查 $\alpha$ 是否过小导致软信号被淹没。
学生反而比直接训练更差：常见于硬损失权重过低、或教师本身在该数据上不准（垃圾进垃圾出）；尝试提高 $\alpha$ 中硬标签占比，或更换/重训教师。
训练不动/梯度爆炸：特征基、关系基损失幅值可能远大于任务损失，需对辅助损失做归一化并调小其权重。
部署后精度漂移：多为训练/部署预处理不一致（如归一化均值方差），或量化引入误差；上线前应在真实服务链路做端到端校验。

把六阶段与这份排查清单结合，可覆盖从实验到上线的大部分坑点。需要强调的是：蒸馏不是”万能压缩”，当教师与学生能力差距过大、或数据分布严重偏移时，蒸馏收益会显著下降，此时应回归”换更强教师”或”补充训练数据”等根因手段。