知识蒸馏发展简史：从 2006 模型压缩到 2015 Hinton

前置知识：本文是系列第 2 篇（L1 入门总览）。若你还不了解”教师-学生”是什么，请先读本系列《知识蒸馏是什么》。本文聚焦 2006–2015 这一奠基期。

一、为什么先讲”史”

知识蒸馏今天听起来像大模型时代的产物，但它的思想根脉比深度学习爆发还早。理解这条时间线，能帮你分清：哪些方法是”新瓶旧酒”，哪些是真正的范式突破。下面按三篇里程碑文献串起主线。

文献：Bucilă, Caruana, Niculescu-Mizil (2006), Model Compression, KDD 2006。

在深度学习尚未统治视觉的年代，Caruana 等人就提出：可以用一个已经训练好的大模型（或集成模型），在无标签数据上输出预测，把这些预测当作”伪标签”（pseudo-labels），再去训练一个单个小模型。

贡献要点：

它和后来 Hinton 的差别在于：当时用的主要是硬预测/伪标签，尚未明确提出”温度软化 softmax”与”暗知识”这套理论框架。但它无疑是 KD 思想的工程先驱。

文献：Ba, J., & Caruana, R. (2014), Do Deep Nets Really Need to be Deep?, arXiv:1312.6184，发表于 NIPS 2014。

深度学习圈曾有个信念：“模型必须很深才够强”。Ba & Caruana 用实验挑战它：

贡献要点：

文献：Hinton, Vinyals, Dean (2015), Distilling the Knowledge in a Neural Network, arXiv:1503.02531，发表于 NIPS 2014 Deep Learning Workshop。

这是把前面两条线真正”理论化 + 通用化”的一篇，也是”Knowledge Distillation”这个名字的由来。核心贡献：

温度软化（Temperature Softening）：提出用温度 $T$ 抬高 softmax 的”温度”，把概率分布软化，使得小而暗的概率（比如”3 有点像 8”）被放大、变得可学习。这一步是 Bucilă 的硬伪标签与 Ba&Caruana 的原始 logits 之外的第三类信号——带温度调节的软标签。
暗知识（dark knowledge）：正式命名并论证——教师软标签里”非正确类”的相对大小，编码了类间相似性结构，这才是学生能超越硬标签训练的关键。
组合损失：蒸馏损失 = 软损失（在温度 $T$ 下的 KL 散度 / 交叉熵）+ 硬损失（普通 CE）的加权和。既学教师的”世界观”，又不丢真实标签的约束。

数学上，软化后的 softmax 为：

$$q_i = \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)}$$

其中 $z_i$ 是教师 logits，$T$ 为温度。温度越高，分布越平滑，暗知识越暴露。（温度的详细原理见本系列《温度参数 Temperature 的数学原理与作用》。）

年份	文献	核心贡献	学生学什么
2006	Bucilă et al., KDD	模型压缩工程先驱，无标签伪标签	大模型硬预测/伪标签
2014	Ba & Caruana, NIPS	浅宽网模仿深网 logits	深层网络 logits
2015	Hinton et al., NIPS WS	温度软化 + 暗知识 + 组合损失	温度 $T$ 下的软标签

可以看到一条清晰的演进：硬伪标签 → 原始 logits → 温度软标签。信号越来越细腻，理论越来越完整。

这条时间线对读论文、做工程都有用：

看新方法先看它”学的是什么信号”：伪标签（2006）→ logits（2014）→ 温度软标签（2015）→ 中间特征（FitNets）→ 注意力/关系（后续）。信号越来越细，是 KD 演进的主轴。
“深=强”被持续挑战：Ba & Caruana 2014 就质疑深度必要性；今天的小模型+蒸馏也反复证明，结构不是唯一答案，知识迁移才是关键。
理论化让技术可复用：2015 之前像工程技巧，2015 之后有了”温度/暗知识/组合损失”这套语言，才真正可迁移到 NLP、CV、多模态。