多教师蒸馏：集百家之长

本文定位与前置知识

本文讨论知识蒸馏中”多个教师”的设定——如何让单个学生同时向一组教师学习，从而融合多方知识。阅读前请先掌握经典 KD 范式：用温度 $T$ 软化教师 softmax 得到软标签（soft targets），以软损失与硬损失的加权和训练学生（Hinton et al. 2015, arXiv:1503.02531）。多教师的思想可追溯至模型压缩的工程先驱：Bucilă, Caruana, Niculescu-Mizil（2006, KDD 2006）用无标签数据 + 集成模型的伪标签训练单个小模型。

一、为什么要用多个教师

单一教师往往只在部分数据分布或任务子集中表现良好。多个教师（可能结构不同、训练数据不同、专长不同）可以提供：

更平滑、更鲁棒的目标分布：集成后软标签的”暗知识”更丰富；
更强的泛化：融合多家偏见，降低单教师错误模式的传导；
历史渊源：Bucilă 等人 2006 的工作正是用”集成模型”生成伪标签来训练压缩模型，是 KD 的工程先驱。

因此多教师蒸馏可视为”集成学习”与”知识蒸馏”的自然结合：先集成、再压缩。

二、两种主流实现：集成软标签 vs 平均 Logits

方式 A：集成软标签（Ensemble Soft Labels）

对每个输入 $x$，先让所有 $K$ 个教师各产生软化输出，再取平均得到集成软标签：

$$p_{\text{ens}}(x) = \frac{1}{K}\sum_{k=1}^{K} \sigma!\left(\frac{z^{(k)}(x)}{T}\right)$$

学生以该集成分布为目标：

$$L_{\text{soft}} = \text{KL}!\left( p_{\text{ens}}(x) ,|, \sigma!\left(\frac{z^{(S)}(x)}{T}\right) \right)$$

这与 Hinton 式软损失形式一致，只是教师目标变成了”多教师平均”。

方式 B：平均 Logits（Average Logits）

若直接在 logits 空间平均（假设各教师输出维度一致）：

$$\bar z(x) = \frac{1}{K}\sum_{k=1}^{K} z^{(k)}(x)$$

再对平均 logits 做温度软化作为目标。二者在 softmax 非线性的作用下略有差异：平均软标签保留各教师分布的”几何平均”信息，平均 logits 更接近”算术平均的预测”。实践中平均软标签更常用。

三、训练目标与伪代码

总损失仍是软损失 + 硬损失加权和：

$$L = \alpha, L_{\text{soft}}(p_{\text{ens}}, S; T) + (1-\alpha), L_{\text{CE}}(S, y)$$

teachers = [T1, T2, ..., TK]          # 均已训练好、冻结
for (x, y) in dataloader:
    with torch.no_grad():
        soft = mean( [softmax(Tk(x)/T) for Tk in teachers] )
    logits_S = student(x)
    L_soft = KL(soft, softmax(logits_S/T))
    L_ce   = CrossEntropy(logits_S, y)
    loss   = α*L_soft + (1-α)*L_ce
    loss.backward(); optimizer.step()

推理时只需保留学生，多教师全部丢弃——这正是”集百家之长、成一家之小”的压缩本质。

四、优势与注意点

优势

目标分布更可靠，学生上限更高；
可直接复用已有多个单模型，无需重新训练集成；
与 Bucilă 2006 的”集成伪标签”一脉相承，工程成熟。

注意

推理成本翻倍：训练时每个 batch 需跑 K 个教师前向，数据/算力开销随 K 增长；
结构一致性：平均 logits 要求教师输出维度相同；平均软标签则无此限制，但类别空间须一致；
待核实：多教师相对单强教师在所有任务上的定量增益并不统一，需按场景验证；本文不给出未经验证的性能数字。

五、与相关方法的联系

vs 模型压缩（Bucilă 2006）：Bucilă 等人的集成伪标签训练是”多教师”思想的工程雏形，本文的多教师蒸馏是其系统化与软化扩展。
vs 在线互学习（DML）：DML 的”教师”是训练中不断更新的同伴；多教师蒸馏的教师是预先训好、冻结的。
vs 自蒸馏（BAN）：BAN 只有单一同构教师；多教师强调”多个异源教师”。

六、非均匀教师加权与选择性蒸馏

前述”平均软标签”默认各教师等权，实际可引入权重反映教师可靠性：

$$p_{\text{ens}}(x) = \sum_{k=1}^{K} w_k, \sigma!\left(\frac{z^{(k)}(x)}{T}\right), \quad \sum_k w_k = 1$$

权重 $w_k$ 可由教师在各验证子集上的表现、或不确定性估计（如预测熵）确定。更强/更确信的教师获得更大权重。

另一变体是选择性多教师：并非所有样本都需全部教师。对困难样本（教师间分歧大）保留多教师集成以学得更细；对简单样本（教师一致）可降权以省算力。这类策略属工程优化，其定量收益依实现而定（待核实具体增益）。

需注意：非均匀加权若仅凭验证集调权重，可能过拟合验证分布；权重估计本身也应保持稳健，避免个别教师意外主导。多教师的根本前提仍是”每个教师本身可信”——若某教师在特定子集上系统性错误，其软标签会污染学生，必要时先做教师质量筛查。多教师蒸馏还有一个常被忽视的工程优势：它天然支持”渐进式上线”。当业务需要持续提升学生能力时，可以不断加入新的、更强的教师重新蒸馏，而不必推翻已有流程——这比反复重训单一教师更平滑。与之相对，其代价也明确：教师越多，离线软标签生成与存储成本越高，因此实际部署常先生成并缓存集成软标签，再把学生训练与教师推理解耦。关于”教师数量与收益”的拐点（多少个教师开始边际递减）依任务而定，本文不给出统一结论（待核实）。综上，多教师蒸馏的核心权衡是”教师成本 vs 学生上限”，在算力允许且追求极致学生性能时，它是经典单教师 KD 的有力升级，也是把已有多个单模型资产”复用并压缩”的天然选择。