阶段一：教师模型选型与能力评估

本文定位与前置知识

本文是「知识蒸馏工程化流程」四阶段系列的第一篇。在正式蒸馏学生模型之前，必须先解决一个上游问题：用谁当老师。教师模型（teacher）的质量直接决定了学生模型（student）的能力上限，因此选型是整个流程的基石。

前置知识：读者应了解知识蒸馏的基本定义——用一个较大、较强的模型（教师）指导一个较小、较快的模型（学生）训练。关于”软标签”与”暗知识（dark knowledge）“的机制，建议配合本系列论文精读《Hinton 2015》一起阅读。

Hinton 等人（2015）在开创性工作中指出，教师模型在其输出的类别概率（软标签）中蕴含了远超硬标签的信息：它不仅告诉学生”这是猫”，还隐含了”猫与狗比猫与汽车更相似”这样的类间关系。这种被命名为 dark knowledge 的隐含信息，是学生能从教师处学到泛化能力的关键来源。

由此可得一个核心推论：教师的判别能力越强、校准越准，其软标签中蕴含的有效信息就越多，学生能学到的上限也就越高。 教师不是随便一个模型都能胜任——它必须是真正”懂行”的模型。选型这一步，本质上是在为整条蒸馏链路设定天花板。

现实工程中并不存在”教师越强越好”的无脑结论。经验上呈现明显的收益递减规律（该现象属常见工程观察，具体量化因任务而异，标注（待核实））：

因此选型目标不是”找最强教师”，而是找到与学生容量、部署预算匹配的最小够用强教师。一个实用的判断法是：先以当前可获得的最强开源模型为教师做一轮基线蒸馏，再逐步换用更轻的教师，观察学生性能回落的拐点。

选型时应从以下维度建立评估卡（checklist），逐项打分：

任务精度与校准度：教师在目标任务上的精度越高、概率校准越好，软标签越可信。一个未校准的教师可能给错误类别分出不合理的软概率，反而误导学生。
领域覆盖度：教师必须在学生的目标部署分布上有良好表现。用通用预训练教师去蒸馏专业领域学生，往往因分布错位而失效。
输出可获取性：蒸馏需要教师输出 logits 或软化的概率分布。若教师只暴露顶层 API、不返回 logits，则无法做温度软化，只能退化为普通硬标签蒸馏，损失大量 dark knowledge。
推理与存储成本：教师用于生成软标签需在训练时反复前向，其成本直接计入蒸馏周期；若教师本身就是巨型模型，单轮软标签生成可能成为瓶颈。
可复现与许可：开源权重便于复现、比对与合规部署；自训教师则需注意训练数据的版权与许可。

实践中推荐路径：先以开源强模型验证蒸馏流程跑通，再视领域差距决定是否投入自训教师。很多团队的误区是一上来就自训教师，结果流程都没调通，浪费大量算力。

教师与学生之间的容量差距也存在经验区间。差距过大（如巨型教师蒸馏到极小学生）时，学生可能根本无法表示教师的输出分布，需要引入渐进式蒸馏或中间尺寸模型作为”跳板”（进阶话题，本文不展开）。选型可按以下步骤执行：

选型不能只看教师绝对强度，还要看教师与学生容量的相对差距。一般经验（以下比例为常见工程经验，具体因任务/架构而异，标注（待核实））：

差距适中：学生容量约为教师的 1/5 ~ 1/10（该比例属常见经验，待核实）时，蒸馏收益与成本较平衡，是常见甜区；
差距过大：若教师远超学生（如巨型模型蒸馏到极小学生），学生难以表示教师的完整输出分布，软标签中大量细粒度关系无法被吸收，需考虑渐进式蒸馏或中间尺寸跳板（进阶话题，本文不展开）；
差距过小：学生已接近教师，蒸馏边际收益有限，此时更应关注数据与方法而非换更大教师。

因此”选型”与”确定学生架构”应联合决策：先定学生部署预算，再据此反推能承受的教师上限，而非反过来。