硬件配置：GPU 选型与显存/算力估算

本文定位与前置知识

本文属于「工程化流程」组，面向准备把知识蒸馏落地的工程师。前置：理解经典 KD 的训练目标——学生既要拟合真实标签（硬损失），又要在温度 T 下对齐教师的软化分布（软损失）（Hinton et al. 2015, arXiv:1503.02531）。本文重点回答一个工程问题：蒸馏对硬件的真实需求是什么，如何估算显存与算力，以及如何选型。

为什么蒸馏比”单纯训练小模型”更吃硬件

普通监督训练只需加载一个学生模型并维护其训练状态。而知识蒸馏（尤其离线捕获不足、需在线蒸馏时）往往要同时把教师模型与学生模型驻留显存：教师虽通常不更新梯度，但仍需完成前向推理以产出软标签/隐状态；学生则要进行前向、反向与优化器更新。因此，蒸馏的峰值显存与算力需求略高于单纯训练一个同等学生模型——这是本文的核心约束，下文据此给出估算。

注：若采用离线蒸馏（教师输出已预捕获并压缩，如 DistillKit 的 logit 压缩方案），则训练时只需加载学生，硬件压力可回落到接近普通训练；但在线蒸馏必须师生同驻。

显存估算方法（通用工程法则）

以下为社区常用的经验估算（非事实库给出的固定数字，属通用工程方法）：

仅权重（推理/加载）显存 $$ \text{Mem}_{\text{weights}} \approx P \times b $$ 其中 $P$ 为参数量，$b$ 为每参数字节数：fp32 取 4，fp16/bf16 取 2。
训练时（含梯度 + 优化器状态）显存 以 AdamW + 混合精度为例，经验上约： $$ \text{Mem}_{\text{train}} \approx P \times (2 + 2 + 4 + 4) = P \times 12\ \text{字节} $$ 即权重 2 + 梯度 2 + 一阶/二阶动量各 4；若保留 fp32 master weights 与激活值，实际占用会更高。
蒸馏的叠加项
- 在线蒸馏：需叠加教师的权重与前向激活，即约 $\text{Mem}{\text{teacher}} + \text{Mem}{\text{student_train}}$。
- 显存紧张时的缓解手段：梯度检查点（gradient checkpointing）、ZeRO/FSDP 分片、量化教师（如 8-bit 加载教师）、或转离线蒸馏。

示例性测算（参数为 illustrative，具体以厂商规格为准）：一个 7B 学生用 bf16 训练，权重约 14 GB，叠加 AdamW 状态约 84 GB 量级（经验值，未含激活与分片优化）；若再在线加载一个 70B 教师（bf16 权重约 140 GB），峰值显存需求巨大，单卡难以承受，必须依赖多卡分片或离线蒸馏。

算力（FLOPs）估算要点

训练算力常用”前向 + 反向 ≈ 3× 前向 FLOPs”的近似；反向约为前向的 2 倍。蒸馏额外引入教师前向，故在线蒸馏的总前向量 = 学生前向 + 教师前向。具体 FLOPs 数值因模型架构、序列长度、批大小而异，本文不给出具体 benchmark 数字（待核实）。选型时应以”能否在预算时间内完成若干亿 token 的对齐训练”为判据，而非单一峰值算力指标。

消费级 vs 数据中心选型建议

下列为定性分层建议，具体型号与显存档位请以厂商规格书为准（相关具体数字待核实）：

消费级显卡（常见约 24 GB 显存档位）：适合小规模蒸馏——例如把数 B 级教师蒸馏到 0.5–3B 学生，或纯离线蒸馏（教师已压缩）。优势是成本低、易上手；劣势是显存受限，难以在线蒸馏大模型。
数据中心卡（常见约 80 GB 显存档位）：适合中大型在线蒸馏、跨架构隐状态对齐、或需要多卡张量/流水并行的场景。配合 FSDP/DeepSpeed ZeRO 可把教师与学生分片到多卡。
通用原则：显存优先于峰值算力——蒸馏的瓶颈常是”师生同驻”，而非单纯算得快。

实操清单

确定蒸馏模式：能离线就离线，显存压力最小。
估算峰值显存：按上式加总师生，预留 20–30% 余量。
若超单卡：启用梯度检查点 + ZeRO/FSDP，或转离线。
量化加载教师（如 8-bit）以省显存，但需验证对学生效果的影响。