少样本选型:示例怎么挑

少样本(Few-Shot)提示在输入前给出若干「输入-输出」范例,让模型通过类比完成任务。其效果不只看数量,更看示例怎么选。Brown 等人在 2020 年「Language Models are Few-Shot Learners」中系统验证了该能力。

是什么

它是介于零样本与微调之间的用法:不更新权重,仅靠提示中的范例定义任务格式与风格。示例本身即「说明书」,模型会强烈模仿其模式来生成后续回答。

为什么示例重要

模型会强烈模仿示例的模式。示例标签若有误、格式若不一,模型就会学到错误映射;示例覆盖不到输入分布,则泛化变差。因此选型直接决定上限,远比示例数量更重要。

怎么做

选型要点用清单表达:

挑选示例时遵循:
1. 标签必须正确,错误示范比无示范更糟。
2. 覆盖典型与边界情况,保证多样性。
3. 格式与目标输入完全一致(含标点、字段)。
4. 相关示例放后面,模型更受最近样本影响。

适用场景

少样本适合标注数据少、任务格式特殊、或需要固定输出风格的场景。当任务能被清晰指令描述且模型已熟悉时,零样本往往已足够。

注意点

  • 示例越多越占上下文,平衡数量与成本。
  • 避免示例间相互矛盾或泄露测试答案。
  • 不确定时先零样本测基线,再针对性补示例。

小结

少样本提示的成败在示例:正确、多样、格式一致的范例能显著提升表现,错误或不具代表性的示例则适得其反。

参考与延伸阅读

本文累计阅读