约束解码：控住生成格式

约束解码（Constrained Decoding）是在模型推理的每一步用语法、正则或有限状态机限制可选 token，使输出严格满足目标格式。它与提示层面的结构化输出互补，是从机制上保证格式正确，而非仅靠模型「自觉遵守」。

是什么

常见实现如 Outlines、Guidance 等库，以及厂商提供的 JSON Schema 约束：解码时把不符合语法的 token 概率置零，只允许合法续写。这样即使模型想「岔开」，也生成不出非法字符。

为什么有效

纯提示可能偶尔遗漏字段或加多余文字。约束解码把格式保证下沉到采样过程，输出必然可被解析，适合对可靠性要求高的生产系统。它也不会像反复重试那样浪费调用次数。

怎么做

用 Outlines 按正则约束邮箱格式：

import outlines

model = outlines.from_transformers("gpt2")
generator = outlines.generate.regex(model, r"[a-z]+@[a-z]+\.[a-z]+")
print(generator("联系邮箱："))

适用场景

约束解码适合格式硬要求高的场景：JSON 字段、SQL、电话号码、日期、化学式等。对自由语言风格要求高的任务，过强约束会限制表达。

注意点

• 约束越强，生成自由度越低，可能影响语义表达。
• 复杂 schema 会增加解码开销，需评估延迟。
• 约束解码要与提示里的格式说明配合使用，效果最佳。

小结

约束解码从 token 采样层面强制格式合法，是比提示更硬的结构化保证，适合需要 100% 可解析输出的场景。

参考与延伸阅读

• Outlines 约束解码库文档。已核验。https://github.com/outlines-dev/outlines
• OpenAI 结构化输出（含 JSON Schema 约束）。已核验。https://platform.openai.com/docs/guides/structured-outputs