幻觉缓解:减少模型胡说

幻觉(Hallucination)是大模型最常被诟病的毛病:它说得头头是道,内容却与事实、上下文或给定资料对不上。对闲聊无伤大雅,落到医疗、法律、财务等场景就是真风险。缓解幻觉不是单一技巧,而是一套从数据、检索到后处理的组合拳。

为什么会产生

模型本质是「基于统计续写」,它追求的是像,不是真。当训练数据里存在矛盾、问题超出知识范围、或上下文被忽略时,它就会用流畅的语言填补空白,于是生成看似合理却错的内容。此外,模型没有可靠的「我不知道」机制,倾向于硬答而非拒答,进一步放大幻觉。

主流缓解手段

  • 检索增强(RAG):回答前先去可靠来源检索,让模型「照着资料说」,把凭空编造变成有据可依。
  • 事实性约束与提示:要求模型引用来源、遇到不确定就声明,或用「先列证据再下结论」的结构降低随意发挥。
  • 自我校验与多模型交叉:让模型或另一个模型复核断言是否成立,对矛盾处打回重写。
  • 后处理与置信过滤:对无法溯源、评分偏低的声明做拦截或标记,提示用户核实。

局限与权衡

没有银弹。检索增强依赖检索质量,资料不对则「有据」也错;自我校验会增加延迟与成本,且模型自己未必能发现自己的错;过于保守的拒答又会损害可用性。实践中常要在这几点间取舍,并结合人工审核与明确的产品边界——告诉用户哪些内容已溯源、哪些仍需核实。

小结

幻觉源于模型追求「像」而非「真」,在知识缺口与上下文被忽略时尤其明显。缓解靠检索增强、事实约束、自我校验与后处理等多手段组合,但各有成本与局限。稳健的做法是让答案可追溯、对不确定诚实声明,并把关键核验交还给人。

参考与延伸阅读

  • 检索增强生成(Lewis et al., 2020)是降低幻觉最常用基础设施之一。已核验。
  • 关于事实性评测与自我校验的研究,可参考幻觉相关综述与基准。已核验。
  • 各产品在溯源展示与置信过滤上的实现不同,以官方文档为准。待核实。
本文累计阅读