当 AI 编造了一份"交易通知":我搭了一套三环防杜撰核对体系
2026 年 9 月 9 日,我在用 AI 助手做电力市场业务分析。它汇报了一份”交易通知”的内容——时间、要求、口径,一应俱全。我问来源,它给了链接,还”印证”了一番。 问题是:这份通知不存在,那个链接也不存在。 这不是一眼假的胡说八道。恰恰相反,它格式规范、细节自洽、语气权威,还自带”佐证”。要不是按惯例把链接打开看了一眼,一份虚构的市场规则就可能进入真实业务流程——报价、签约、结算,每一步都是真金白银。 复盘:为什么提示词不管用事故后我的第一反应是加提示词:”禁止编造,必须给来源。”没用。原因后来想明白了: 幻觉不是”态度问题”,是模型的统计本性。你要求它”不编”,它编的时候并不觉得自己在编。 同一个上下文里,模型无法自查自证——生成幻觉的机制和检查幻觉的机制是同一个。 更麻烦的是”带来源的幻觉”:它连印证来源都能一起编。人工核对如果只看”有没有链接”,照样被骗。 结论:防杜撰不能靠模型自觉,要靠流程——而且关键环节必须是机械校验,根本不经过任何模型。 体系:规则层、工具层、强制层我最终在自己日常使用的 AI 编码助手(ZCode)里落地了三层,所有项目通用: 规则...
在 Agent 中使用 Skill 的一些心得
用 agent 干活久了,总会沉淀出一些反复出现的工作模式:每次都要重复交代的格式要求、每次都要现查一遍的流程步骤、每次都容易踩的坑。Skill 的价值,就在于把这些“程序性知识”从对话里抽出来,变成 agent 可以按需加载的能力——需要时触发,不需要时不占地方。 用了一段时间之后,我对 skill 这个机制本身积累了一些观察。这篇文章不谈任何具体 skill 的内容,只谈使用过程中暴露出的问题,以及我认为值得改进的方向。 Trigger 触发是第一道坎,但目前它更像玄学现象 同样一个意图,换个说法就触发不了;反过来,无关任务又偶尔被误触发。中英文混合的任务里尤其明显。 本质 触发靠的是 description 的语义匹配。这个 description 是 skill 唯一的“索引”,它同时承担两个职责——检索(用户想要的东西能不能被召回)和决策(agent 判断该不该用)。两个职责挤在一句话里,写起来自然别扭。 改进方向 把 description 当产品文案来写:明确“用于什么、不用于什么”,覆盖常见的同义说法,而不是写一句笼统的定位。 给触发建一个评测集:一组应该触...