跳到正文
Hacker News 首页

一句“别瞎猜”,让 AI 网页抓取时编造字段的比例从 71% 降到 20%

Calling the AI bluff: Adding "Do not guess" cut made-up fields from 71% to 20%

Earn an Honest Dollar 用 16 个模型和 3 个付费 API 做了个网页信息提取测试,专门看它们遇到页面上没有的字段时会不会老实说“没有”。不加“别瞎猜”指令时,573 个缺失字段里模型编造了 405 个,比例高达 70.7%;加上这句指令后,574 个缺失字段里只编造了 116 个,降到 20.2%。表现最好的是 Gemini ...

推荐理由:一个双页对照实验,把一句 prompt 能压住多少模型编造给量化了。数据扎实,方法可复现,对做网页提取的人直接有用。不是产品发布或行业会议,所以没到 85 分以上那档,但 H、K、R 三项都踩实了。

读原文 ↗导出 Markdown