跳到正文
Hacker News 首页

SOB 基准测试:专门给大模型的结构化输出能力挑错

Show HN: A new benchmark for testing LLMs for deterministic outputs

Interfaze 发布了一个叫 SOB 的基准测试,专门看大模型从文本、图片、音频里提取信息并输出成 JSON 时,到底靠不靠谱。它不像老测试只看 JSON 格式对不对,而是重点查字段里的值准不准——比如发票金额有没有瞎编。测试覆盖了 5000 条文本、209 张图片和 115 段音频,每道题都有人工核对过的标准答案。

推荐理由:Interfaze 发布 SOB 基准,用 5000 条文本、209 张图片和 115 段音频测大模型结构化输出,重点查字段值是否准确而非仅 JSON 格式。

读原文 ↗导出 Markdown