SOB 基准测试：专门给大模型的结构化输出能力挑错

Show HN: A new benchmark for testing LLMs for deterministic outputs

Interfaze 发布了一个叫 SOB 的基准测试，专门看大模型从文本、图片、音频里提取信息并输出成 JSON 时，到底靠不靠谱。它不像老测试只看 JSON 格式对不对，而是重点查字段里的值准不准——比如发票金额有没有瞎编。测试覆盖了 5000 条文本、209 张图片和 115 段音频，每道题都有人工核对过的标准答案。结果发现，大部分模型在格式上都能...

推荐理由：我会先打个折：这是 Show HN 首发，没有外部采用信号，所以分数压在 75。但内容本身对做结构化输出的团队有用——它不测模型会不会聊天，只测模型能不能老老实实按 schema 吐出对的类型和值。GLM-4.7 总榜第二是个钩子，但真正值得盯的是 GPT-5.4 在文本任务排第 3、图像任务掉到第 9，说明多模态下字段值错会明显放大。正文没披露测试集规模和领域分布，这点先别太激动，但方法论上把 schema 准确率、类型准确率、值准确率拆开算，比只看一个总分要实在。