# 长政策文件管不住 AI 代理——Handbook.md 基准测试给出实锤

> 原标题：Handbook.md shows that long policy documents do not reliably govern agents

- 来源：Hacker News 首页
- 发布时间：2026-07-29T13:01:57.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/47399
- 原文：https://arxiv.org/abs/2607.25398

## 摘要

Surge AI 搞了个叫 Handbook.md 的测试，专门看 AI 代理能不能照着几十页的公司手册干活。测试覆盖金融、医疗账单、保险、物流和 HR 五个领域，一共 65 个任务，每个任务都配了一份 20 到 124 页的标准操作流程。为了防止模型死记硬背，每份手册的规则和门槛都做了改动，没有两个任务共用同一套政策。

## 推荐理由

Surge AI 用 Handbook.md 测试 65 个任务，每个任务配一份 20 到 124 页的公司手册，考察 AI 代理能否照着长政策文件干活。

## 锐评

65 个任务、每份手册 20 到 124 页，还特意把规则和门槛都改过，这个设计挺扎实，分数不好看就是真的不好看。长 context 里塞几十页 SOP，模型能记住开头和结尾，中间那几十页基本靠猜，门槛一改就露馅。所以现在把公司手册整本丢给 agent 让它自己查，等于赌运气。真要做，就得把手册拆成能检索的条目，一次只喂相关那几页，别指望它读完整本还不出错。
