Airbnb 的评测驱动开发：把生成式 AI 评测当成正经工程来做

Airbnb Eval-driven development: Lessons from evaluating GenAI at scale

Airbnb 工程团队分享了一套大规模评测生成式 AI 的方法。核心规矩就一条：先写评测，再写代码，别搞反了。他们用了三种评测手段——规则指标做快速检查、用大模型当裁判评主观质量、人工评估来校准。虚拟裁判必须先跟人的打分对齐，才敢放心用。对于那种会串联工具调用和推理的智能体系统，他们建议把每一步拆开单独评，最后再跑端到端测试。文章从头到尾走了一遍完整流...

推荐理由：Airbnb 工程团队分享了一套大规模评测生成式 AI 的实操方法，核心纪律是评测先行，代码后写。文章把评测手段拆得很清楚：规则指标做快速检查、用大模型当裁判评主观质量、人工评估来校准，而且强调虚拟裁判必须先跟人的打分对齐才敢用。对智能体系统还给出了分步评测加端到端测试的建议。全是工程落地经验，没有虚词，对正在搭评测体系的团队很有参考价值。