# Airbnb 的评测驱动开发：把生成式 AI 评测当成正经工程来做

> 原标题：Airbnb Eval-driven development: Lessons from evaluating GenAI at scale

- 来源：Hacker News 首页
- 发布时间：2026-08-13T19:26:58.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/50520
- 原文：https://medium.com/airbnb-engineering/eval-driven-development-lessons-from-evaluating-genai-at-scale-e817e5ae5788

## 摘要

Airbnb 工程团队分享了一套大规模评测生成式 AI 的方法。核心规矩就一条：先写评测，再写代码，别搞反了。他们用了三种评测手段——规则指标做快速检查、用大模型当裁判评主观质量、人工评估来校准。虚拟裁判必须先跟人的打分对齐，才敢放心用。对于那种会串联工具调用和推理的智能体系统，他们建议把每一步拆开单独评，最后再跑端到端测试。

## 推荐理由

Airbnb 工程团队把生成式 AI 评测拆成规则指标、大模型裁判和人工校准三层，并给出智能体系统分步评测再跑端到端测试的做法，是一条可迁移的工程方法。

## 锐评

评测先行这条规矩，做 agent 的都知道，真做到的没几个。Airbnb 这套里我信的是那句虚拟裁判必须先跟人的打分对齐才敢用，很多团队直接拿模型当裁判就上线了，连对齐这一步都省。分步评加端到端这条也实在，agent 出错十有八九是中间某一步的工具调用歪了，只看最终结果根本定位不到。材料就这些，没有具体数字，只能说方向对，落地成本他们没讲。
