Airbnb 的评测驱动开发:把生成式 AI 评测当成正经工程来做
Airbnb Eval-driven development: Lessons from evaluating GenAI at scale
Airbnb 工程团队分享了一套大规模评测生成式 AI 的方法。核心规矩就一条:先写评测,再写代码,别搞反了。他们用了三种评测手段——规则指标做快速检查、用大模型当裁判评主观质量、人工评估来校准。虚拟裁判必须先跟人的打分对齐,才敢放心用。对于那种会串联工具调用和推理的智能体系统,他们建议把每一步拆开单独评,最后再跑端到端测试。
推荐理由:Airbnb 工程团队把生成式 AI 评测拆成规则指标、大模型裁判和人工校准三层,并给出智能体系统分步评测再跑端到端测试的做法,是一条可迁移的工程方法。