跳到正文
Hacker News 首页

Airbnb 的评测驱动开发:把生成式 AI 评测当成正经工程来做

Airbnb Eval-driven development: Lessons from evaluating GenAI at scale

Airbnb 工程团队分享了一套大规模评测生成式 AI 的方法。核心规矩就一条:先写评测,再写代码,别搞反了。他们用了三种评测手段——规则指标做快速检查、用大模型当裁判评主观质量、人工评估来校准。虚拟裁判必须先跟人的打分对齐,才敢放心用。对于那种会串联工具调用和推理的智能体系统,他们建议把每一步拆开单独评,最后再跑端到端测试。

推荐理由:Airbnb 工程团队把生成式 AI 评测拆成规则指标、大模型裁判和人工校准三层,并给出智能体系统分步评测再跑端到端测试的做法,是一条可迁移的工程方法。

读原文 ↗导出 Markdown