Skip to content
AI HOT · Tips & opinions

OpenRouter 教程:如何从生产流量构建 golden 评测集并跨模型复测

OpenRouter 发布教程,讲解如何从生产流量构建 golden 评测集,并跨模型复测以挑选下一个模型。教程给出五步流程:抽取一两周生产日志、去重聚类、为每条输入补充经人工审核的期望输出、先跑一遍当前生产模型并修正评分标准、最后提交 Git 并接入 CI;规模上探索单个问题约 10 条,完整回归集 100 到 1000 条。

Read the original ↗Export Markdown