跳到正文
机器之心 · 公众号

人大高瓴发了一篇40页综述,专门讲怎么给大模型打分

Rubrics综述:Agent时代,如何定义一个「好答案」?

这篇综述把“评分标准(Rubrics)”这件事拆成了五个部分来讲:定义、怎么构建、怎么用来训练、怎么用来评估、以及还没解决的难题。它想回答一个很实际的问题:在模型能自己调用工具、走流程干活的 Agent 时代,光看答案对不对已经不够了,得有一套更细的尺子来衡量“好答案”到底好在哪里。

推荐理由:人大高瓴团队用40页综述把评分标准拆成定义、构建、训练、评估与未解难题五部分,回应Agent时代光看答案对错已不够的评测需求。

读原文 ↗导出 Markdown