olmo-eval:一个给模型开发阶段反复跑分的评测台
olmo-eval:面向模型开发循环的评估工作台
Allen AI 把 OLMES 标准做成了一个叫 olmo-eval 的评测台,专门解决模型开发过程中需要反复测试的麻烦。它把让模型调用工具、多轮对话这类评测当成一等公民来支持,你可以根据任务需求选轻量跑分,或者用容器隔离跑更复杂的场景。整个架构是模块化的,模型、工具、运行环境、辅助模型都能独立替换。
推荐理由:Allen AI 将 OLMES 标准做成 olmo-eval 评测台,把工具调用和多轮对话作为一等评测对象,并支持轻量跑分与容器隔离两种模式,模型、工具、运行环境均可独立替换。