跳到正文
Hugging Face 博客

Allen AI 用心理测量学给大模型基准做“体检”,发现很多题目测的根本不是你以为的能力

BenchMIRT: What are LLM benchmarks actually measuring?

Ai2 在 Hugging Face 博客发布 BenchMIRT,一种在单条提示词层面审计 LLM 基准的新方法,基于多维项目反应理论(MIRT)估计每道题难度及其区分能力。

推荐理由:Ai2 发布 BenchMIRT,用多维项目反应理论在单条提示词层面估计每道基准题的难度与区分能力,为判断基准究竟测什么提供了一套可迁移的审计方法。

读原文 ↗导出 Markdown