# Allen AI 用心理测量学给大模型基准做“体检”，发现很多题目测的根本不是你以为的能力

> 原标题：BenchMIRT: What are LLM benchmarks actually measuring?

- 来源：Hugging Face 博客
- 发布时间：2026-09-01T21:39:07.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/55239
- 原文：https://huggingface.co/blog/allenai/benchmirt

## 摘要

Ai2 在 Hugging Face 博客发布 BenchMIRT，一种在单条提示词层面审计 LLM 基准的新方法，基于多维项目反应理论（MIRT）估计每道题难度及其区分能力。

## 推荐理由

Ai2 发布 BenchMIRT，用多维项目反应理论在单条提示词层面估计每道基准题的难度与区分能力，为判断基准究竟测什么提供了一套可迁移的审计方法。

## 锐评

100 个模型、3.4 万道题，这个规模才让 MIRT 估得出来，单看一条 prompt 的区分度，样本不够根本没法算。方法我信，它审的是别人的 benchmark，审完也就审完了。BBQ 里那道 Uber 题既考年龄偏见又考指代和证据推理，这种题在榜上被平均成一个分数，谁排第一可能只是指代能力好。榜单上的分差说不清差在哪，这事一直存在。
