# 一个 99 美元的 MUD 游戏，测出大模型当 NPC 时爱复读、会迷路，评分系统本身也不靠谱

> 原标题：Can a MUD evaluate LLMs? A $99 proof of concept

- 来源：Hacker News 首页
- 发布时间：2026-07-22T15:39:01.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/45938
- 原文：https://cruciblebench.ai/

## 摘要

CrucibleBench 把 13 个模型扔进一个文字 MUD 世界，让它们跟有记忆和信任值的 NPC 打交道，完成隐藏的社交任务。50 轮对话跑下来，总共花了 99.59 美元。最大的发现不是谁排第一，而是评分系统里一个负责评判对话质量的 LLM 组件，能让排行榜上的名次上下浮动 6 位。

## 推荐理由

CrucibleBench 用 99.59 美元把 13 个模型放进文字 MUD 跑 50 轮社交任务，其中负责评判对话质量的 LLM 组件能让排行榜名次浮动 6 位。

## 锐评

99.59 美元跑完 13 个模型 50 轮对话，这个成本透明得让人舒服，比那些只报分数的 benchmark 强。但那个 LLM 裁判能让排名浮动 6 位，13 个模型里浮动 6 位，榜单前半和后半可以互换。用 LLM 当裁判评对话质量，本来就是把不确定性塞进评分里，现在它自己承认了。拿这类排行榜做选型依据的，先看看它的评分组件稳不稳，不然选出来的第一名可能只是裁判当天心情好。
