跳到正文
Hacker News 首页

一个 99 美元的 MUD 游戏,测出大模型当 NPC 时爱复读、会迷路,评分系统本身也不靠谱

Can a MUD evaluate LLMs? A $99 proof of concept

CrucibleBench 把 13 个模型扔进一个文字 MUD 世界,让它们跟有记忆和信任值的 NPC 打交道,完成隐藏的社交任务。50 轮对话跑下来,总共花了 99.59 美元。最大的发现不是谁排第一,而是评分系统里一个负责评判对话质量的 LLM 组件,能让排行榜上的名次上下浮动 6 位。

推荐理由:CrucibleBench 用 99.59 美元把 13 个模型放进文字 MUD 跑 50 轮社交任务,其中负责评判对话质量的 LLM 组件能让排行榜名次浮动 6 位。

读原文 ↗导出 Markdown