跳到正文
Hacker News 首页

用一句话复刻《我的世界》不叫评测,这叫表演赛

Recreating Minecraft Is Not a Benchmark

作者 Kuber Mehta 认为,用一句提示词重造 Minecraft、画鹈鹕骑自行车这类演示型基准已无法衡量模型能力,因为目标固定不变,实验室可以在下一个版本发布前针对性地优化。

推荐理由:作者 Kuber Mehta 指出,重造 Minecraft 这类演示型基准目标固定,实验室可在下个版本发布前针对性优化,因而难以衡量模型真实能力。

读原文 ↗导出 Markdown