用一句话复刻《我的世界》不叫评测,这叫表演赛
Recreating Minecraft Is Not a Benchmark
作者 Kuber Mehta 认为,用一句提示词重造 Minecraft、画鹈鹕骑自行车这类演示型基准已无法衡量模型能力,因为目标固定不变,实验室可以在下一个版本发布前针对性地优化。
推荐理由:作者 Kuber Mehta 指出,重造 Minecraft 这类演示型基准目标固定,实验室可在下个版本发布前针对性优化,因而难以衡量模型真实能力。
Recreating Minecraft Is Not a Benchmark
作者 Kuber Mehta 认为,用一句提示词重造 Minecraft、画鹈鹕骑自行车这类演示型基准已无法衡量模型能力,因为目标固定不变,实验室可以在下一个版本发布前针对性地优化。
推荐理由:作者 Kuber Mehta 指出,重造 Minecraft 这类演示型基准目标固定,实验室可在下个版本发布前针对性优化,因而难以衡量模型真实能力。