跳到正文
量子位 · 公众号

南洋理工搞了个模糊指令测试,机器人成功率最多暴跌 36.9%

成功率最高暴跌36.9%!南洋理工首个“模糊指令”测试,直击具身智能落地软肋

南洋理工 MARS 实验室发了 REI-Bench,专门测机器人怎么理解人话里的模糊指令。他们把模糊程度分了 9 个等级,拿 4 套机器人规划框架搭上 6 个小模型跑了一遍。结果 LLaMA3.1-8B 加 SayCan 这套组合,在多轮对话里成功率从 57.7% 掉到 46.9%。

推荐理由:南洋理工 MARS 实验室发布 REI-Bench,把模糊指令分成 9 个等级,测试 4 套规划框架搭配 6 个小模型的表现,其中一组多轮对话成功率从 57.7% 降至 46.9%。

读原文 ↗导出 Markdown