热点事件观察中
Co-Design Bench揭示编码智能体完成率不足
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
11月8日,The Decoder报道,阿里巴巴与多所亚洲高校构建了Co-Design Bench,要求编码智能体根据真实用户请求修改现有网页应用,并由两名AI裁判检查功能是否实际可用。在测试的十个模型中,表现最佳的GPT-6 Astra仅完整完成26.4%的任务,平均满足约70%的需求,仍有近四分之三任务需要人工收尾。当任务混合多种修改类型时,所有模型的表现均下降;同一模型在不同执行环境中也存在明显表现差异。研究团队因此建议,评测结果应同时报告模型与执行环境。
AI 根据报道生成 · 1 天前更新
最新进展11月8日 17:50
Co-Design Bench实测十个模型,最佳模型完整任务完成率仅26.4%。报道时间线
沿着报道,了解事件的不同侧面。
11月8日
- The DecoderCo-Design Bench 实测编码智能体,最佳模型仍有近四分之三任务需要人工收尾
阿里巴巴与多所亚洲高校构建 Co-Design Bench,测试的十个模型中,表现最佳的 GPT-6 Astra 仅完整完成 26.4% 的任务。该模型平均满足约 70% 的需求,测试要求智能体根据真实用户请求修改现有网页应用,并由两名 AI 裁判检查功能是否实际可用。任务混合多种修改类型时所有模型表现均下降,同一模型在不同执行环境中的表现也有明显差异,研究团队建议同时报告模型与执行环境。
本事件热度走势
当前热度 5·可比范围峰值 10(11月8日 18:00)·近 24 小时可比范围变化 -49%
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。