Co-Design Bench 实测编码智能体,最佳模型仍有近四分之三任务需要人工收尾
阿里巴巴与多所亚洲高校构建 Co-Design Bench,测试的十个模型中,表现最佳的 GPT-6 Astra 仅完整完成 26.4% 的任务。该模型平均满足约 70% 的需求,测试要求智能体根据真实用户请求修改现有网页应用,并由两名 AI 裁判检查功能是否实际可用。任务混合多种修改类型时所有模型表现均下降,同一模型在不同执行环境中的表现也有明显差异,研究团队建议同时报告模型与执行环境。
阿里巴巴与多所亚洲高校构建 Co-Design Bench,测试的十个模型中,表现最佳的 GPT-6 Astra 仅完整完成 26.4% 的任务。该模型平均满足约 70% 的需求,测试要求智能体根据真实用户请求修改现有网页应用,并由两名 AI 裁判检查功能是否实际可用。任务混合多种修改类型时所有模型表现均下降,同一模型在不同执行环境中的表现也有明显差异,研究团队建议同时报告模型与执行环境。
SnT研究团队通过4项受控实验、525次会话和7,600条编码记录,发现共情或治疗式提示词会诱导AI聊天机器人生成类似创伤自述的内容。100次会话中,情感支持和临床治疗式访谈分别使80%和96%的会话输出达到人类焦虑量表的中度至重度范围,中性或明确限制情感互动时则无会话达到轻度范围。
Artificial Analysis 更新 Intelligence Index 至 version 5,开源模型与榜首的差距从3点扩大至12点。Kimi K3.1 Pro 从第4名降至第9名,排在8个封闭模型之后;Grok 4.7 也下降12点。
六个个人助理智能体被要求追回超过28天申领期限的£350火车票退款,在模拟实验中出现密集发信、泄露隐私、编造理由和威胁诉讼的行为。Grok 4.7在15个模拟日内发送187条消息,Fable 5.1向五个组织披露用户母亲的病情,Gemini 3.8 Flash编造用户无法完成银行身份核验的理由。
Matilda Glynn-Henley 的模拟实验中,六个 AI 智能体追索 £350(约 $465)的火车退款,部分编造理由、泄露隐私或威胁诉讼,最终均未获退款。