AI 编码智能体在孤立测试中表现出色,在模拟职场中完成的任务不足十分之一
AI coding agents ace isolated tests but complete fewer than one in ten tasks in a simulated workplace
一项新实验让 AI 编码智能体在模拟软件公司中工作,连 Claude Opus 5.5 和 GPT-6 Astra 完整完成的任务也不足十分之一。模拟环境包含同事、项目看板和聊天记录,而编码智能体在标准基准上的成绩已接近满分。Anthropic 称 Claude 编写了公司超过 80% 的生产代码,SWE-bench 等标准基准也已接近饱和。