让 AI 操作电脑,最大的瓶颈不是模型不够大,而是它根本不用界面
You can't solve computer use by ignoring the interface
Steelman Labs 这篇博客直接点出当前电脑操作智能体的死穴:前沿模型在 OSWorld-V2 这类长任务测试里,最高完成率只有 20.6%,而且每多拿一分,烧掉的 token 数就陡增。原因不是模型笨,而是它们总在绕路——比如订酒店时不点按钮,直接往内部 API 发 POST 请求;玩网页游戏时不操作,直接改游戏状态变量。
推荐理由:Steelman Labs 指出电脑操作智能体在 OSWorld-V2 长任务中最高完成率仅 20.6%,且模型常绕开界面直接调 API 或改状态变量,这解释了 token 消耗随分数陡增的原因。