Anthropic 的 Computer Use 是怎么训练出来的——从一项专利读它的数据管线

Anthropic 一项专利披露了 Computer Use 的训练数据管线，核心不是录屏，而是把原始操作变成带推理链的数据。管线分三步：截获用户操作时允许附加思考标注，用多模态模型把点击坐标翻译成语义意图，再用更强的模型做合成扩展，一条真实轨迹变出几十条带推理变体的样本。学术数据集能训出跑 benchmark 的原型，但覆盖软件少、轨迹偏干净、缺少长...

推荐理由：这篇不是官方发布，是从专利里扒出来的分析，所以我会先打个折。但它把 Computer Use 的数据管线讲得很实在：先截屏记录人的操作，再用 transformer 推断操作背后的意图，最后让强模型把意图扩展成更多样的训练样本。对正在搭 agent 的团队来说，这套思路能直接参考，尤其是怎么把少量人工操作放大成训练数据。正文没披露具体模型规模和成功率数字，这点先别太激动。