仪表盘坏了:开发者感觉用 AI 快了 20%,实测慢了 19%
The gauge broke: devs felt 20% faster with AI, measured 19% slower
METR 做了一项对照实验,让 16 名经验丰富的开源开发者在自己熟悉的代码库里干活,结果发现他们自我感觉速度提升了约 20%,但实际计时却慢了约 19%,感觉和事实差了近 40 个百分点。我会先打个折,这个实验样本不大,但问题在于,最有信心觉得自己变快的人,恰恰是实测变慢的人。这说明我们用来判断效率的“感觉”这个仪表盘,在最常见的真实工作场景下是反着...
推荐理由:METR这个对照实验是第一个用秒表去量“AI编码速度错觉”的——16个经验丰富的开发者,在自己熟悉的代码库里干活,自我感觉快了20%,实测却慢了19%。样本不大,正文也没披露完整实验设计,但结论太反直觉了:最有信心觉得自己变快的人,恰恰是实测变慢的人。这说明我们判断效率的“感觉”这个仪表盘,在最常见的真实工作场景下是反着转的。对天天用AI写代码的人来说,这条不是讲工具好不好用,而是提醒你该信秒表别信直觉。