开源模型当程序员助手够格吗？Hugging Face 拿自家代码库做了个摸底测试

AI 智能体够格吗？在自有工具上评测开源模型

Hugging Face 把自家的 transformers 库当成考场，让开源模型驱动的编程助手去写代码、调接口、自己改 bug，看它们到底要绕多少弯路、花掉多少 token 才能把活干完。他们没只看最终答案对不对，而是把整个解题过程拆开看：不同模型、不同版本的库、不同任务下，成功率和成本差了多少。结论是，库的文档写得好不好、接口设计得顺不顺，会直接...

推荐理由：Hugging Face 把自家 transformers 库当成编程助手的考场，让开源模型去写代码、调接口、改 bug，没只看最终答案，而是把整个解题过程拆开算账：不同模型、不同库版本下，成功率和 token 消耗差了多少。结论很实在——库的文档和接口设计顺不顺，直接决定模型要多花多少成本才能把活干完。这不是能力突破，是评测方法上的创新，对实际做 agent 的人选模型很有用，所以给到 78 分。