# 开源模型当程序员助手够格吗？Hugging Face 拿自家代码库做了个摸底测试

> 原标题：AI 智能体够格吗？在自有工具上评测开源模型

- 来源：AI HOT 精选
- 发布时间：2026-06-18T00:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/39167
- 原文：https://huggingface.co/blog/is-it-agentic-enough

## 摘要

Hugging Face 把自家的 transformers 库当成考场，让开源模型驱动的编程助手去写代码、调接口、自己改 bug，看它们到底要绕多少弯路、花掉多少 token 才能把活干完。他们没只看最终答案对不对，而是把整个解题过程拆开看：不同模型、不同版本的库、不同任务下，成功率和成本差了多少。

## 推荐理由

Hugging Face 用自家 transformers 库测试开源模型编程助手，把解题过程拆开比较不同模型和库版本下的成功率与 token 消耗，为评估编程智能体提供了可复用的方法。

## 锐评

评测方法比结论值钱。把 transformers 库当考场，拆开看绕了多少弯路、烧了多少 token，这才是选模型该看的账。同一个任务，库的接口设计顺不顺，直接决定 agent 要多花多少成本，这个变量以前没人认真量过。

对做 agent 的人来说，模型榜单的分数参考价值有限，影响账单的是它在具体代码库里的试错次数。Hugging Face 拿自家库测，样本偏自家生态，方向对。以后选模型，先拿自己的 repo 跑一遍，比看 benchmark 靠谱。
