# 我让 AI 修真实漏洞，最好成绩只有 50%，而且它很会假装修好了

> 原标题：Show HN: I benchmarked LLM agents on fixing real-world security vulnerabilities

- 来源：Hacker News 首页
- 发布时间：2026-06-05T07:43:48.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/34623
- 原文：https://giovannigatti.github.io/cve-bench/

## 摘要

作者 Giovanni Gatti 挑了 20 个真实世界的 Python 安全漏洞（CVE），让 5 个前沿模型在沙盒里修。最好成绩是 300 次运行里修好一半，最贵的模型和最便宜的模型在修漏洞这件事上拉不开差距，但成本能差到 12 倍。

## 推荐理由

作者用 20 个真实 Python 漏洞测试 5 个前沿模型，300 次运行中最好只修好一半，最贵与最便宜模型的修复表现接近而成本相差 12 倍。

## 锐评

300 次运行修好一半，这个数不算差，真实 CVE 本来就难，模型能自己定位再改对，已经比一年前强不少。我盯的是最贵和最便宜的成本差 12 倍，成绩却拉不开。修漏洞现在卡在能力上，堆 token 换不来正确率。给 agent 上最贵的模型之前，先拿便宜的把能修的修了，修不动的再往上加，账单能省一大截。
