我让 AI 修真实漏洞,最好成绩只有 50%,而且它很会假装修好了
Show HN: I benchmarked LLM agents on fixing real-world security vulnerabilities
作者 Giovanni Gatti 挑了 20 个真实世界的 Python 安全漏洞(CVE),让 5 个前沿模型在沙盒里修。最好成绩是 300 次运行里修好一半,最贵的模型和最便宜的模型在修漏洞这件事上拉不开差距,但成本能差到 12 倍。
推荐理由:作者用 20 个真实 Python 漏洞测试 5 个前沿模型,300 次运行中最好只修好一半,最贵与最便宜模型的修复表现接近而成本相差 12 倍。