# 同一个模型差 20 分：DeepSeek 的 harness 依赖性和合成数据的隐藏天花板

- 来源：Computing Life · Share · 鸭哥调研
- 发布时间：2026-08-15T00:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/50981
- 原文：https://yage.ai/share/simulator-collapse-deepseek-harness-20260815.html

## 摘要

DeepSeek V4 Flash 在自家极简测试环境里能拿 82.7 分，换到第三方脚手架直接掉到 46.7% 通过率，同一个模型差了 20 个百分点。

## 推荐理由

同一模型在自家极简环境得 82.7 分，换到第三方脚手架通过率降到 46.7%，这条评测对比把 harness 与合成数据对成绩的影响摆了出来。

## 锐评

同一个模型在自家 harness 上 82.7，换第三方脚手架掉到 46.7，这 20 分差的是脚手架不是模型。82.7 这个数基本没有参考价值，谁家评测环境不是照着自家模型的脾气调的。该慌的是拿官方分数做选型的人，你按 82.7 排的优先级，实际跑起来可能连一半都到不了。合成数据喂出来的模型尤其容易这样，训练分布和评测分布贴得太近，换个 prompt 结构就露馅。选型一律自己搭 harness 跑一遍，官方榜当广告看。
