# Cactus 给 Gemma 4 加了个“自知之明”探针，只把 15-35% 的难题转给云端模型

> 原标题：Show HN: Cactus Hybrid: We taught Gemma 4 to know when it's wrong

- 来源：Hacker News 首页
- 发布时间：2026-07-22T17:56:29.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/45981
- 原文：https://github.com/cactus-compute/cactus-hybrid

## 摘要

Cactus 团队对 Gemma 4 E2B 做了后训练，让模型每次回答都附带一个 0 到 1 的置信度分数。分数高就在设备上直接出结果，分数低才转给云端模型 Gemini 3.1 Flash-Lite。他们没让模型自己写文字评价自己，也没用 token 熵这种几乎和抛硬币差不多的老办法，而是加了一个只有 6.8 万参数的小探针层。这个探针会读取模型解...

## 推荐理由

一个具体的工程方案，有数字、有对比、有部署路径，不是概念炒作。没给更高分是因为目前只有 README 说明，缺少大规模评测数据和失败案例，真实表现还得看社区验证。

## 锐评

Cactus 给 Gemma 4 装了一个很小的探针层，让它每次回答都带一个 0 到 1 的置信度。分数高就在设备上直接出结果，分数低才转给云端模型 Gemini 3.1 Flash-Lite。他们没让模型自己写文字评价自己，也没用 token 熵这种几乎和抛硬币差不多的老办法，而是直接读模型内部某一层的隐藏状态，预测“会答错”的概率。

在 12 个测试集上，这个探针判断对错的平均 AUROC 是 0.814，而 token 熵只有 0.549。更关键的是，探针训练时完全没接触过音频数据，但在四个音频测试集上 AUROC 依然有 0.79 到 0.88，说明它抓到的是跨模态的“自知之明”信号，不是死记硬背。实际路由时，只要把 15% 到 35% 的查询转给云端，就能在多数基准上和纯云端模型打平。

不过正文没披露延迟和端侧推理成本，也没说探针本身会拖慢多少速度。另外这个探针目前只支持单序列解码，最多看前 1024 个 token，多步任务里按任务路由才比较好用，按步路由还不行。这点先别太激动，等他们把层级路由和更多模型的探针放出来再看。