GitHub Copilot 用偏好训练的小模型当“路由器”,把 AI 编码成本砍到三分之一
GitHub Copilot 如何在不牺牲任务质量的前提下降低 AI 编码成本
GitHub 发了一篇工程博客,讲他们怎么把 Copilot 的 AI 编码成本降到原来的三分之一左右,同时任务质量没明显下降。核心做法是训练了一个 18 亿参数的小模型当“路由器”:它看 1040 组偏好样本,学会判断一个请求该交给便宜的小模型,还是该叫更强的模型来救场。上线后,强模型的调用量直接少了 70%,整体延迟控制在 11 秒以内。文章里还提...
推荐理由:GitHub 这篇工程博客给出了一个带真实数字和方法的成本优化方案,对正在落地 AI 编码的团队有直接参考价值。分数没给更高是因为它属于工程优化,不是新模型发布,但 70% 的调用削减和三分之一成本下降这两个数据足够硬,值得放进精选。