AI 的微型钢厂：我把 78% 的活搬到了本地 Mac 上跑

AI的微型钢厂

作者 Tomasz Tunguz 把自己日常的 AI 工作流改成了双车道调度：简单任务（如邮件分类、日程安排）由 Mac 本地的模型处理，复杂任务才扔给云端大模型。过去一周，本地模型最高一天处理了 88% 的任务。这套分流设计让平均任务耗时从 47 秒降到 19 秒，排队时间从 73 秒暴跌到 4 秒，整体吞吐量提升了约 25%。他的逻辑是，把之前蒸馏...

推荐理由：这是一篇实操向的评论，不是模型发布或平台更新。作者把自己当微型钢厂，用本地模型处理简单任务、云端模型接复杂活，跑出了一组能直接对比的延迟和吞吐数据。对正在琢磨本地推理和混合调度的人，这些数字比泛泛的“端侧 AI”有说服力。信息缺口在于这只是个人实验，没有更大规模的验证，所以放在 featured 而不是 breaking。