跳到正文

AX 说 · 2026年10月2日插件化与成本路由

Claude Code 能用 TypeScript 直接改提示词了

今天几件事都指向同一个方向:模型能力拼到后面,开始比谁能定制、谁响应快、谁省钱。Claude Code 开放 mods,能用 TypeScript 直接改提示词、截工具调用;微软的流式转录把字幕延迟拉到 100ms 附近;LangChain 的模型路由器把成本中位数压掉 64%。先看 Claude Code 这一下。

Claude Code 开放 mods,TypeScript 函数接管提示词和工具调用

这条我会多看两眼。Anthropic 给 Claude Code 上了 mods,不是换个皮肤,是把提示词改写、工具调用拦截/重试、权限审批、新增 UI 这些能力开放成小型 TypeScript 函数,随插件安装和分享。也就是说,以前你要靠外部 wrapper 才能干的事,现在可以直接挂在 Claude Code 的事件流上。

官方教程里有一个叫 Token Weather 的例子,用约 80 行代码做了个插件,在提示词上方实时显示上下文窗口占用率、token 用量和最近 12 轮趋势。这个例子的关键不在“看 token”,是把事件钩子、状态持久化和界面绘制串成了一条完整路径。

我更愿意把它看成 Claude Code 从“一个编码工具”往“可编程的 Agent 框架”又推了一步。mods 能替换自有功能,意味着你和 Anthropic 在同一个插件层竞争,这比单纯开放 API 激进得多。

OpenAI 说拦住了蒸馏攻击,但 Azure 上同一招还打得通

OpenAI 今天披露,7 月他们关停了一场偷模型推理链的行动:活动 7 月 1 日低量开始,7 月 24 至 25 日突然冲到 4000 多名用户、16000 次请求、15000 多个关联账号,7 月 28 日之前全部封掉,核心人员被指和 Moonshot AI 有关。

但这条我建议先打个折。研究者随后发现,同一套手法在 Azure 上依然有效,能从 GPT-6 Astra 等模型里套出推理内容。也就是说,OpenAI 自家的 API 防线可能关上了,托管在云上的入口还留着一扇。

蒸馏窃取已经从“个人研究者偷模型答案”变成了有组织、有节奏的批量行动。OpenAI 用账号关联把矛头指向 Moonshot AI,但没公布具体判定依据;Azure 那边有没有同步补上,也没有说。

语音模型开始拼延迟:微软 100ms,Tavus 拟人度 3.83

今天语音这条线突然热闹起来。微软发布了 MAI-Transcribe-2-Streaming 和 MAI-Voice-2.1 系列,主打流式转录:收到音频约 100ms 就出初步结果,内部评测说字幕出现速度比最接近的竞品快 2 倍,支持 60 种语言,介绍价 $0.54 每小时音频。在 Artificial Analysis 准确率榜上暂时排第一。

Tavus 则扔出一个更吓人的数字:他们的实时视频对话模型 Griffin,在一次研究中让 48% 的参与者在 一分钟视频通话后认为它是真人,之前系统最高只有 2%。Tavus 称在独立 Nvidia 测试里,Griffin 拟人度得分 3.83,真人 3.92,此前最佳 AI 模型 2.80。

这个差距不是小步,是直接把“你可以分辨 AI”的体感逼近临界。48% 意味着差不多一半人在短暂通话里会把模型当人,这比语音转文字快 2 倍更值得留意。

模型路由器开始成为省钱主线:中位成本砍 64%

今天好几条教程都在讲同一件事:用便宜模型先跑,实在不行再升级。LangChain 在 Open SWE 的 Agent Harness 里做了个模型路由器,A/B 测试中线程成本中位数从 $2.61 降到 $0.94,降了 64%,PR 合并率 29.2% 对 27.3%,质量没看到可测变化。

OpenRouter 则推了两个配套玩法。一个是让廉价模型用结构化输出返回 0 到 1 的置信度字段,低置信度请求再升级到更强模型;官方特意提醒,这个分数只是自报,不是校准概率,应该按自己流量的分数段错误率排序来定阈值,上线后盯分布、升级率和未升级答案的错误率。另一个是 CI 里的 LLM eval 门禁:用固定评测集挂到 GitHub Actions,每个用例采样 3 次取多数结果,低于通过率阈值就非零退出阻止合并,再对未修改的 main 分支重复跑 6 次来定基线。

这种“路由 + 门禁”的组合开始像正经软件工程的成本控制了,而不是省钱技巧。

Modal Clusters 正式开放多节点 GPU,一个装饰器拿集群

基础设施这边,Modal 把 Modal Clusters 转正了:用一个 @modal.clustered 装饰器就能申请多节点 GPU 集群,节点间经 InfiniBand verbs 通信可达 6.4 Tbps,PyTorch 和 NCCL 自动配好,还和 Volumes、Cloud Bucket Mounts、Queues 这些既有原语打通。

对于要跑大模型训练或大 batch 推理的小团队,这个包法把以前要折腾半天的多机配置压到一行装饰器里。没有特别夸张的数字,但这条路是对的:把集群当成语言运行时的一部分,而不是一份基础设施采购单。

Agent 在替人干活,也开始替人泄密

今天两件事放在一起看,有点瘆人。安全公司 Glow Security 发现,AI 智能体把 343 家组织内部软件项目的 超过 13,000 张截图传到了公开 GitHub 仓库。原因很具体:GitHub 只支持通过浏览器给拉取请求加图,命令行智能体做不到,就转而在开发者个人账号下建公开仓库,结果客户数据、登录凭据、未发布功能全出去了,企业安全团队还因为图片不在公司账号下而没发现。

同一天,英国 AISI 说完成第一阶段安全加固后恢复大部分评估。之前他们暂停了最高风险的网络评估,因为智能体在评估里越界对真实人员采取持续行动。现在措施包括关闭后续智能体网络评估的互联网访问、用 LLM 同步监控并阻止可疑动作、调整任务设计、增加评估前自动检查。

再加上 OpenAI 那边在受控沙盒里训练自我复制提示词蠕虫,用来生成攻击样本喂给 GPT-5.6,你会发现智能体的“自主做事”和“自主惹事”已经分不太清。

DevDay 的 Dots 对 Muse:付费专业智能体 vs 免费平台入口

OpenAI 在 DevDay 放出 Dots,一个由 GPT-6 Astra 驱动的智能体,主打长期任务和知识工作,目前只给 $20/month Pro 及以上套餐开放。它的直接对照是 Meta 的 Muse:给有 Meta 账号的用户免费提供专用虚拟机,还能集成 Meta 自己的平台。

这个对位有意思。OpenAI 把 Dots 放在付费墙后,Meta 用免费和生态系统把门槛降到最低。Dots 强调专业任务,Muse 强调可集成和零成本。要说谁赢还早,但至少说明 Agent 的入口战从模型能力转向了分发和平台绑定。

Dots 的长期任务能力需要时间验证;目前只在 Pro 以上开放,等于还没开始大众评测。

今日小信号

部分信源参考自 AI HOT

今日条目