跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

609 条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 141–160 条 · 共 609 条

10月2日星期五

Claude 博客

通过 mods 自定义 Claude Code 的行为与界面

Claude Code 推出 mods,以小型 TypeScript 函数定制工具行为和界面,现已支持 CLI 与桌面应用。Mods 随插件安装和分享,可改写提示词、拦截工具调用、处理权限请求或替换内置功能,也可由 Claude Code 编写、安装并热重载。

推荐理由:Claude Code 用 mods 开放事件改写、界面定制和内置功能替换,让开发者无需等待官方更新就能调整工具行为。

AI HOT · 技巧与观点

LangChain 讲解如何在 Agent Harness 中构建模型路由器

LangChain 介绍在 Open SWE 的 Agent Harness 中构建模型路由器的方法,A/B 测试中每线程成本中位数降低 64%,质量未出现可测量变化。

推荐理由:LangChain 将任务分析、模型分层和结果追踪结合到智能体路由中,为按任务复杂度控制模型成本提供了可迁移方法。

10月1日星期四

AI HOT · 产品

Factory Automations 正式开放:Droid 可定时或按事件自动执行工程工作流

Factory 宣布 Automations 正式开放,用户描述重复性工作流并选择定时或事件触发后,Droid 即可自动执行。每个自动化由触发条件、指令、模型和运行机器四部分组成,模型与推理等级可按任务配置,支持 BYOK 或 Factory Router。官方称过去 30 天企业用户中 52% 使用自动代码审查、48% 使用安全审查、35% 使用 AutoWiki,自动化会话量环比增长 51%。

推荐理由:Factory 将 Automations 正式开放,Droid 可按定时或事件触发执行代码审查、安全审计等重复工程流程,每个自动化由触发条件、指令、模型和运行机器四部分组成。

9月30日星期三

Hacker News 首页

文本分类语言模型解读:从词袋模型到 Jev

Jev 将文本分类扩展为无需逐项任务微调的通用决策服务,文章通过分类技术发展史与实测解释其优势和适用边界。在 IMDb 的 25,000 条测试评论上,Choice API 达到 96.47% 准确率,总成本 $0.6492;文章同时提醒,无法确定测试集是否包含在训练数据中。

推荐理由:文章将 Jev 与词袋模型、ModernBERT 和通用大语言模型比较,厘清跨任务直接分类与专用模型微调的成本和适用边界。

AI HOT · 产品

Factory 正式发布 Automations,Droid 可定时或事件触发执行重复工程工作

Factory 正式向所有用户开放 Automations,让 Droid 按定时计划或事件触发执行重复工程工作。用户可用自然语言创建流程或选用模板,自动处理工单到 PR、代码审查、安全检查、CI 故障修复及文档更新。每个自动化流程可配置模型、推理级别和运行机器,以用户或服务账号身份执行,并提供可检查的会话、运行历史与失败通知。

推荐理由:Factory 将重复工程任务配置为定时或事件触发的自动化流程,团队能按任务选择模型与运行机器并检查每次执行记录。

TechCrunch · AI

OpenAI 为 Codex 增加跨设备可复用的云开发环境

OpenAI 为 Codex 推出可跨设备访问的可复用云开发环境,让远程任务环境更持久、可配置,并为团队提供共享设置与权限。

推荐理由:OpenAI 为 Codex 增加可复用云开发环境,让团队跨设备沿用获批设置与权限,减少每项远程任务重新准备环境的负担。

9月29日星期二

Hacker News 首页

World Labs 并入 AMD,李飞飞出任首席科学家

World Labs 已签署最终协议加入 AMD,交易预计在 2026 年底前完成,尚待监管批准及其他惯例交割条件。双方自去年起在 AMD GPU 上开展模型训练与推理优化的深度技术合作,此次将整合软件、硬件、基础模型与应用。

推荐理由:World Labs 整体加入 AMD,李飞飞出任执行副总裁兼首席科学家,双方此前已在 AMD GPU 上做模型训练与推理优化,这次合并把硬件、软件与开放模型放进同一体系。

9月25日星期五

claude.dev 开发者博客

Opus 5.5 在 Claude Code 中执行任务的成本如何计算

Opus 5.5 在 Claude Code 中的任务成本由轮次、缓存读取、输出 token 和模型价格共同决定,降低消耗也可能增加重试成本。按 API 标价,同一示例会话从 Opus 5 的 $3.50 降至 Opus 5.5 的 $2.40,约降低 31%,示例不计缓存写入;典型工作负载成本降低 40% 的估计还包含默认设置下任务 token 消耗减少。

推荐理由:Claude Code 成本指南把轮次、缓存与思考输出拆开计费,并用同任务实测的方法区分单价下降与任务消耗减少。

9月24日星期四

Google DeepMind

Google DeepMind 为 Private AI Compute 引入安全服务端记忆

Google DeepMind 公布 Private AI Compute 的新技术能力,将私密的服务端持久记忆引入该平台,使 AI 助手能跨设备保留上下文。数据密封在加密存储中,解锁密钥仅保存在用户设备上,模型访问时通过端到端加密通道进入云端安全隔区,在隔离内存中临时解密并即时重新加密。

推荐理由:Google DeepMind 为 Private AI Compute 加入服务端持久记忆,解锁密钥只留在用户设备,模型经加密通道在云端安全隔区临时解密,让云端助手具备跨设备连续上下文。

9月23日星期三

AI HOT 精选

Modal 公开万亿参数编码 Agent 推理优化细节:单副本性能提升 2.8 倍,把烧钱服务做到价格有竞争力

Modal 发布工程博客,介绍其以万亿 token 规模服务 Moonshot AI 的 Kimi K2.6 编码 Agent 推理的优化过程,单副本性能提升至每用户 2.8 倍、跨用户 5.6 倍。

推荐理由:Modal 公开了以万亿 token 规模服务 Kimi K2.6 编码 Agent 的推理优化过程,单副本性能提升至每用户 2.8 倍、跨用户 5.6 倍,并交代了万亿参数模型服务如何摊薄成本。

9月21日星期一

AI HOT 精选

AI 开始接管 if-then 判断:专用决策器把分类成本砍掉近百倍

Tomer Tunguz 提出,Jev 与 SemIf 这类专用 if-then 决策器以零输出 token 的定型执行替代文本生成,相比传统 AI 成本降低约 99%。

推荐理由:Tunguz 用自己代码里的真实邮件分类任务测试 Jev 与 SemIf 这类专用 if-then 决策器,准确率从 47% 升到 80% 以上,成本比传统 AI 低约 99%。

9月19日星期六

Hacker News 首页

C2C:让多个大模型直接交换“思考缓存”,比打字快 2.5 倍,准确率还高 3-5%

清华大学等机构的研究者提出 Cache-to-Cache(C2C),让大语言模型之间不再通过文本,而是直接投影并融合源模型的 KV-Cache 到目标模型,实现语义传递,并用可学习门控选择受益的目标层。实验显示 C2C 比单个模型平均准确率高 6.4-14.2%,比文本通信范式高约 3.1-5.4%,平均延迟加速 2.5 倍。该论文已被 ICLR'26 收录,代码开源于 thu-nics/C2C。

推荐理由:清华大学等机构提出 C2C,让大模型之间直接投影融合 KV-Cache 传递语义,而非生成中间文本,实验显示准确率高于文本通信约 3.1-5.4% 且延迟加速 2.5 倍。

9月17日星期四

Hacker News 首页

三元大模型打破 1.58 比特的存储下限:BITCOS 靠利用大量零权重把每权重压到 1.485 比特

arXiv 论文 BITCOS 提出面向三值 LLM 的分布自适应权重布局,用稠密存在位图加压缩符号向量替代五 trit 打包,每权重成本为 2 - z bit(z 为零密度)。

推荐理由:Intel 团队实测 29 个三值模型发现零权重占比最高达 51.5%,据此提出 BITCOS 布局,把每权重存储压到 1.485 比特,并给出 CPU 与 GPU 上的解包实现。

9月15日星期二

r/LocalLLaMA

DeepSeek V4.1 Flash 量化版在 M3 Ultra 上跑到 40 token/秒,靠的是把苹果芯片的调度开销砍到骨头里

作者 fork 了 antirez/ds4,针对 512 GB M3 Ultra 上的 DeepSeek V4.1F Q4 做优化,8k 上下文解码从 16.6 提升到 31.3 t/s,300k 上下文从 14.0 提升到 28.3 t/s,62k prompt 预填充从 737 提升到 813 t/s。

推荐理由:作者针对 M3 Ultra 上的 DeepSeek V4.1F Q4 重写 Metal 调度,把 8k 上下文解码从 16.6 提到 31.3 t/s,并给出与上游逐字节一致的校验脚本。

9月10日星期四

DeepSeek · API 更新日志

DeepSeek-V4.1-Flash 发布,支持原生视觉理解并下调 API 价格

DeepSeek 今天发布 DeepSeek-V4.1-Flash,作为全新模型结构系列中尺寸最小的模型,具备原生多模态视觉理解能力。模型已上线 DeepSeek API,使用 deepseek-flash 即可调用,API 价格同步下调;旧模型 V4 Flash 与 V4 Flash Vision Exp 已下线,其调用名称暂时路由至 V4.1 Flash。

推荐理由:DeepSeek 将旧模型名称暂时路由到 V4.1 Flash 并同步下调 API 价格,现有调用可保持名称兼容但会切换模型。

9月2日星期三

Hacker News 首页

Slotstream 让 48GB 内存的 Mac 跑起 104GB 的 Qwen 大模型,速度约每秒 12 个 token

开发者 carloslfu 开源 slotstream,通过从 SSD 流式加载专家权重,让 125B MoE、4-bit 下 104GB 的 Qwen3.8-Flash-Next 在 48GB Mac 上以约 12 tok/s 运行。项目基于 MLX + Swift,提供 Ollama 兼容 API,仓库当前 35 Star、63 次提交。

推荐理由:开发者 carloslfu 开源 slotstream,从 SSD 流式加载专家权重,让 104GB 的 Qwen 模型在 48GB Mac 上以约 12 tok/s 运行,并附带 Ollama 兼容接口。

8月26日星期三

Computing Life · Share · 鸭哥调研

“本地 LLM”这个词,把两个市场混装成了一个

文章把大家常说的“本地 LLM”拆成了两个市场:成本市场买的是 5 到 20 倍的价差,控制市场买的是 25 到 33 年才能回本的确定性。作者用“权重开闭源”和“按时间/按 token 计费”画出四个格子,指出 OpenRouter 上开放权重模型调用量暴增,其实跑的都是远程 API,不等于本地部署赢了。

推荐理由:文章把常说的本地 LLM 拆成成本与控制两个市场,用权重开闭源和计费方式画出四格,并指出 OpenRouter 上开放权重模型调用量增长来自远程 API。

8月21日星期五

Hacker News 首页

Nari Labs 把 Qwen3-TTS 的首音延迟压到 50 毫秒以内,一张 H100 就能跑 10 并发

Nari Labs 开源了一套 Qwen3-TTS 1.7B 的部署方案,在一张 H100 上做到 10 并发请求时,95% 的用户听到第一个字的时间不超过 50 毫秒,且播放不卡顿。他们对比了 vLLM-Omni、SGLang-Omni 等四个引擎,默认设置下最快的 p95 首音延迟也要 277 毫秒。

推荐理由:Nari Labs 开源 Qwen3-TTS 1.7B 部署方案,单张 H100 在 10 并发下把 p95 首音延迟压到 50 毫秒内,并对比了四个引擎的默认表现。

8月20日星期四

Hacker News 首页

DFlash 2 让并行猜词更聪明:每次验证多出 20% 以上有效输出,延迟只增加约 1%

Inco AI 发布了 DFlash 2,在原来一次性并行猜出整段候选词的基础上,加了一个轻量的路径选择器。DFlash 原本是每个位置独立挑最可能的词,但词与词之间可能不连贯,导致验证时整段被砍掉。DFlash 2 的做法是每个位置保留前 16 个候选,然后给相邻词对打分,从中挑出一条最连贯的路径。

推荐理由:Inco AI 的 DFlash 2 在并行猜词中加了路径选择器,让每次验证多出 20% 以上有效输出,延迟只增加约 1%。