TypeSafe AI 推出新模型 Jev，可将自然语言和应用状态转化为带类型决策，返回选项、分数和概率并以 JSON 输出。其采用并行采样器与名为 Reinforcement Learning for Calibrated Decisions 的训练方法，在决策工作流中相比通用 LLM 有显著速度和成本优势。

TurboGPT 是一个用 CUDA C++ 实现的字节级微型 GPT 训练项目，采用 MIT 协议，可在 13 秒内训练 22KiB 的 Transformer。

HPE 提出，当 AI 从试验走向客服、IT、研究等常驻生产负载，按 token 消费的模式会让支出变成难以预测的月度变动项，企业需按工作负载判断是否转向自有算力。

据知情人士消息，AI 推理基础设施提供商 Modal Labs 正接近完成由 Accel 领投的 7.5 亿美元融资，投后估值 157.5 亿美元，较四个月前 46.5 亿美元的估值增长逾两倍。

World Labs 签了正式协议，要整体并入 AMD。李飞飞会担任 AMD 的执行副总裁兼首席科学家，直接向 CEO 苏姿丰汇报。Justin Johnson 和 Ben Mildenhall 继续带队，在 AMD 内部组建一个前沿研究部门。两家公司去年就开始在 AMD 的 GPU 上合作搞模型训练和推理优化，这次合并是想把硬件、软件和开放模型打通，...

Mistral 在慕尼黑开设德国中心，组建专注 Physics AI 与工业 AI 的研究团队，并计划到 2030 年建成 1 吉瓦欧洲算力。该中心将携手 BMW 开展碰撞仿真与工程 AI 合作、与 Siemens Energy 推进工业 AI 应用，并与慕尼黑工业大学（TUM）合作利用风洞设施开发汽车空气动力学数字孪生。

llama.cpp 合并了一个 PR，给 CPU 推理加上了分块矩阵乘法（tiled mul_mat）。简单说就是把大矩阵切成小块算，让 CPU 缓存更友好、内存带宽压力更小——这对跑本地大模型是实打实的优化。不过正文被 Reddit 屏蔽了，没披露具体提速多少、内存省了多少。如果是真的，本地推理延迟应该能降一截。

GitHub Copilot 应用推出 canvas，一种运行在应用内、无浏览器外壳的全栈小应用，可与 Copilot 智能体双向通信，并能在本地执行代码、调用第三方 API。作者认为聊天只是 AI 的通用兜底界面，用户明确任务时更该让智能体生成可复用工具，而非把智能体本身当工具、白白消耗 token。示例包括 Connect 4 游戏、Winget 包管理、SQLite 操作和开发工作流自动化。

Google 的 Project Suncatcher 首颗试验卫星 MVP 将于 10 月 1 日发射，用于验证其轨道 AI 数据中心构想。该卫星约冰箱大小，搭载 4 块 Google 自研 TPU AI 加速器，太阳能板供电约 1 千瓦。

XPRIZE Wildfire 公布 1100 万美元竞赛结果，两大赛道大奖均空缺。太空探测赛道要求 10 分钟内识别澳大利亚大范围火情，SIRIUS Wildfire Alliance 获 50 万美元一等奖；自主响应赛道三支决赛队均在 10 分钟内探测到阿拉斯加高风险火情，但无一完全扑灭。

GitHub Copilot 应用重建了 pull request 视图，以流畅渲染含 2,200 个文件、超百万行改动和 400 多条行内评论的超大 PR。其做法是把文档高度拆成确定性的代码几何与动态评论块两套几何：代码行高提前精确算好，评论高度按块懒测量并锚定到文件、行与侧，避免滚动跳动。

Google DeepMind 公布 Private AI Compute 的新技术能力，将私密的服务端持久记忆引入该平台，使 AI 助手能跨设备保留上下文。数据密封在加密存储中，解锁密钥仅保存在用户设备上，模型访问时通过端到端加密通道进入云端安全隔区，在隔离内存中临时解密并即时重新加密。

Modal 工程团队写了一篇长文，拆解他们怎么为 Moonshot AI 的 Kimi K2.6 模型做推理加速，用来驱动编码 Agent。核心成果是把单副本（replica）性能提了 2.8 倍（按单用户交互体验算）和 5.6 倍（按多用户并发吞吐算），让原本贵到没法用的服务变得价格有竞争力。文章先讲工作负载：万亿参数的混合注意力 MoE 模型，输入...

Simon Willison 发布 llm 0.36。该版本信息由其本人在 9 月 22 日发布，具体更新内容原文未作说明。

Tomasz Tunguz 拿自己生产环境里 98 封邮件实测了两款新工具 Jev 和 SemIf。它们不生成文字，只跑一遍注意力计算就直接输出选项概率，几百毫秒出结果。分类准确率从原来通用模型的 47% 跳到 80% 以上，单次调用成本降到 0.0004 美元，比顶尖大模型便宜 76 到 209 倍。Tunguz 认为这标志着 AI 路线开始分叉：前...

Simon Willison 发布 llm-keys-ui 0.1 插件，用于在不向 ChatGPT 应用或智能体会话粘贴 API key 的情况下，把密钥配置到远程机器上。

一台型号为 Mac18,6 的设备跑出了 Geekbench 7 单核 4150 分，是目前公开的最高分。这颗 M6 Pro 有 18 个核心，分成 6+12 两组，基础频率 4.78 GHz，配了 48 GB 内存。多核 37565 分。单核成绩比前代 M 系列明显高出一截，说明苹果在单线程性能上还在往前推。不过这只是个跑分，实际功耗、散热和最终量产...

这篇 ICLR'26 的论文提了个很直接的想法：多个大模型协作时，别让它们互相发文字了，直接传“脑内状态”（KV-cache，可以理解成模型思考到一半的中间结果）。作者先做了个验证实验，发现把 KV-cache 里的语义信息搞丰富点，不用加大缓存，回答质量就能变好，说明这条路走得通。于是他们搞了个叫 C2C 的框架，用一个小神经网络把 A 模型的 KV...

高通与 AWS 宣布多代合作，联合开发数据中心 AI 推理芯片和 1.6Tbps 光互连，但没公布芯片型号和交付时间。Anthropic 安全报告披露，一个俄罗斯自由职业团队用 Claude Code 开发自主攻击无人机软件，做了硬件在环测试，技术就绪度评为 3-4 级，但没有部署证据。25 位菲尔兹奖得主联署声明，批评商业数学评测只看答案分数、忽视方...

三元模型把每个权重存成 -1、0 或 +1，理论上每个权重至少需要约 1.585 比特，实际打包时通常要 1.625 比特。Intel 作者测了 29 个三元大模型，发现零权重占比最高能到 51.5%。他们据此提出 BITCOS，不再用固定打包，而是用一个位图标记哪些位置是零，再单独存非零权重的正负号，这样每权重的存储成本变成 2 减去零权重比例。在 ...

NVIDIA 发了一篇博客，核心观点是 AI 工厂（大规模部署 GPU 做推理/训练的数据中心）应该用“每瓦特产出多少 token”来衡量效率，而不是只盯着 GPU 的浮点算力。文章从数据中心设计、散热到推理调优讲了一整套优化思路，想把 AI 工厂跑成生产线。但正文没有披露具体的效率提升数字，也没有提到新硬件型号。如果你在规划数据中心或买卡，这个衡量思...

IEEE Spectrum 发了一篇综述，说2026年是推理硬件革命年。核心观点：过去两年推理效率提升了10倍以上，靠的是芯片架构创新和内存带宽突破。以前芯片都卷训练，现在专门为推理优化——也就是让模型跑起来、跑得快、跑得便宜。文章没点名具体公司或芯片型号，也没给实测数据，更像一个行业趋势判断。如果是真的，部署成本能降一大截，对做应用落地的人是个好消息。

一个开发者把 DeepSeek V4.1 Flash 的 Q4 量化版塞进了 512GB 内存的 M3 Ultra，通过魔改推理引擎 ds4，把生成速度从每秒 16.6 个 token 提到了 31.3 个，开启模型自带的 DSpark 投机解码后能到 40.5 个。速度提升不是靠改模型，而是把 Metal 图形接口的调度指令大幅合并：原来 384 个...

Reddit 用户 AlexGabbia 给 llama.cpp 提了个 PR（#27000），加入 Maple 20B-A1B 模型架构。总参数量 20B，但每次推理只激活 1B（MoE 的稀疏激活），权重只有三个值：-1、0、1（三值量化），内存和计算量都砍得很低，目标是让普通 CPU 也能跑大模型。正文被 Reddit 屏蔽了，没披露具体性能数字...

Mistral 与 Cloudera 宣布合作，将 Mistral 模型集成进 Cloudera 混合数据平台，企业可在私有云、公有云、本地及完全气隙环境中部署推理并保持完全控制。企业还能在受控环境中用专有数据训练定制模型，数据与模型所有权均归企业，模型基于开放权重。Cloudera 平台上客户管理的数据规模达 30 exabytes。

vLLM 在 AMD MI300X 上测了推测解码（让一个小模型先快速猜一串 token，大模型一次验证，能一次吐出多个 token）。他们试了五种猜法：原生 MTP、Gemma 4 MTP、EAGLE-3、DFlash 和 DSpark，区别在于小模型怎么从大模型拿信息、以及是一次猜一个还是一串猜。结果吞吐提升幅度差别很大，取决于猜法、猜多长、模型类...

有人在 Qwen 35B A4B+ 上试了个 MoE 推理加速方法：每生成一个 token 时多激活几个专家参数，结果推理 token 数少了 8.5%，而且完全不用重新训练或微调。正文没披露具体怎么改的（比如改路由阈值还是硬选专家），也没说输出质量有没有掉。如果是真的，等于白捡一个加速，对部署 MoE 模型的人来说挺实用。

carloslfu 开源了一个叫 Slotstream 的工具，用 MLX 和 Swift 写成。它能让一个 1250 亿参数、4-bit 量化后体积仍有 104GB 的 MoE 模型（Qwen3.8-Flash-Next），在一台只有 48GB 内存的 Mac 上跑起来。原理是不把整个模型塞进内存，而是按需从 SSD 里流式加载专家模块。生成速度大约...

文章把大家常说的“本地 LLM”拆成了两个市场：成本市场买的是 5 到 20 倍的价差，控制市场买的是 25 到 33 年才能回本的确定性。作者用“权重开闭源”和“按时间/按 token 计费”画出四个格子，指出 OpenRouter 上开放权重模型调用量暴增，其实跑的都是远程 API，不等于本地部署赢了。自建硬件回本周期完全取决于你替代的是哪种云端计...

Mistral 与 HUMAIN 宣布战略合作，覆盖 AI 基础设施、先进模型开发与 AI 解决方案部署，初期聚焦网络安全和语音，并计划开发阿拉伯语表现强劲的前沿模型。合作规模达数亿欧元，Mistral 将探索使用 HUMAIN 数据中心基础设施，双方还将在沙特面向受监管行业制定联合市场策略。

Nari Labs 开源了一套 Qwen3-TTS 1.7B 的部署方案，在一张 H100 上做到 10 并发请求时，95% 的用户听到第一个字的时间不超过 50 毫秒，且播放不卡顿。他们对比了 vLLM-Omni、SGLang-Omni 等四个引擎，默认设置下最快的 p95 首音延迟也要 277 毫秒。核心优化有两招：一是动态切掉模型开头几十毫秒的静...

Inco AI 发布了 DFlash 2，在原来一次性并行猜出整段候选词的基础上，加了一个轻量的路径选择器。DFlash 原本是每个位置独立挑最可能的词，但词与词之间可能不连贯，导致验证时整段被砍掉。DFlash 2 的做法是每个位置保留前 16 个候选，然后给相邻词对打分，从中挑出一条最连贯的路径。在 Qwen3.8-27B 上实测，每次验证通过的有...

Mistral 宣布 Mistral Regional Endpoints 正式可用，客户可选择推理在欧洲或美国运行，同时 Mistral Priority Tier 进入公开预览，提供自定义速率限制和带 SLA 的可用性承诺。

Dwarkesh Patel 认为，一旦模型能在部署后持续更新权重，整个 AI 格局就会变。他打了个比方：就像学萨克斯，光靠看前人的笔记永远学不会，模型也不能只靠会话间传小纸条来真正干活。这会直接冲击现在的监管思路——不能再指望上线前做一次安全检查就万事大吉，按月或按季度做风险巡检才更合理。对齐研究也得转向，从盯着冻结的权重，变成防止模型在持续更新中被...

LMSYS 把 SpecForge 的训练流程拆成了两拨独立资源：打补丁的 SGLang 服务器负责从目标模型抓特征，Mooncake 负责传数据，训练节点只管吃特征训练草稿模型。在 8 张 H20 的测试环境里，3 台服务器加 5 个训练节点的吞吐比之前绑在一起的方案高了约 10%。这次更新还一口气支持了 EAGLE3、DFlash、Domino、D...

Baseten 刚融了 130 亿美元，Philip 和 Ali 在这期播客里把推理工程拆开讲透了。他们聊了量化、投机解码、KV 缓存搬运、以及把预填充和解码拆开跑这些技术。一个 GLM-5.2 的实验发现，多量化几层反而让基准测试质量没掉，吞吐还涨了 20%，因为不同层引入的误差会互相抵消。他们还把 Kimi 的视觉编码器直接嫁接给 GLM-5.2，...

这个开源库把 Llama 3 70B 这样的大模型按层拆开，每次只加载一层到显存里算，算完再换下一层，所以一张只有 4GB 显存的普通显卡也能跑推理，不用多卡并联。它支持 Llama、Mistral、ChatGLM 等主流架构，直接兼容 HuggingFace 上的模型。代价是速度会慢不少，但把本地跑大模型的硬件门槛压到了笔记本级别。

OpenAI 把 GPT-5.6 Luna 的价格砍到了每百万 token 输入 0.2 美元、输出 1.2 美元，降幅 80%。Terra 降了 20%，Sol 则多了一个 2.5 倍速模式，价格翻倍但智力不变。最狠的是，Luna 在 AA 基准测试上拿了 51 分，跟今年三月 GPT-5.4 开满推理强度时的分数一样，但 token 成本只有当时的...

Echo 是 TracerML 做的一个实验性系统，它不单独用某一个模型，而是把 GLM-5.2、Kimi K2.7 等几个开源模型放在一个池子里，每次收到请求再决定调用哪几个模型、怎么组合它们的输出。作者先算了一个理论上限：如果每次都能事后挑出最佳模型组合，性能会远超任何单一模型。Echo 想在不提前知道答案的情况下逼近这个上限。在作者自己搭的评测集...

作者把谷歌的 Gemma 4 26B 模型（一种混合专家模型，每次只激活部分参数）塞进了一台 2013 年的惠普存储服务器，双路至强 E5-2690 v2，没显卡，整机成本不到 300 美元。跑起来后生成速度约每秒 5.2 个 token，跟人阅读速度差不多。过程并不顺利：这 CPU 只支持 AVX1 指令集，而推理引擎 ik_llama.cpp 的优...