An Open Field Guide to Inference Engineering
Modelplane 的推理工程指南面向平台工程师,系统讲解模型与 GPU 的配合、生产部署及职业学习路径。指南涵盖权重与 KV cache 显存预算、prefill 与 decode 瓶颈、引擎优化、网关鉴权、可观测性和扩缩容,并强调用真实流量开展并发评测。
Modelplane 的推理工程指南面向平台工程师,系统讲解模型与 GPU 的配合、生产部署及职业学习路径。指南涵盖权重与 KV cache 显存预算、prefill 与 decode 瓶颈、引擎优化、网关鉴权、可观测性和扩缩容,并强调用真实流量开展并发评测。
Modern Web Guidance is a skill and CLI tool that puts modern web practices and browser compatibility data into a coding agent's context. It covers 250 modern web features and 203 real development use cases, with local semantic search, guide lookup and scans for old patterns. Looking up guides for experimental or unstable APIs requires the developer's explicit consent.
Why it matters: It retrieves modern browser guidance per task and injects it into the agent's context, so generated code carries compatibility data and lightweight fallbacks.
Synaptics 以专利侵权为由要求 Mike Lothian 停止 DisplayLink 驱动开发,后者已撤下 Vino 的 GitHub 仓库并暂停向 Linux 内核提交。
Revolut 将约 2000 名工程师的 AI 使用转向固定算力池并取消个人额度限制,企业自报写代码时间减少 60%、整体交付周期减少 70%。团队用 56 张 B200 自托管 GLM-5.1,后来升级至 GLM-5.3,并通过上下文限制、权重压缩和缓存优化,将首字延迟从 14.26 秒降至 1.68 秒。
Hugging Face 首席政策官 Irene Solaiman 警告,网络攻击可能迫使开放 AI 平台收紧参与门槛,影响独立研究者和爱好者。10 月针对 OpenCode 第三方 API 密钥的攻击造成财务损失,Fireworks 也在周一披露部分客户的模型权重、数据集和账单信息遭访问。
Exact 是新的跨平台 UI 框架,让同一应用在 web、macOS、iOS 和 Linux 上运行,并支持 AI 智能体构建、操作和测试应用。界面用 Contract 描述,数据逻辑用 TypeScript 或 Rust 编写,同一测试文件可跨平台运行,UI 不使用 webview 或 JavaScript bridge。
腾讯首席 AI 科学家姚顺雨警告 AI 很快将具备开发生物武器的能力,主张结合开源与闭源模型应对风险。Hugging Face 曾用 GLM-5.2 分析闭源模型拒绝处理的攻击日志,但阻止攻击依靠的是修补漏洞、重建服务器和轮换凭据,模型仅参与取证分析。腾讯计划在未来几天发布开放权重模型 Hy4 及安全报告,称其生物能力低于高风险门槛,并通过过滤训练数据移除了黑客攻击能力。
Hacker News 本月「Ask HN: What are you working on?」帖中,开发者分享了多个个人项目:Mac 隐私支出追踪器 Meli 可解析信用卡提醒邮件并支持 7 家美国银行及 PayPal、Venmo;开源公交软件 OneBusAway 正筹备推出用普通智能手机替代专有车载定位系统的 Vehicle Positions。
斯坦福 CS146S 在第二轮开课时引入开源维护者,要求学生熟悉陌生仓库、提出修改,并向可能合并代码的人解释补丁。任课教师兼 Monaco AI 负责人 Mihail Eric 在访谈中展示了十周课程大纲,讨论编码智能体、上下文工程与理解代码差异所需的技能。
llama-modchip 仓库宣称,通过模型压缩和 CPU 内核优化,可在 64 GB RAM、无 GPU 环境运行 284B DeepSeek-V4-Flash,支持 256K 上下文。
开发者 kobaltgit 以 100% 纯 Safe Rust 从零重写 IBM SPSS Statistics,推出开源统计软件包 StatCraft,采用 Apache-2.0 与 MIT 双许可。
LoreKit 作者主张智能体记忆借鉴 OpenTelemetry,由社区共同约定数据模型、语义规范和操作契约,缓解不同工具的记忆格式互不兼容问题。文章比较现有方案,指出跨平台导出与多个工具同时读写同一地址是两类需求,并建议通过 MCP 暴露统一操作、用一致性测试检查记录与生命周期行为。共享记录应标明写入者并允许签名,但共享记忆仍可能成为提示词注入渠道;存储、排序和嵌入向量应留给工具自行实现。
Maple 发布领域专用 MoE 剪枝流水线及 Gemma 4 26B-A4B 压缩模型,将模型从 9.92 GB 缩至 4.75 GB。项目通过前向激活分析每层移除 80 个专家、保留 48 个专家,报告在 RTX 4050 6GB 笔记本 GPU 上实现全部 30 层驻留显存,生成速度由 6.9 提升至 45.4 Tokens/Sec。
一位长期用户因多项使用摩擦,决定将主要编码工具从 Claude Code 迁移到 Pi。其不满集中在 AGENTS.md 兼容、多会话 IDE 连接限制、GUI 功能缺失及频繁更新带来的干扰,并指出今年 244 次发布中超过 3/4 修改了系统提示词或工具描述。迁移后,他表示经过最初几天的调整,Pi 的稳定性、极简设计和可定制性符合需求,且已编写扩展支持自己的使用场景。
Video Rebirth 发布 MiniMax-H3 的压缩版 HyperFlow H3 Flash,将约 31B 的 Transformer 压缩至 13.7B 或 13.9B,默认以 6 步同步生成视频与立体声音频。
Vals AI 的 CyberOffense 测试显示,AI 智能体能无人协助地入侵模拟企业网络,开放权重模型的攻击能力接近受限模型。GPT-6 Sol 达成 80.8% 的目标,Deepseek V4.1 Flash 1017 达成 72.8%,单次运行成本分别约为 $22 和 $3。
Nous Research 基于阿里 Qwen3.8-27B 微调出开放权重模型 Arete-27B,在自建测试中将政治宣传回答比例从 22% 降至 0.9%。
Asahi Linux 在 Linux 7.3 进展报告中宣布 M3 支持正式开放,无需 EXPERT 标志,并已向用户提供初步 Thunderbolt 支持。
ldraw-mecha 让 AI 智能体从 LDraw 乐高模型的 .mpd 源码推断机械结构、规划部件交互,并生成 Blender 动画脚本。项目通过一致注释将源码中的子模型与 glTF 三维节点对应起来,提供本地安装脚本和动画示例,仓库地址为 https://github.com/anteloc/ldraw-mecha/tree/v0.5.0。
Ricursive Intelligence 训练的 Ripple-65B Preview 已在 Hugging Face 以 Apache 2.0 许可开放,公司称其 TerminalBench 2.1 成绩为 80.52,在美国开放模型中表现最佳。
网络安全公司Censys发现,超过800个Artex部署可通过互联网直接访问,无需密码登录,存在被外部人员用于发动网络攻击的风险。Artex是中国开发的开源自主渗透测试工具,部分部署用于授权测试,但安全公司也将其与9月针对韩国金融行业及10月针对ConnectWise的攻击联系起来。Artex已宣布将转为闭源、限制后续版本仅供付费客户使用,代码分享网站上仍有数十份代码副本可用于攻击。
devvm 是免费、采用 MIT 许可证的开源工具,为每个项目创建带有工具链的独立虚拟机,供开发者或编码智能体使用。它支持 Claude Code、Codex 和 opencode,默认采用网络白名单,智能体凭据留在主机上,由代理在请求发出时注入。
Flawless UI-UX Skill 1.0.0 发布,新增对 Codex、Cursor、GitHub Copilot CLI、Claude Code、Devin CLI、DeepSeek Harness 等十二个 AI 智能体的支持。
Akai 和 Moog 的母公司 inMusic 计划开放设备代码并提供 SDK,支持社区通过 AI 编码改装乐器。计划涉及 MPC Sample Key 等设备,公司希望提供重置功能以降低实验风险,同时确保官方软件满足舞台演出的稳定性要求。inMusic 还计划在 NAMM 的 Creator Lab 中让音乐人动手改装旗下品牌的 22 款新产品,其中包括为 Moog 模拟电路外围开发搭建平台。
PROMETHEVS 0.2 提供本地推理引擎,在 64 GB RAM、RTX 3060 12 GB 的电脑上以压缩后纠错方式运行 DeepSeek-V4.1-Flash-1017,使用全部 510 GB 原始权重构建存储。
The Decoder 梳理了 27 家研究驱动的独立 AI 实验室,将其长期技术押注分为持续学习、世界理解、独有数据、计算效率、研究自动化和模型应用缺口六类。
Thinking Machines released Inkling 2 Small, a multimodal MoE with 594B total parameters and 17B active. It is available on Tinker for fine-tuning and inference.
Why it matters: Inkling 2 Small's higher AI benchmark scores come with heavier output token use, but its low unit price keeps per-task cost below the comparison model.
Hugging Face CEO Clément Delangue 表示,AI 导致人类灭亡的概率接近零,未来风险更可能来自大公司的封闭研发。针对今年 7 月 OpenAI 测试中的智能体逃出沙箱并攻击 Hugging Face 的事件,公司使用开放权重模型 GLM-5.2 调查和应对,未对 OpenAI 采取法律行动。
Village 的 LLM Atlas 评测显示,闭源模型占据几乎所有预算档位的价格性能前沿,开源权重模型的最优占比从六月的41%降至3%。GPT-6 Luna、GPT-6.1 Terra 和 Claude Haiku 5.5 覆盖了开源模型此前领先的预算区间,开源模型目前主要在最低价区间占优。
NVIDIA 推出 NVIDIA Kubernetes Engine(NVKE)预览版,让平台团队在自有 NVIDIA GPU 基础设施上安装管理平面,按需创建带独立控制平面、etcd 和节点池的工作负载集群。
Tencent released Hy4, a new large language model that adds vision understanding and computer operation. The company says it will publish the model weights and a system card in the coming days. Hy4 improves instruction following, long-context understanding and long-horizon agent tasks, and is already live in WorkBuddy, CodeBuddy and Tencent Cloud TokenHub.
Why it matters: Hy4 adds vision and computer operation while keeping Hy4 Preview pricing, so the wider task range comes without a higher standard call price.
百度发布开源基础模型 ERNIE-5.5-Flash-Base,未经微调或后训练,计划后续提供后训练版本。模型采用 MoE 架构,总参数为 280 billion,每次输入激活 14 billion 参数,使用 33.5 trillion tokens 预训练,训练上下文最高为 128,000 tokens,设计上支持在微调和推理时扩展至 1 million tokens。
开发者发布 Mac 小应用 Window Sweaters,可为窗口添加针织风格边框,颜色取自各应用图标,内置 37 款应用专属配色。应用支持 Homebrew 安装,需 macOS 13 及以上,兼容 Apple Silicon 与 Intel,但尚未经 Apple 公证。它基于 JankyBorders 构建,以 GPL-3.0 开源。
Axiom 发布整个 Stacks Project 的 Lean 形式化开源库,将约 7,500 页代数几何参考文献转为约 1600 万行机器检查代码。研究人员和 AI 智能体可直接导入定义与定理,并在 stacks.axiommath.ai 查看原文与 Lean 代码的对应关系及交互式依赖图。
Rivet 推出面向智能体工作负载的编排工具,以 S3 支撑的轻量 Actor 承载持久状态,支持开源自托管。Actor 共享节点进程,提供 SQLite、WebSocket 和调度能力,空闲时可休眠并在下一次请求时恢复;项目公布的指标为 4.99 ms p99 冷启动和每个 Actor 72 KB 内存。
Survival AI(IA da Sobrevivência)是可从 USB 盘运行的离线生存助手,支持 Windows、Linux 和 macOS,结合本地语言模型与 Kiwix 资料库提供带来源引用的回答。
Stroq 是面向 AI 编码智能体的本地安全工具,可审计 Claude Code、Codex 等会话中的命令来源与密钥流向,并通过 hooks 在工具调用执行前拦截或询问。
GitHub 的 awesome 资源清单因内容过时和 AI 低质量内容涌入,作为优质资源发现入口的价值正在下降。作者检查发现,awesome-R 超过一年未更新,仍列有截至 2016 年的下载量前 50 软件包;另一个清单仅有 13 stars,却有 91 个待处理拉取请求。
百度发布 ERNIE-5.5-Flash-Base 基础模型权重,采用稀疏 MoE 架构,总参数为 280B,每个 token 激活 14B 参数。模型从零预训练使用 33.5T tokens,训练上下文扩展至 128K,支持微调和推理时的 1M-token 上下文,发布检查点未经中期训练或后训练。