跳到正文

#部署/工程

今日 11 条

8月3日星期一

Hacker News 首页

AirLLM 让一张 4GB 显卡就能跑 70B 大模型

这个开源库把 Llama 3 70B 这样的大模型按层拆开,每次只加载一层到显存里算,算完再换下一层,所以一张只有 4GB 显存的普通显卡也能跑推理,不用多卡并联。它支持 Llama、Mistral、ChatGLM 等主流架构,直接兼容 HuggingFace 上的模型。代价是速度会慢不少,但把本地跑大模型的硬件门槛压到了笔记本级别。

推荐理由:AirLLM 把 70B 模型按层拆开逐层加载,让 4GB 显存显卡也能跑推理,硬件门槛降到笔记本级别,代价是速度变慢。

7月31日星期五

Latent Space

GPT-5.6 全线降价 20%-80%:四个月前旗舰模型的智力,现在只要十三分之一的价格

OpenAI 把 GPT-5.6 Luna 的价格砍到了每百万 token 输入 0.2 美元、输出 1.2 美元,降幅 80%。Terra 降了 20%,Sol 则多了一个 2.5 倍速模式,价格翻倍但智力不变。

推荐理由:OpenAI 将 GPT-5.6 Luna 的输入输出价格分别降至每百万 token 0.2 美元和 1.2 美元,四个月内同等智力水平的调用成本降到原来的十三分之一。

7月24日星期五

Hacker News 首页

Echo 用开源模型拼出一个系统,号称性能追平 Fable 但成本只要三分之一

Echo 是 TracerML 做的一个实验性系统,它不单独用某一个模型,而是把 GLM-5.2、Kimi K2.7 等几个开源模型放在一个池子里,每次收到请求再决定调用哪几个模型、怎么组合它们的输出。作者先算了一个理论上限:如果每次都能事后挑出最佳模型组合,性能会远超任何单一模型。Echo 想在不提前知道答案的情况下逼近这个上限。

推荐理由:TracerML 把 GLM-5.2、Kimi K2.7 等多个开源模型放进池子,按请求动态决定调用组合,试图在不预知答案的前提下逼近事后选优的性能上限。

7月15日星期三

Hacker News 首页

在 13 年前的老至强 CPU 上跑 Gemma 4 26B 模型,每秒 5 个 token

作者把谷歌的 Gemma 4 26B 模型(一种混合专家模型,每次只激活部分参数)塞进了一台 2013 年的惠普存储服务器,双路至强 E5-2690 v2,没显卡,整机成本不到 300 美元。跑起来后生成速度约每秒 5.2 个 token,跟人阅读速度差不多。

推荐理由:作者在2013年的双路至强服务器上无显卡运行Gemma 4 26B混合专家模型,整机成本不到300美元,生成速度约每秒5.2个token,接近人的阅读速度。

7月14日星期二

Hacker News 首页

MemStitch:一个给 vLLM 用的零拷贝上下文桥接网关,多智能体场景下首 token 延迟最多降 25 倍

DaqulaLin 开源了 MemStitch,一个架在 vLLM 前面的网关。它利用 PagedAttention 直接在显存里拼接不同请求的 KV 缓存,让多智能体协作时不用反复做预填充,首 token 延迟最多能降 25 倍,显存占用也省了 40% 以上。不过正文没披露测试用的模型和 GPU 配置,25 倍这个数字先打个折看,等具体环境信息出来再说。

推荐理由:MemStitch 在 vLLM 显存层直接拼接不同请求的 KV 缓存,省去多智能体协作中的重复预填充,首 token 延迟最多降 25 倍、显存占用省四成以上。

7月9日星期四

Hacker News 首页

Colibrì:一个纯 C 引擎,让 744B 参数的 GLM 5.2 在 32GB 内存、无显卡的笔记本上跑起来

作者用一台 12 核、25GB 可用内存的笔记本,把 GLM 5.2 这个 7440 亿参数的大模型跑通了,没用到显卡。做法是把模型切成两块:注意力层、共享专家等约 170 亿参数的稠密部分,用 int4 量化后常驻内存,占大约 9.9GB。

推荐理由:作者把 GLM 5.2 的稠密部分做 int4 量化后常驻内存,其余路由专家留在硬盘按需加载,在无显卡的笔记本上跑通了这个 7440 亿参数模型。

7月7日星期二

AI HOT 精选

SGLang 接入 DSpark 推测解码:让草稿模型自己决定每次验证几个 token

LMSYS 把 DSpark 推测解码做进了 SGLang 推理引擎。和以前固定验证一整块 token 不同,DSpark 的草稿模型自带一个“信心打分器”,能算出每个 token 被主模型接受的概率,调度器再根据这个分数动态决定每轮实际验证几个 token——分数低的请求就少验几个,省下算力。

推荐理由:LMSYS 将 DSpark 接入 SGLang,按草稿模型的置信度缩短低接受概率请求的验证长度以节省算力。

7月5日星期日

Computing Life · Share · 鸭哥调研

Scaling Law 五年三次修正:从“把模型做大”到“把模型做小”

Scaling law 不是物理定律,是一条靠实验拟合出来的曲线,实验条件一变,结论就跟着变。2020 年 OpenAI 的 Kaplan 论文因为实验设置偏差,得出“优先堆参数”的结论,直接塑造了 GPT-3。

推荐理由:文章从实验设置偏差解释 OpenAI 的 Kaplan 论文为何优先堆参数,交代这一结论塑造 GPT-3 的研究背景。

6月30日星期二

Hacker News 首页

Moondream 用流水线解码挤掉 GPU 空闲气泡,解码吞吐量提升最高 35%

Moondream 的 Photon 推理引擎在 B200 上跑 VLM 能到 33 毫秒左右。瓶颈不在算力,在 GPU 气泡:每生成一个 token,GPU 都得等 CPU 做完记账、采样、调度这些杂活才能开始算下一个。

推荐理由:Moondream 的 Photon 引擎在 B200 上把 VLM 推理压到 33 毫秒左右,并指出瓶颈是每生成一个 token 时 GPU 等待 CPU 记账、采样和调度的空闲气泡。

Hacker News 首页

vLLM 搞了个 Micro-Agent:让多个模型在 API 内部组队干活,效果能超过单个顶尖模型

vLLM 的语义路由器现在不只是把请求分给最合适的模型,它还能让多个模型在背后协作,但对外只暴露一个模型名。用户照常调用 API,路由器会根据任务难度和预算,自动选择是先用便宜模型试试、让几个模型并行出结果再汇总,还是让模型互相审查。核心是把一次 API 调用变成一个受控的微型协作流程,有预算上限、执行拓扑和失败处理策略。

推荐理由:vLLM 把语义路由升级为模型协作引擎,一次 API 调用背后可按任务难度和预算自动选择先试便宜模型、并行汇总或互相审查,并配有失败处理策略。

6月19日星期五

Hacker News 首页

我重启了一台10年前的至强处理器174次,删掉12个启动参数,换来了每秒多跑4个token

作者把之前跑 Gemma 4 模型时用的那串25个启动参数,一个一个关掉做对比测试,看哪些真的有用。结果发现大部分参数都是摆设。真正影响速度的就三样:闪存注意力机制、物理核心线程数,以及按任务类型开关的投机解码。投机解码在写代码时能提速28%,但在总结长文档时反而拖慢54%,所以不能无脑开。

推荐理由:作者逐一关掉25个启动参数做对比测试,发现只有闪存注意力、物理核心数和投机解码影响速度,投机解码写代码提速28%、总结长文档反降54%。

6月14日星期日

r/LocalLLaMA

小米上线 MiMo V2.5,用 DFlash 和 Persistent Kernel 把推理速度拉到每秒 1000–3000 token

小米的 MiMo V2.5 模型已经对外服务,官方宣称推理速度达到每秒 1000 到 3000 个 token,靠的是 DFlash(一种加速注意力计算的机制)和 Persistent Kernel(让 GPU 核心持续干活不空转)。DFlash 的模型权重已经放出来了,开源代码也说很快会发。

推荐理由:小米将 MiMo V2.5 投入对外服务,推理速度达每秒 1000 到 3000 token,DFlash 权重已放出,开源代码承诺随后发布。

6月13日星期六

Hacker News 首页

我能买你的 KV 缓存吗?

现在每个 AI 智能体读同一份文档,都要从头算一遍最耗算力的“预填充”步骤,生成一份完全一样的 KV 缓存。这篇论文提了个很直接的方案:让内容发布方提前把文档的 KV 缓存算好,其他智能体直接花钱加载,跳过预填充。在 Qwen3-4B 上实测,复用缓存比重新预填充便宜 9 到 50 倍,而且输出的 token 完全一致,精度零损失。

推荐理由:论文提出由内容发布方预计算文档 KV 缓存供其他智能体付费加载,跳过预填充;在 Qwen3-4B 上复用缓存比重新预填充便宜 9 到 50 倍,输出 token 完全一致。

6月12日星期五

r/LocalLLaMA

MiniMax 开源 MSA 稀疏注意力:109B 模型处理百万 token 时注意力计算量砍掉 28.4 倍

MiniMax 发了一篇论文,提出一种叫 MSA 的稀疏注意力方法,专门解决超长上下文推理时注意力计算太贵的问题。它的做法是在 GQA(分组查询注意力)基础上加一个轻量的“索引分支”,先给每块 KV 缓存打分,每个查询组只挑分数最高的一小部分块,主分支再对这些挑出来的块做精确注意力计算。

推荐理由:MiniMax 提出 MSA 稀疏注意力方法,在 GQA 基础上用索引分支为 KV 缓存分块打分,只对高分块做精确注意力,论文给出 109B 模型处理百万 token 时注意力计算量减少 28.4 倍。

6月10日星期三

AI HOT 精选

OpenRouter 的 Advisor 工具页面 404 了,正文没披露任何细节

OpenRouter 原本要介绍一个叫 Advisor 的工具,让 GPT-4o Mini 这类便宜模型在生成过程中可以随时去问 Claude Fable 等更强模型。但博客页面直接返回 404,文章不存在。定价、延迟、路由策略这些关键信息全都没公开,目前只能看到标题和摘要里的概念,没法判断实际效果和成本。

推荐理由:OpenRouter 原计划推出 Advisor 工具,让 GPT-4o Mini 这类低成本模型在生成过程中调用 Claude Fable 等强模型,但博客页面返回 404,定价与路由策略均未公开。

r/LocalLLaMA

ICML 论文提出可预测幻觉的“回答-弃权”闸门,并开源 ntkMirror 免训练实现

这篇 ICML 2026 论文给证据型问答任务设计了一个 ISR=1 的闸门:模型在不确定时直接闭嘴不答,而不是硬编。他们同时放出了 ntkMirror,一个免训练的开源实现,能在本地模型上跑。做法是让模型对同一问题看多份不同排序的证据,如果几次回答不一致就弃权。在留出的审计集上,幻觉率压到了 0.0%–0.7%,代价是大约 24% 的问题被主动弃权。

推荐理由:ICML 论文为证据型问答设计弃权闸门,模型在多次证据排序下回答不一致时直接不答,配套开源免训练实现 ntkMirror,审计集上幻觉率降至 0.0%–0.7%,代价是约 24% 的问题被弃权。

6月9日星期二

AI HOT 精选

Google 放出 Gemini 3.5 Live Translate,话没说完就开始翻,支持 70 多种语言

Google 发了 Gemini 3.5 Live Translate,一个实时语音转语音翻译模型。它不等对方把整句话讲完,边听边翻,用流式更新把结果推出来,延迟压到几秒,还能保留原声的语速、音高和语调。

推荐理由:Google 发布 Gemini 3.5 Live Translate,支持 70 多种语言,不等整句讲完就边听边翻,延迟压到几秒并保留原声语速、音高和语调。

AI HOT 精选

Gemma 4 12B 发布:一个模型直接看懂图文和音频,不用外挂编码器

Google DeepMind 开源了 Gemma 4 12B,一个 120 亿参数的多模态模型。它最大的变化是去掉了传统的独立视觉/音频编码器,把所有输入统一交给 Transformer 处理,架构更简单。模型能直接听懂语音,不再需要先转文字。官方说它用 Apache 2.0 协议开源,在 16GB 显存或统一内存的笔记本上就能跑。

推荐理由:Google DeepMind 开源 Gemma 4 12B,去掉独立视觉和音频编码器,统一由 Transformer 处理图文语音,16GB 显存即可运行。

r/LocalLLaMA

苹果在 WWDC 发布了 CoreAI,一个给自家芯片用的端侧推理引擎,用来替代 CoreML

苹果在 WWDC 上公布了 CoreAI,定位是 CoreML 的继任者,专门在苹果芯片上跑模型推理。模型得先用 Python 脚本转一道才能用,目前支持的模型列表主要是 2025 年年中左右的版本。帖子正文没给出任何性能数据,速度、内存占用、功耗这些关键指标一概没提,所以实际跑起来快不快、省不省资源还不好说。

推荐理由:苹果在 WWDC 公布 CoreAI 作为 CoreML 继任者,用于在苹果芯片上跑模型推理,模型需先用 Python 脚本转换,目前支持列表以 2025 年年中版本为主。

AI HOT 精选

中国准备砸 2 万亿人民币,五年内铺全国 AI 算力网

彭博社拿到消息,中国正在筹划一个五年约 2 万亿人民币(折合 2950 亿美元)的 AI 基建计划,核心是建大型数据中心。这笔钱主要用来解决国内 AI 发展的算力缺口,相当于国家出钱铺“算力高速公路”。不过正文没披露钱具体怎么分、由哪些部门牵头、以及建成后算力怎么定价和分配。如果是真的,这个投资规模很猛,但先别太激动,等官方细则出来再看落地节奏。

推荐理由:彭博社报道中国正筹划五年约2万亿人民币的AI基建计划,核心是建大型数据中心以补算力缺口,这笔投资的规模本身构成理解国内算力布局的关键背景。

AI HOT 精选

小米 MiMo 1T 模型跑出每秒超 1000 token,靠混合量化和并行解码把速度提了 10 倍

小米 MiMo 和 TileRT 给 1T 参数旗舰模型加了个 UltraSpeed 模式,输出速度首次超过 1000 tokens/s。模型这边用了 FP4 混合量化,只量化 MoE 的 Expert 部分,搭配 DFlash 的块级 masked 并行推测解码,coding 场景下平均一次能接受 6.30 个 token,相当于猜对的命中率不低。

推荐理由:小米 MiMo 与 TileRT 为 1T 参数模型加入 UltraSpeed 模式,输出突破 1000 tokens/s,其 FP4 只量化 MoE 专家部分并搭配块级并行推测解码,coding 场景单次平均接受 6.30 个 token。

AI HOT 精选

SpaceX 要把 AI 数据中心搬上近地轨道,单颗卫星持续算力约 120 kW,延迟 6-8 毫秒

马斯克公布了 SpaceX 的 AI1 轨道 AI 数据中心卫星方案。每颗卫星峰值功率 150 kW,持续计算功率约 120 kW,大致相当于一个 NVIDIA GB300 机架的算力。卫星跑在 600-800 公里高的近地轨道,通过激光链路互联,带宽约 1 Tbps,往返延迟 6-8 毫秒。散热靠双面散热器,排热能力 1,400 W/m²。

推荐理由:马斯克公布 SpaceX 的 AI1 轨道数据中心卫星方案,单颗持续算力约 120 kW,大致相当于一个 NVIDIA GB300 机架,并给出 6 至 8 毫秒的激光链路往返延迟。

r/LocalLLaMA

单张 MI50 跑 Qwen3.6-27B 速度翻倍:从 19.4 涨到 38.1 token/秒

有个玩家在单张 AMD MI50 上跑 Qwen3.6-27B 模型,用 Q8 或更低精度的量化版本时,发现显卡的算力没吃满。他想到一个取巧的办法:不额外加载一个小模型做投机解码,而是让同一个模型同时跑两路计算,假装自己有两份模型副本。结果生成速度直接从 19.4 token/秒翻到 38.1 token/秒。

推荐理由:有玩家在单张 MI50 上让 Qwen3.6-27B 同时跑两路计算,把生成速度从 19.4 token/秒提到 38.1 token/秒,为量化模型算力未吃满的情况提供了一种不加载小模型的提速思路。

r/LocalLLaMA

Apple 放出 MLX LM Server,让多台 Mac 通过雷电网口搭伙跑大模型

这篇 Reddit 帖子本身被屏蔽了,正文内容看不到,只能从标题和现有摘要拼出大致信息。Apple 的 MLX LM Server 支持连续批处理,能同时处理多个子代理的请求,不会一个一个排队干等。它还支持分布式推理,可以通过 Thunderbolt RDMA 把几台 Mac 连起来一起跑模型,相当于用高速雷电网口把算力拼成一台虚拟大机器。

推荐理由:Apple 的 MLX LM Server 支持连续批处理,并可通过雷电网口把多台 Mac 连起来做分布式推理,为关注本地大模型部署的读者提供一种拼算力的思路。

r/LocalLLaMA

Levi:在你的本地 Qwen 30B 上跑类似 AlphaEvolve 的搜索系统

Levi 是一个开源项目,让你能在本地用 Qwen3-30B-A3B 模型跑一套类似 AlphaEvolve 的搜索系统。作者在 ADRS、IFBench 和 HotpotQA 三个基准上做了测试,声称在单模型、相同预算的条件下,整体成本最多能降到原来的 1/35,评估次数最多能减少到 1/12。

推荐理由:开源项目 Levi 让本地 Qwen3-30B-A3B 跑起 AlphaEvolve 式搜索,作者在三个基准上测得同等预算下成本最多降至 1/35、评估次数减至 1/12。

6月8日星期一

r/LocalLLaMA

小米声称在标准8卡服务器上把1万亿参数模型跑到了每秒1000多个token

小米的MiMo团队发布了MiMo-V2.5-Pro UltraSpeed,说他们在单台8卡的标准服务器上,把一个1万亿参数的混合专家模型(MoE)跑出了每秒超过1000个token的输出速度。这个速度如果属实,确实挺夸张,因为它没用Cerebras那种整块晶圆做的定制芯片,也没用Groq那种靠大量片上内存堆出来的硬件,就是普通GPU服务器。

推荐理由:小米MiMo团队称在单台标准8卡服务器上把1万亿参数MoE模型跑到每秒超1000 token,未依赖Cerebras或Groq的定制硬件,可对照其与专用芯片路线的差异。

Hacker News 首页

小米发布 MiMo-V2.5-Pro-UltraSpeed,万亿参数模型跑到每秒 1000 个 token

小米和 TileRT 合作,把一个 1 万亿参数的大模型在 8 张普通 GPU 上跑到了每秒生成 1000 多个 token。他们用了两招:一是只对 MoE 专家模块做 FP4 量化,把模型体积和显存带宽压力打下来,同时保住推理质量;二是用了一种叫 DFlash 的投机解码方法,一次能猜对更长的 token 串,减少反复验证的等待时间。

推荐理由:小米与 TileRT 合作,用 FP4 量化 MoE 专家模块加 DFlash 投机解码,在 8 张 GPU 上把万亿参数模型生成速度提到每秒 1000 多个 token。

r/LocalLLaMA

Luce Spark:让 35B 的 MoE 模型在 16GB 显存上跑起来,不用忍受传统卸载的速度惩罚

Luce Spark 是一个开源方案,能让 Qwen3.6 35B-A3B 这种规模的混合专家模型在 RTX 3090 上只占 13.3 GiB 显存,跑出约 100 tok/s 的速度。

推荐理由:Luce Spark 让 Qwen3.6 35B-A3B 在 RTX 3090 上只占 13.3 GiB 显存并跑到约 100 tok/s,其做法是把常用专家留在 GPU、其余放内存并异步搬运,与计算重叠。

AI HOT 精选

小米 MiMo 在单台 8 卡服务器上把万亿参数模型跑到每秒 1000+ token

小米和 TileRT_AI 放出了一个叫 MiMo-V2.5-Pro-UltraSpeed 的版本,用一台普通的 8 卡 GPU 节点就跑起了 1 万亿参数的 MoE 模型,输出速度超过每秒 1000 个 token。这个速度不是靠 Cerebras 或 Groq 那种专用硬件堆出来的,对常规部署来说挺省钱。

推荐理由:小米与 TileRT_AI 用单台 8 卡 GPU 节点跑起 1 万亿参数 MoE 模型,输出速度超过每秒 1000 个 token,未依赖专用硬件,为常规推理部署提供了一条低成本路径。

r/LocalLLaMA

RTX 5090 跑 Qwen3.6-27B 实测:DFlash 投机解码加 KV 缓存压缩,速度提到 3.26 倍

作者在单张 RTX 5090 上跑了 Qwen3.6-27B,用 DFlash 做投机解码(让一个小模型先猜答案,大模型再核对,省时间),同时压缩 KV 缓存(把模型记住的上下文瘦身,省显存)。结果最高提速到 3.26 倍。用 q4_0/turbo4 量化时速度是原来的 3.18 倍,WikiText-2 上的困惑度只涨了 0.02%,基本没掉精度。

推荐理由:作者在单张 RTX 5090 上把 DFlash 投机解码与 KV 缓存压缩组合用于 Qwen3.6-27B,最高提速 3.26 倍,q4_0 量化下困惑度仅涨 0.02%。

r/LocalLLaMA

双卡 3090 跑 27B 模型,解码速度几乎翻倍,没插 NVLink 也做到了

一位 Reddit 用户拿 qwen3.6-27b-autoround-int4 模型做测试,对比单张 3090 和两张 3090 的表现。

推荐理由:Reddit 用户用两张 3090 在无 NVLink 的普通 PCIe 下跑 qwen3.6-27b 的 int4 量化版,解码速度相比单卡接近翻倍,为本地推理加卡提供了具体参考。

机器之心 · 公众号

openJiuwen 搞了个叫 MANGO 的多智能体流网络,让一群模型自己学会怎么组队干活

openJiuwen 提出了 MANGO,一个多智能体流网络框架。它把强化学习、文本梯度(用自然语言反馈来调模型)和 Skip-k 机制(跳过不靠谱的中间步骤)揉在一起,让一群模型自己学会怎么组队、怎么分工。

推荐理由:openJiuwen 提出 MANGO 多智能体流网络框架,把强化学习、文本梯度和 Skip-k 机制结合,让多个模型自行学习组队与分工。

机器之心 · 公众号

阿里 RTPurboV2:用几百步训练把注意力计算砍掉九成,原生 Transformer 又硬气了一回

阿里 RTP 团队发了 RTPurboV2,思路很直接:把模型里 85% 的注意力头换成滑动窗口注意力(SWA),剩下 15% 负责长距离检索的头用低秩投影、聚类和动态 top-p 压缩。适配训练只要大概 600 步、约 100 万条标注 token,Prefill 阶段推理加速最高到 9.36 倍。

推荐理由:阿里 RTP 团队把模型 85% 的注意力头换成滑动窗口注意力,适配训练约 600 步、100 万条 token,Prefill 阶段推理加速最高 9.36 倍。

AI HOT 精选

苹果发了第三代基础模型,一共五款,从手机端到云端都有

苹果在 2026 年 6 月 8 日公布了第三代 Apple Foundation Models(AFM),这次是和 Google 合作定制的。五款模型里,两款跑在设备上:AFM 3 Core 是 30 亿参数的密集模型,质量比上一代好。

推荐理由:苹果发布第三代 Apple Foundation Models,与 Google 合作定制,五款模型覆盖设备端和云端,其中设备端 AFM 3 Core 为 30 亿参数密集模型。

AI HOT 精选

英伟达和 SK 海力士签了多年协议,要一起设计下一代 AI 内存芯片

两家公司签了一份多年合作协议,打算从设计阶段就联手搞下一代 AI 用的内存芯片。目前公开的信息里没提具体产品规格、什么时候量产,也没说涉及多少资金。

推荐理由:英伟达与 SK 海力士签署多年协议,从设计阶段就联手开发下一代 AI 内存芯片,双方在 AI 内存供应上的角色让这一合作方向本身具备阅读价值。

6月7日星期日

r/LocalLLaMA

一台笔记本跑通 Qwen3.6 35B-A3B:我的本地模型“从零到一”时刻

一位 Reddit 用户分享了自己在笔记本上跑通 Qwen3.6 35B-A3B 的体验。他的机器是华硕 Zenbook Pro 14,配了 RTX 4060 8GB 显存和 64GB 内存。

推荐理由:一位 Reddit 用户在华硕 Zenbook Pro 14 上跑通 Qwen3.6 35B-A3B,机器配 RTX 4060 8GB 显存和 64GB 内存,为想在同类笔记本上部署大模型的人提供了具体硬件参考。

量子位 · 公众号

京东开源 JoyAI-Echo,5 分钟 AI 长视频不崩,推理速度提了 7.5 倍

京东放出了一个叫 JoyAI-Echo 的开源框架,专门解决 AI 生成 5 分钟长视频时画面容易崩、前后不一致的问题。它用跨模态记忆模块把视频里的角色、场景信息存下来,保证长镜头里不会突然变脸或换衣服。训练上用了 DMD 后训练技术,推理速度比原来快了大概 7.5 倍,生成一段视频的成本和时间都压下来了。

推荐理由:京东开源 JoyAI-Echo 框架,用跨模态记忆模块解决 5 分钟长视频角色与场景前后不一致的问题,推理速度提升约 7.5 倍。

AI HOT 精选

AI 公司开始集体换用更便宜的模型,成本能砍掉九成

Tomasz Tunguz 观察到,基础模型公司往上抢应用层生意、最聪明的闭源模型越来越贵、开源模型又已经够用,这三件事逼着 AI 买家开始大规模“换芯”。Coinbase 把简单任务分流到便宜模型,用量指数级涨但成本没变;Lindy 把所有流量从 Anthropic 切到 DeepSeek v4,省了几百万美元,核心场景效果反而更好。

推荐理由:基础模型公司上探应用层、闭源模型涨价、开源模型够用,三股力量推动 Coinbase 和 Lindy 等公司把任务分流或整体切换到更便宜的模型,成本大幅下降。

6月6日星期六

AI HOT 精选

OpenCV 5 发布,换了一套能跑大模型的神经网络引擎

OpenCV 5 最大的变化是换了一套全新的 DNN 引擎,从原来的逐层执行改成基于计算图的架构,能做算子融合,跑 Transformer、视觉语言模型和大语言模型都成了原生能力。ONNX 算子的覆盖率从 4.x 时期不到 23% 一下子拉到 80% 以上,以前很多导不进来的模型现在能直接用了。

推荐理由:OpenCV 5 将 DNN 引擎改为计算图架构并支持算子融合,ONNX 算子覆盖率从 4.x 的不到 23% 提升到 80% 以上,原先导不进来的模型现在可直接使用。

r/LocalLLaMA

Domino:把推测解码里的因果建模和自回归起草拆开,Qwen3 吞吐最高提 5.8 倍

这篇论文提出 Domino,把推测解码(让一个小模型先快速起草、大模型再校验)里的两个步骤拆得更干净:因果建模和自回归起草不再绑在一起跑。在 Qwen3 上测出了最高 5.8 倍的吞吐提升。

推荐理由:这篇论文提出 Domino,把推测解码中的因果建模与自回归起草拆开,在 Qwen3 上测出最高 5.8 倍吞吐提升,为推理优化提供了一种可迁移的拆分思路。