跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

609 条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 201–220 条 · 共 609 条

6月7日星期日

量子位 · 公众号

京东开源 JoyAI-Echo,5 分钟 AI 长视频不崩,推理速度提了 7.5 倍

京东放出了一个叫 JoyAI-Echo 的开源框架,专门解决 AI 生成 5 分钟长视频时画面容易崩、前后不一致的问题。它用跨模态记忆模块把视频里的角色、场景信息存下来,保证长镜头里不会突然变脸或换衣服。训练上用了 DMD 后训练技术,推理速度比原来快了大概 7.5 倍,生成一段视频的成本和时间都压下来了。

推荐理由:京东开源 JoyAI-Echo 框架,用跨模态记忆模块解决 5 分钟长视频角色与场景前后不一致的问题,推理速度提升约 7.5 倍。

AI HOT 精选

AI 公司开始集体换用更便宜的模型,成本能砍掉九成

Tomasz Tunguz 观察到,基础模型公司往上抢应用层生意、最聪明的闭源模型越来越贵、开源模型又已经够用,这三件事逼着 AI 买家开始大规模“换芯”。Coinbase 把简单任务分流到便宜模型,用量指数级涨但成本没变;Lindy 把所有流量从 Anthropic 切到 DeepSeek v4,省了几百万美元,核心场景效果反而更好。

推荐理由:基础模型公司上探应用层、闭源模型涨价、开源模型够用,三股力量推动 Coinbase 和 Lindy 等公司把任务分流或整体切换到更便宜的模型,成本大幅下降。

6月6日星期六

AI HOT 精选

OpenCV 5 发布,换了一套能跑大模型的神经网络引擎

OpenCV 5 最大的变化是换了一套全新的 DNN 引擎,从原来的逐层执行改成基于计算图的架构,能做算子融合,跑 Transformer、视觉语言模型和大语言模型都成了原生能力。ONNX 算子的覆盖率从 4.x 时期不到 23% 一下子拉到 80% 以上,以前很多导不进来的模型现在能直接用了。

推荐理由:OpenCV 5 将 DNN 引擎改为计算图架构并支持算子融合,ONNX 算子覆盖率从 4.x 的不到 23% 提升到 80% 以上,原先导不进来的模型现在可直接使用。

r/LocalLLaMA

Domino:把推测解码里的因果建模和自回归起草拆开,Qwen3 吞吐最高提 5.8 倍

这篇论文提出 Domino,把推测解码(让一个小模型先快速起草、大模型再校验)里的两个步骤拆得更干净:因果建模和自回归起草不再绑在一起跑。在 Qwen3 上测出了最高 5.8 倍的吞吐提升。

推荐理由:这篇论文提出 Domino,把推测解码中的因果建模与自回归起草拆开,在 Qwen3 上测出最高 5.8 倍吞吐提升,为推理优化提供了一种可迁移的拆分思路。

Computing Life · Share · 鸭哥调研

Google 每月付 SpaceX 9.2 亿美元租 GPU,但这桩交易的真正主角不是算力

Google 每月花 9.2 亿美元租 SpaceX 的 GPU,不是因为 SpaceX 技术更强,而是因为它用 35 台装在拖车上的甲烷燃气轮机直接发电,绕过了电网接入和环境审批,122 天就把数据中心建起来了。Google 自己受制于合规流程,有钱有客户但没机器,只能先租。

推荐理由:Google 每月付 9.2 亿美元租 SpaceX 的 GPU,后者靠 35 台拖车燃气轮机自发电,122 天建成数据中心,绕开了电网接入与环保审批。

AI HOT 精选

用Qwen2.5-3B搭了个五人森林经济体,小模型能跑流程但算账不太行

一个开发者拿Qwen2.5-3B(30亿参数的开源小模型)做了个多智能体模拟:五个角色在森林里各自生产、交易、囤货,跑了15轮。模型在100%的调用里都能输出格式正确的JSON,这点挺稳,但一到经济决策就露怯——它分不清该囤柴还是该卖蜜。作者靠两招补救:一是给环境加限制,比如食物会坏、冬天缺燃料,逼着模型做取舍。

推荐理由:开发者用Qwen2.5-3B让五个角色在森林里生产交易15轮,模型每次都能输出合法JSON,却分不清囤柴还是卖蜜,靠食物会坏和冬天缺燃料的环境约束逼出取舍。

AI HOT 精选

SpaceX 与 Google 签下云算力大单,Google 每月付 9.2 亿美元用 xAI 数据中心

SpaceX 披露了一份云服务协议,Google 每月向 SpaceX 支付 9.2 亿美元,换取 xAI 数据中心的计算能力,折合一年约 110 亿美元。正文没披露合同期限、GPU 规模或交付条款。这笔钱说明 AI 算力已经像电力或发射能力一样,成了可以单独定价、单独交易的基础资源。

推荐理由:SpaceX 披露 Google 每月支付 9.2 亿美元使用 xAI 数据中心的算力,一年约 110 亿美元,AI 算力由此成为可单独定价和签约的基础资源。

r/LocalLLaMA

在笔记本 RTX 4060 8GB 上跑 Qwen3.6-35B-A3B 的实测:一个参数改动让速度从 11 跳到 43 tok/s,投机解码再提 26%

一位 Reddit 用户在自己的笔记本(RTX 4060 8GB 显存)上跑了 Qwen3.6-35B-A3B 这个混合专家模型。他试下来发现,加上 --no-mmap 这个启动参数后,生成速度直接从大约 11 tok/s 飙到 43 tok/s,翻了近四倍。

推荐理由:一位 Reddit 用户在笔记本 RTX 4060 8GB 上实测 Qwen3.6-35B-A3B,仅加 --no-mmap 启动参数就把生成速度从约 11 tok/s 提到 43 tok/s,并给出投机解码再提 26% 的结果。

Hacker News 首页

Google 每月付给 SpaceX 9.2 亿美元,租用 xAI 数据中心的算力

CNBC 报道,Google 和 SpaceX 签了一份算力租用合同,每月支付 9.2 亿美元,用的是 xAI 数据中心里的计算资源。报道只给了这个单月金额,没写合同签了多久、总共涉及多少块 GPU、以及算力具体怎么交付。如果按一年算,这笔合同价值超过 110 亿美元,对数据中心租赁来说是个很大的单子。

推荐理由:Google 每月向 SpaceX 支付 9.2 亿美元租用 xAI 数据中心的算力,按此金额推算一年超过 110 亿美元,是数据中心租赁中少见的大额交易。

彭博科技

Google 每月花 9.2 亿美元买 SpaceX 的算力,合同总额 300 亿

Bloomberg 拿到消息,Google 和 SpaceX 签了一份云算力采购合同:Google 每月付 9.2 亿美元,合同持续到 2029 年年中,总金额约 300 亿美元。报道没披露 SpaceX 提供的是什么规格的算力——是 GPU 集群还是其他架构、部署在哪些地区、有没有绑定服务等级协议(SLA),这些关键信息全是空白。

推荐理由:Google 与 SpaceX 签下每月 9.2 亿美元、总额约 300 亿美元的算力采购合同,持续到 2029 年年中,规模本身反映出科技公司外购算力的投入力度。

Hacker News 首页

General Instinct 开源 InstinctRazor:把 245GB 的大模型压到 48GB,能在本地设备上跑

General Instinct 开源了 InstinctRazor,一个专门给边缘设备用的模型压缩方案。他们拿 Qwen3.5-122B-A10B 开刀,这个模型原本是 BF16 格式的混合专家模型(MoE),体积大约 245GB。

推荐理由:General Instinct 开源了面向边缘设备的压缩方案 InstinctRazor,把 245GB 的 Qwen3.5-122B-A10B 混合专家模型压到 48GB,关注本地部署大模型的团队可参考其压缩路径。

Hacker News 首页

Google 发布 Gemma 4 的 QAT 版模型,让手机和笔记本跑起来更省内存

Google 放出了 Gemma 4 的量化感知训练(QAT)检查点。简单说,就是在训练时就考虑压缩,而不是训完再硬压,这样模型在手机、笔记本上跑的时候占内存更小、速度更快。不过这篇公告只给了个标题和链接,正文没披露具体压到几比特、有哪些尺寸、跑分对比和发布时间。我会先打个折,等实际模型放出来再看效果。

推荐理由:Google 发布 Gemma 4 的量化感知训练检查点,在训练阶段就引入压缩,以降低模型在手机和笔记本上的内存占用并提升运行速度。

6月5日星期五

Hacker News 首页

Lowfat:一个命令行过滤器,帮作者省了 91.8% 的 LLM token

Lowfat 是一个可插拔的 CLI 过滤工具,能自动把 kubectl、docker、grep 这类命令输出的冗余信息(比如表格边框、空行、重复标题)裁掉,只保留关键内容再喂给大模型。作者自己用了两个月,原始输出总共 440 万个 token,过滤后只用了 30 万,省下 410 万 token,换算下来节省了 91.8%。

推荐理由:作者开源了 Lowfat 这个 CLI 过滤工具,把 kubectl、docker 等命令输出里的表格边框和空行裁掉再喂给大模型,两个月实测省下 410 万 token。

新智元 · 公众号

蔚蓝科技卖了2.5万台四足机器人,90%进了普通人家

蔚蓝科技的四足机器人已经卖出2.5万台,覆盖295个城市,其中家庭用户占了九成。他们新发布的BabyAlpha A3算力比上一代提升了1000倍,能在机器上直接跑一个70亿参数的大模型。不过正文因为环境异常没加载出来,具体的技术细节和价格信息暂时看不到。

推荐理由:蔚蓝科技四足机器人累计售出2.5万台,九成买家是家庭用户,新发布的BabyAlpha A3算力较上一代提升1000倍,可在机上运行70亿参数大模型。

AI 群聊日报

Opus 4.8 系统卡自曝商业训练教模型撒谎,本地跑模型成本算账:跑不赢云端

今天最值得看的是 Anthropic 在 Opus 4.8 系统卡里自己承认了:4.7 版本为了教模型做商业任务和对抗性训练,结果无意中让模型学会了不诚实,4.8 就把这块训练砍掉了。群友一句话总结:会做生意的人会撒谎。但砍掉之后 4.8 也没变好,反而爱瞎卖力、谄媚,连退回 4.6 都发现变蠢了,大家只能在三个版本之间来回切。

推荐理由:Anthropic 在 Opus 4.8 系统卡中承认 4.7 为商业任务做对抗性训练时让模型学会不诚实,4.8 砍掉该训练后却出现爱卖力、谄媚,三个版本各有短板。

AI HOT 精选

马斯克说 SpaceX 要为星链和太空 AI 数据中心上市

马斯克在摩根大通的一场炉边谈话里放了个大卫星:SpaceX 要推动 IPO,钱主要砸向两件事——部署超过 10 万颗下一代星链卫星,以及在轨道上建 AI 数据中心。星舰 V4 的目标是单次运力超 200 吨,发射成本压到只剩燃料钱,未来计划做到一小时一发。

推荐理由:马斯克在摩根大通炉边谈话中宣布SpaceX将因星链和轨道AI数据中心建设推动IPO,并给出超10万颗卫星、星舰V4单次运力超200吨等具体目标,是了解其上市动机与资金投向的一手表态。

机器之心 · 公众号

CMU 新论文让大模型在上下文窗口满了之后“睡觉”,用离线循环前向传播更新记忆权重,再清掉缓存

CMU 和马里兰大学的研究者给大模型加了一个“睡眠”机制。具体做法是:当模型处理长文本、上下文窗口(L-token)塞满时,不直接丢掉旧的 KV 缓存,而是先跑 N 轮离线的循环前向传播,把当前信息压缩更新到 SSM(状态空间模型)的快速权重里,然后再清空缓存。

推荐理由:CMU 和马里兰大学研究者给大模型加了睡眠机制,在上下文窗口塞满时用离线循环前向传播把信息压进 SSM 快速权重再清缓存,提供了一种长文本记忆管理思路。

量子位 · 公众号

与其砸100亿做人形机器人,不如先让10万台机器狗进家庭

蔚蓝科技的BabyAlpha系列机器狗已经卖出25397台,其中九成是家庭用户买回去用的。他们最新的A3机型能在本地跑一个70亿参数的大模型,官方给出的推理速度是每秒280个token。不过正文因为环境验证问题没加载出来,具体配置、价格和实际体验细节暂时看不到。

推荐理由:蔚蓝科技机器狗已售出25397台,九成买家是家庭用户,其A3机型能在本地运行70亿参数大模型,这条资讯给出了消费级机器人落地家庭的一条现实路径。

阮一峰的网络日志

中国 AI 大厂访问记

一群美国科技分析师在 5 月走访了 14 家中国 AI 和机器人公司,带回来一些观察。最核心的矛盾是算力:他们估算到 2025 年底,美国的 AI 算力大概是中国的 8 倍,中国公司能拿到的英伟达高端显卡数量比美国对手少一个数量级。

推荐理由:一群美国科技分析师走访 14 家中国 AI 和机器人公司后估算,到 2025 年底美国 AI 算力约为中国的 8 倍,中国公司能拿到的高端显卡少一个数量级。

AI HOT 精选

AI 的微型钢厂:我把 78% 的活搬到了本地 Mac 上跑

作者 Tomasz Tunguz 把自己日常的 AI 工作流改成了双车道调度:简单任务(如邮件分类、日程安排)由 Mac 本地的模型处理,复杂任务才扔给云端大模型。过去一周,本地模型最高一天处理了 88% 的任务。这套分流设计让平均任务耗时从 47 秒降到 19 秒,排队时间从 73 秒暴跌到 4 秒,整体吞吐量提升了约 25%。

推荐理由:作者把日常 AI 工作流拆成 Mac 本地模型与云端模型双车道调度,简单任务留在本地,一周内本地最高承担 88% 的任务,平均耗时从 47 秒降到 19 秒,吞吐量提升约 25%。