跳到正文

#Hugging Face

今日 3 条

6月9日星期二

AI HOT 精选

一个编程 Agent 串起两个 HuggingFace Space,自动生成了一个巴黎地标 3D 画廊

作者让一个编程 agent 自己动手,把 ideogram-ai/ideogram4 和 VAST-AI/TripoSplat 这两个 Space 串了起来。

推荐理由:作者用一个编程 agent 把 ideogram4 与 TripoSplat 两个 HuggingFace Space 串成链路,跑通从文字到 3D 场景的自动生成,为 agent 编排多工具流程提供了一份可迁移的做法。

AI HOT 精选

把 GitHub 的自动测试搬到 Hugging Face Jobs 上跑,Trackio 项目 CPU 任务快了约 30%

Hugging Face 发了篇博客,手把手教你怎么用 huggingface/jobs-actions 把 GitHub Actions 的 CI 流程搬到他们的 Jobs 服务上执行。核心思路是让 GitHub 把任务派给一个在 HF Jobs 里临时启动的“自托管运行器”,跑完就销毁。

推荐理由:Hugging Face 博客给出把 GitHub Actions 的 CI 任务迁到 HF Jobs 上执行的具体做法,用临时自托管运行器跑完即销毁,Trackio 项目的 CPU 任务快了约 30%。

6月8日星期一

r/LocalLLaMA

OpenEnv 改由多家公司共同管理,包括 Hugging Face、PyTorch、Prime Intellect 等

OpenEnv 这个用来给 AI 智能体创建终端、浏览器等执行环境的工具,现在不再由单一团队控制,而是转交给一个委员会来协调。初始成员有 9 家,包括 Meta 的 PyTorch、Unsloth、Modal、Prime Intellect、Nvidia 和 Mercor。

推荐理由:OpenEnv 从单一团队控制转为由 PyTorch、Unsloth、Modal 等 9 家机构组成的委员会协调,做智能体训练的人可以据此判断执行环境的治理归属。

AI HOT 精选

Hugging Face 把 OpenEnv 交给社区委员会管了,Meta-PyTorch、Unsloth 等都在里面

OpenEnv 是一个给 AI 智能体用的训练环境,比如模拟终端、浏览器,让模型在里面干活并学习。Hugging Face 宣布这个项目不再自己说了算,改由一个委员会来协调,首批成员包括 Meta-PyTorch、Reflection、Unsloth、Modal、Prime Intellect、Nvidia 等。

推荐理由:Hugging Face 将 OpenEnv 智能体训练环境的协调权交给社区委员会,首批成员包括 Meta-PyTorch、Unsloth、Nvidia 等,项目治理从单一公司主导转为多方参与。

6月7日星期日

AI HOT 精选

五个实验室,五个心智:用小模型搭了个会内幕交易的金融宫斗剧

这个项目用四家不同实验室的小模型(OpenAI 的 gpt-oss-20b、OpenBMB 的 MiniCPM3-4B、NVIDIA 的 Nemotron-Mini-4B 和一个自己微调的 0.5B Qwen)分别扮演市场里的不同角色,玩家则充当幕后金主,可以放贷、散布真假内幕消息、做空和贿赂。

推荐理由:四个实验室的小模型分别扮演市场角色,玩家作为幕后金主放贷、散布真假内幕消息、做空和贿赂,多模型差异被用来制造博弈感。

r/LocalLLaMA

Cohere 把还没发布的编程模型 BLS-Mini-Code-1.0 先丢给 LocalLLaMA 社区测试了

Cohere 的员工 Nick Frosst 在 Reddit 上给 LocalLLaMA 社区开了个后门,提前放出还没正式发布的编程模型 BLS-Mini-Code-1.0,权重已经挂在 Hugging Face 上了。这个模型总参数量 30B,但每次推理只激活 3B 参数,属于稀疏模型,跑起来对硬件要求会低一些。

推荐理由:Cohere 员工在 Reddit 提前放出未发布的编程模型 BLS-Mini-Code-1.0,权重已挂上 Hugging Face,30B 总参数每次只激活 3B,本地部署的硬件门槛随之降低。

6月4日星期四

r/LocalLLaMA

英伟达放出 Nemotron-3-Ultra 超大 MoE 模型,550B 总参数但只激活 55B,最低要 8 张 H200 才能跑

英伟达在 Hugging Face 上发布了 Nemotron-3-Ultra-550B-A55B-BF16,一个混合专家(MoE)模型。总参数量 550B,但每次推理只激活其中 55B 参数,相当于用 55B 模型的算力去撬动大得多的知识容量。上下文窗口拉到 1M token,能一口气处理很长的文档。

推荐理由:英伟达发布 Nemotron-3-Ultra,550B 总参数每次只激活 55B,上下文窗口达 1M token,最低需 8 张 H200 才能运行。

AI HOT 精选

Hugging Face 改造命令行工具,让 Claude Code 这类编码智能体调用时省下 6 倍 token

Hugging Face 把自家的 hf 命令行工具重新设计了一遍,让它能同时服务人类和编码智能体。工具会通过环境变量自动识别是不是 Claude Code、Codex 等智能体在调用,如果是,就输出紧凑、不截断的 TSV 格式,而不是给人看的表格。

推荐理由:Hugging Face 重新设计了 hf 命令行工具,通过环境变量识别 Claude Code 等编码智能体调用,自动切换为紧凑不截断的 TSV 输出,官方称可省下 6 倍 token。

6月3日星期三

r/LocalLLaMA

谷歌放出 Gemma 4 系列,12B 模型能看图文、听音频,上下文窗口拉到 256K

谷歌 DeepMind 把 Gemma 4 系列的开源权重挂上了 Hugging Face,一共五个尺寸。其中 12B 这个版本支持文本、图片和音频三种输入,同时放出了指令微调版和预训练版。它原生支持系统提示词和函数调用,上下文窗口最长能到 256K token,意味着一次可以塞进很长的文档或对话记录。

推荐理由:谷歌 DeepMind 在 Hugging Face 放出 Gemma 4 系列五个尺寸的开源权重,其中 12B 版本同时支持文本、图片和音频输入,上下文窗口最长 256K token。

NVIDIA 博客

NVIDIA 在 CVPR 发了三篇物理 AI 论文:抓取、自动驾驶和游戏里练出来的智能体

这三篇论文都进了 CVPR。GraspGen-X 用 20 亿次模拟抓取训练,让机械手能处理没见过的物体,但正文没披露真实世界的抓取成功率。LCDrive 把自动驾驶的推理 token 砍了大约一半,靠的是让模型直接输出轨迹而不是先写文字再转成动作,延迟更低,不过没提极端场景下的安全性验证。

推荐理由:NVIDIA 在 CVPR 发布三篇论文,其中 LCDrive 让自动驾驶模型直接输出轨迹,把推理 token 减少约一半以降低延迟。

量子位 · 公众号

Papers with Code 复活了,Hugging Face 用 AI 代理把论文和排行榜重新串了起来

Hugging Face 的开源团队在 2026 年 5 月上线了 paperswithcode.co,用 AI 代理自动解析论文,把原来平台超过 9300 个基准测试的 SOTA 排行榜恢复了出来。这次复活正好赶上 CVPR,首页直接整理了会议论文和对应代码。正文没披露解析准确率和代理的具体工作流,但能看出他们想用自动化方式解决原平台长期停更的问题。

推荐理由:Hugging Face 开源团队上线 paperswithcode.co,用 AI 代理自动解析论文,恢复了原平台 9300 多个基准测试的 SOTA 排行榜,并整理出 CVPR 论文与对应代码。

6月2日星期二

AI HOT 精选

Holo3.1 发布:一套能在本地快速跑起来的电脑/手机操作模型

H公司把他们的电脑操作模型升级到了 Holo3.1,这次主打的是“哪里都能跑”。模型基于 Qwen 系列,一口气放出 0.8B、4B、9B 和 35B-A3B 四个尺寸,并且首次提供了 FP8、Q4 GGUF 和 NVFP4 这些压缩版本,方便直接在个人设备上做本地推理。

推荐理由:H公司发布 Holo3.1 电脑操作模型,基于 Qwen 系列提供 0.8B 到 35B 四个尺寸,并配套 FP8、Q4 GGUF 和 NVFP4 压缩版本,方便在个人设备上本地推理。

r/LocalLLaMA

NVIDIA 在 Hugging Face 上放出 Cosmos 3 世界模型,能同时吃文字、图片、视频并生成视频、音频和动作指令

NVIDIA 把 Cosmos 3 系列模型挂上了 Hugging Face,这次发了两个尺寸:Nano 版 160 亿参数,Super 版 640 亿参数。它是个全模态世界模型,输入可以混着来——文字、图片、视频甚至动作轨迹都行,输出也不止视频,还能直接吐图片、音频和下一步的动作指令。

推荐理由:NVIDIA 将 Cosmos 3 世界模型开源到 Hugging Face,提供 160 亿和 640 亿参数两个版本,输入可混合文字、图片、视频与动作轨迹,输出覆盖视频、图片、音频和动作指令。

6月1日星期一

AI HOT 精选

JetBrains 发布 Mellum2:一个 12B 参数的混合专家模型,每次推理只激活 2.5B 参数

JetBrains 在 Hugging Face 上开源了 Mellum2,一个从零开始训练的混合专家模型。它总共有 120 亿参数,但每次计算只激活其中的 25 亿,这让它跑起来比同尺寸模型快了一倍多,适合对延迟和吞吐量要求高的场景。

推荐理由:JetBrains 开源了 120 亿参数的混合专家模型 Mellum2,每次推理只激活 25 亿参数,运行速度比同尺寸模型快一倍多,适合关注推理延迟与吞吐的场景。

5月31日星期日

r/LocalLLaMA

用 44 小时 RTX 5090 给 Gemma 4 E2B 做了 13 个“去限制”变体,有害指令成功率从 32% 飙到 82% 以上

这篇帖子来自 Reddit 的 r/LocalLLaMA,作者 Abliterlitics 用 44 小时的 RTX 5090 算力,对 Gemma 4 E2B 模型做了 13 种不同强度的“去限制”(abliteration)处理。简单说,就是通过修改模型内部参数,削弱它对敏感问题的拒绝回答倾向。

推荐理由:作者用 44 小时 RTX 5090 算力对 Gemma 4 E2B 做了 13 种强度的去限制处理,并列出各变体的基准分与有害指令通过率,从 32% 升至 82% 以上。

5月29日星期五

r/LocalLLaMA

Liquid AI 发布 LFM2.5-8B-A1B,一个 80 亿参数、支持 12.8 万 token 上下文的模型

Liquid AI 放出了新模型 LFM2.5-8B-A1B。它用 380 亿个 token 做预训练,之后又做了大规模强化学习,上下文窗口能塞进 12.8 万个 token。词汇表翻了一倍,对非拉丁语系的 token 切分更友好。模型已经挂在 Hugging Face 上。

推荐理由:Liquid AI 发布 LFM2.5-8B-A1B,80 亿参数配 12.8 万 token 上下文,词汇表翻倍后对非拉丁语系切分更友好,模型已上架 Hugging Face。

5月28日星期四

r/LocalLLaMA

英伟达 LocateAnything:用并行框解码做视觉定位,号称比 Qwen3-VL 快 10 倍

英伟达放出了一个叫 LocateAnything-3B 的模型,专门做视觉语言定位——就是给张图、说句话,模型把对应物体用框标出来。它主打“并行框解码”,不像传统方法一个个框串行生成,所以速度上来了,标题直接写比 Qwen3-VL 快 10 倍。

推荐理由:英伟达开源 3B 视觉定位模型 LocateAnything,用并行框解码替代逐框串行生成,官方称速度比 Qwen3-VL 快 10 倍。

机器之心 · 公众号

国产预训练具身大模型 Wall-OSS-0.5 开源,宣称跳过微调也能直接干活

X Square Robot 开源了一个叫 Wall-OSS-0.5 的视觉-语言-动作模型,主打“预训练完就能用”。他们放出了 40 万步的预训练 checkpoint,在 17 个真实机器人零样本任务里,有 4 个成功率超过 80%。这次开源的东西挺全:权重、代码、训练配方、消融实验,还有一个叫 DMuon 的优化器实现。

推荐理由:X Square Robot 开源视觉-语言-动作模型 Wall-OSS-0.5,放出 40 万步预训练 checkpoint,在 17 个真机零样本任务中 4 个成功率超 80%,并附权重、代码与训练配方。

r/LocalLLaMA

有人整理了一份1030亿token的Usenet语料,覆盖1980到2013年,全是真人发言、没有AI污染

一个叫OwnerByDane的用户放出了一套从Usenet新闻组扒下来的语料,总规模1031亿token,包含4.08亿条帖子,横跨18347个新闻组,时间从1980年一直拉到2013年。这套数据最大的卖点是“前互联网时代、纯人类产出、零AI生成内容”,对想避开模型训练数据被AI输出污染的开发者来说,算是个稀缺资源。

推荐理由:这套语料含1031亿token、4.08亿条帖子,时间跨度从1980年到2013年,全部来自Usenet真人发言,为需要避开AI生成内容的研究者提供了前互联网时代的原始文本。

5月27日星期三

r/LocalLLaMA

8 个开源模型在 MMO 里挂了 10 天机,放出了 9.3 万条事件日志

Firespawn Studios 在《Null Epoch》第 0 赛季里放了 25 个 AI 智能体,分别跑在 8 个开源模型上,连续运行了 10 天。他们公开了大约 9.3 万条记录的事件数据集,其中约 70% 的动作都附带了模型当时的推理或决策理由。

推荐理由:Firespawn Studios 让 25 个 AI 智能体在《Null Epoch》里连续运行 10 天,公开约 9.3 万条事件记录,其中约七成动作附带模型当时的推理理由。

AI HOT 精选

Reachy Mini 机器人现在能完全在本地跑语音对话了

Hugging Face 给 Reachy Mini 机器人配了一套纯本地运行的语音对话方案,数据不用上传云端。他们用 speech-to-speech 库搭了一条流水线:先靠 Silero VAD 检测有没有人在说话,再用 Parakeet-TDT 把语音转成文字,接着交给大模型想怎么回,最后让 Qwen3-TTS 把文字念出来。

推荐理由:Hugging Face 为 Reachy Mini 搭了一条全本地语音对话流水线,从 Silero VAD、Parakeet-TDT 到 Qwen3-TTS 逐环节可查,为想在边缘设备上复现同类方案的人提供了完整技术路径。

AI HOT 精选

TRL 新增增量权重同步:只传模型变化的部分,每步传输量从 1.2GB 降到 20-35MB

异步强化学习训练有个很现实的问题:每一步训练器都得把整个模型发给推理引擎。一个 7B 模型用 bf16 格式就要传 14GB,换成万亿参数模型更是要传 TB 级别的数据。Hugging Face 团队发现,在两次优化步骤之间,大约 99% 的 bf16 权重其实完全没变,真正变动的部分很小。

推荐理由:Hugging Face 在 TRL 中实现增量权重同步,只传两次优化间变动的权重,Qwen3-0.6B 单步载荷从 1.2GB 降至 20 至 35MB,为分布式训练的通信开销提供了一种压缩思路。

r/LocalLLaMA

PrismML 放出二值/三值 Bonsai Image 4B:1-bit 文生图扩散模型,浏览器里就能跑

PrismML 发布了 Bonsai Image 4B 的二值和三值版本,把文生图扩散 Transformer 的权重压到 1-bit 或三值,模型体积约 3GB。作为对比,FLUX.2 Klein 4B 大概要 16GB。Reddit 帖子里给了浏览器端 WebGPU 本地运行的 demo 链接,模型用 Apache-2.0 协议开源。

推荐理由:PrismML 将 Bonsai Image 4B 的文生图扩散 Transformer 权重压到 1-bit 或三值,模型约 3GB,而 FLUX.2 Klein 4B 约 16GB,并支持在浏览器 WebGPU 本地运行。

5月25日星期一

AI HOT 精选

Hugging Face 发了一篇术语辨析,把智能体的模型、脚手架和线束三层结构讲清楚了

这篇博客把智能体拆成了三层:模型(就是大语言模型本身)、脚手架(通过提示词和工具描述来定义模型的行为逻辑)和线束(负责实际跑模型调用、工具调用和控制循环的代码)。作者认为现在行业里这些词被混用得厉害,比如有人把整个智能体叫脚手架,有人把执行层叫线束,这篇就是想给个实用的参照,不是要定死标准。

推荐理由:Hugging Face 发文辨析智能体术语,把模型、脚手架和线束三层职责分开,针对行业里这些词被混用的情况给出一个实用参照。

5月23日星期六

r/LocalLLaMA

美团 LongCat 放出视频数字人模型 1.5 版,换用 Whisper 做语音驱动,推理步数压到 8 步

美团 LongCat 在 Hugging Face 上发了 LongCat-Video-Avatar-1.5,模型权重用 MIT 协议开源。它能做音频驱动视频、音频加图片驱动视频,还能接着一段视频往后生成。这版把语音编码器从 Wav2Vec2 换成了 Whisper-Large,理论上对语音的理解会更准。

推荐理由:美团 LongCat 开源了视频数字人模型 1.5 版,权重用 MIT 协议,语音编码器由 Wav2Vec2 换成 Whisper-Large,推理步数压到 8 步。

5月22日星期五

AI HOT 精选

大模型在生产环境会“说胡话”,但大部分跑分测试根本不查这个

Dharma-AI 在 Hugging Face 发了篇博文,说现在的大语言模型上线后经常出现文本退化——输出内容来回重复、前言不搭后语或者逻辑崩掉。这种故障直接影响用户体感和模型能不能用,但主流基准测试基本没把这类问题纳入评分。文章呼吁业界在评估体系里加上对文本退化的系统追踪和量化指标,正文没披露具体的指标设计或实验数据。

推荐理由:Dharma-AI 指出大模型上线后常出现重复、逻辑崩坏等文本退化,而主流基准测试基本未将这类故障纳入评分,评估体系与实际生产表现存在落差。

5月21日星期四

r/LocalLLaMA

HRM 1B:一个用极低成本训练的小模型,性能号称能打 2B-7B 的开源选手

Sapientinc 开源了一个叫 HRM-Text 1B Base 的小模型,连训练代码也一起放出来了。论文里的说法是,它的性能可以和 2B 到 7B 的开源模型掰手腕,但训练用的数据量只有别人的百分之一到九百分之一,算力消耗更是只有别人的 1/96 到 1/432。

推荐理由:Sapientinc 开源 HRM-Text 1B Base 及训练代码,论文称其性能对标 2B 至 7B 开源模型,训练数据量仅为对手的百分之一到九百分之一。

5月20日星期三

Hacker News 首页

字节跳动开源 Lance:一个模型同时搞定图片和视频的理解、生成与编辑

Lance 是字节跳动放出的一个多模态研究项目,把看图、看视频、生成图片、生成视频和编辑这些事塞进了同一个模型里。模型激活参数只有 3B,个头不大,训练用了不到 128 张 GPU,对想复现或微调的人来说门槛不算高。代码、论文和模型权重都公开了,但项目页没写具体的 benchmark 跑分和商用许可条款,这点先别太激动,得自己去翻论文和 HF 页面确认。

推荐理由:字节跳动开源 Lance,把图像与视频的理解、生成和编辑放进同一个模型,激活参数 3B,训练用不到 128 张 GPU,代码、论文和权重均已公开。

5月19日星期二

AI HOT 精选

NVIDIA 用 LoRA/DoRA 微调 Cosmos Predict 2.5,让它能生成机器人第一视角视频

NVIDIA 发了一篇技术博客,教你怎么用 LoRA 和 DoRA 这两种轻量微调方法,去训练他们自家的 Cosmos Predict 2.5 视频模型。目标是让模型能根据文字指令,生成机器人看到的画面,比如机械臂在桌上抓东西。

推荐理由:NVIDIA 在技术博客中演示用 LoRA 和 DoRA 轻量微调 Cosmos Predict 2.5,让模型按文字指令生成机械臂抓取等机器人第一视角画面,为具身智能提供一条低成本造训练视频的路径。

5月18日星期一

AI HOT 精选

IBM 在 Hugging Face 上线开放智能体排行榜,直接对比整套系统谁更省钱能干

IBM Research 做了一个开放排行榜,不只看模型本身,而是把智能体整套系统(模型、工具、规划、记忆、纠错)拉出来比。它用六个不同场景的基准测试来打分,同时公布质量和运行成本,让你知道哪个方案真值得部署。正文没披露具体模型分数、数据集大小和评测日期。

推荐理由:IBM Research 在 Hugging Face 上线开放智能体排行榜,把模型、工具、规划、记忆、纠错整套系统放进六个场景基准里比,并同时公布质量与运行成本。

5月17日星期日

r/LocalLLaMA

用 85 个 GPU 小时,把 Qwen3.6-27B 的 5 种“去安全限制”方法拉出来比了比

这篇 Reddit 帖子被网络屏蔽了,正文内容没拿到,只能根据标题和现有摘要说个大概。作者花了 85 个 GPU 小时,在 Qwen3.6-27B 模型上对比了 5 种 abliteration(去掉模型安全限制)方法,跑了一堆基准测试、HarmBench 安全评测、KL 散度(看输出分布变化)和权重分析。

推荐理由:作者用 85 个 GPU 小时在 Qwen3.6-27B 上对比 5 种 abliteration 方法,同时给出基准测试、HarmBench 安全评测、KL 散度和权重分析四类数据。

5月15日星期五

AI HOT 精选

IBM 开源多语言嵌入模型 R2:不到 1 亿参数,32K 上下文,检索跑分在同级里最高

IBM 在 Hugging Face 上发了两个新的多语言嵌入模型,都走 Apache 2.0 协议。小号 9700 万参数,在 MTEB 多语言检索上拿了 60.3 分,正文说这是目前所有开源同尺寸模型里最高的。大号 3.11 亿参数,得分 65.2,在 5 亿参数以下的开放模型里排第二。

推荐理由:IBM 在 Hugging Face 开源两个 Apache 2.0 多语言嵌入模型,9700 万参数的小号在 MTEB 多语言检索上拿到 60.3 分,为轻量级多语言检索方案提供了新的同级参照。

r/LocalLLaMA

MOOSE-Star:用 7B 小模型和 10 万篇论文做科学假设发现,ICML 2026 接收

MiroMind 放出了 MOOSE-Star 系列,包含三个 7B 模型和一个叫 TOMATO-Star 的数据集,里面有 108,717 篇 NCBI 论文。

推荐理由:MiroMind 公开 MOOSE-Star 系列三个 7B 模型与含 108,717 篇 NCBI 论文的 TOMATO-Star 数据集,模型权重和数据集均可获取,为科学假设发现方向提供可复用的训练资源。

r/LocalLLaMA

inclusionAI 在 Hugging Face 上放出了 Ring-2.6-1T,一个 1 万亿参数、支持多档推理强度的模型

Ring-2.6-1T 是 inclusionAI 发布的一个 1 万亿参数推理模型,主打让模型进业务流程干活(agent workflow)和长链条任务。它提供 high 和 xhigh 两档推理强度,训练时用了异步强化学习加 IcePop 算法来稳住训练过程。不过 Reddit 原帖被网络屏蔽,正文没披露更多技术细节、实际跑分或硬件需求,这点先别太激动。

推荐理由:inclusionAI 在 Hugging Face 发布 1 万亿参数模型 Ring-2.6-1T,面向 agent workflow 与长链条任务,提供 high 和 xhigh 两档推理强度,训练采用异步强化学习加 IcePop 算法。

5月14日星期四

r/LocalLLaMA

有人把 HuggingFace 的 AI 研究员搬到了本地,用 llama.cpp 跑通了一条自动微调流水线

HuggingFace 之前开源了一个叫 ml-intern 的自动化 AI 研究员,现在社区有人把它接上了 llama.cpp 和 ollama,让整个流程能在本地跑。帖子说用 Qwen3.6-35B-A3B 这个模型就能当大脑,指挥 CPU/GPU 沙箱和 HuggingFace Hub 上的任务,从头到尾完成一次 SFT(有监督微调)。

推荐理由:社区把 HuggingFace 的 ml-intern 接上 llama.cpp 和 ollama,用 Qwen3.6-35B-A3B 在本地指挥沙箱与 Hub 任务跑完一次 SFT,为想在自有机器上搭建自动化微调流程的人提供了一条可迁移路径。

r/LocalLLaMA

单卡跑通一句话生成电影级短片:FLUX.2 出角色,Wan2.2 做动画,带自动质检和 9 语配音

这个叫 StudioMI300 的开源流水线,把一句英文提示词变成 720p 短片,全程跑在一张 AMD Instinct MI300X 上。流程分 8 步:先用 FLUX.2 [klein] 生成角色关键帧,再用 Wan2.2-I2V 把静态图转成动画,中间加了一道视觉评分和自动重试的质检,最后配上音乐和 9 种语言的旁白。

推荐理由:StudioMI300 把一句提示词到 720p 短片的 8 步流程跑在一张 MI300X 上,其中视觉评分与自动重试环节用于控制成片质量。

AI HOT 精选

让 GPU 别闲着:用异步批处理榨干推理性能

Hugging Face 发现,一个 80 亿参数的模型在生成 8000 个 token 时,GPU 有 24% 的时间在空转。原因出在同步批处理上:CPU 准备下一批数据时,GPU 只能干等,反之亦然。这篇文章讲的是怎么用 CUDA 流把这两件事拆开并行,让 CPU 准备第 N+1 批的同时,GPU 已经在算第 N 批,把空闲缝隙填满。

推荐理由:Hugging Face 指出 80 亿参数模型生成 8000 个 token 时 GPU 有 24% 时间空转,并给出用 CUDA 流让 CPU 与 GPU 并行、填满空闲缝隙的具体做法。

r/LocalLLaMA

商汤发布 SenseNova-U1-A3B-MoT,一个模型搞定看图、推理和生成

商汤在 Hugging Face 上放出了 SenseNova-U1-A3B-MoT 模型,同时提供了 A3B MoT、8B MoT 和 0.4B LoRA 权重链接。按官方说法,这套模型用 NEO-unify 架构把多模态理解、推理和生成统一到一个模型家族里。

推荐理由:商汤在 Hugging Face 放出 SenseNova-U1-A3B-MoT 系列权重,用 NEO-unify 架构把多模态理解、推理和生成收进同一模型家族,并同时提供 0.4B LoRA 权重。

5月13日星期三

r/LocalLLaMA

阿里达摩院放出 Ovis2.6-80B-A3B:总参数 800 亿,推理时只激活约 30 亿的多模态 MoE 模型

Ovis2.6 把语言模型底座换成了混合专家架构,总参数量堆到 800 亿,但推理时只叫醒大概 30 亿个参数,跑起来比较省算力。上下文窗口拉到 64K token,能处理的图片分辨率最高到 2880×2880,适合啃长文档、高信息密度的图表和扫描件。

推荐理由:阿里达摩院开源 Ovis2.6-80B-A3B,800 亿总参数的多模态 MoE 推理时只激活约 30 亿,并支持 64K 上下文与 2880×2880 图片输入。

量子位 · 公众号

字节提出 GRN,让生图模型像人一样边画边改,不再死磕扩散和自回归

字节跳动的技术团队搞了个叫 GRN(生成式精炼网络)的新架构,想给视觉生成找第三条路,不跟扩散模型和自回归模型硬卷。它的核心思路是让模型先生成一张粗糙的图,再反复精修,就像画师先铺大色块再慢慢抠细节。为了解决反复修图容易把图修糊、错误越攒越多的问题,他们用了三项技术:HBQ(分层二元量化)把图片压成更紧凑的离散编码,减少信息损耗。

推荐理由:字节团队提出 GRN 架构,让视觉生成先出粗图再反复精修,并用 HBQ 分层二元量化压缩离散编码以减少信息损耗,为扩散与自回归之外的第三条路线提供了具体技术方案。