跳到正文

#开源/仓库

今日 2 条

6月9日星期二

r/LocalLLaMA

单张 MI50 跑 Qwen3.6-27B 速度翻倍:从 19.4 涨到 38.1 token/秒

有个玩家在单张 AMD MI50 上跑 Qwen3.6-27B 模型,用 Q8 或更低精度的量化版本时,发现显卡的算力没吃满。他想到一个取巧的办法:不额外加载一个小模型做投机解码,而是让同一个模型同时跑两路计算,假装自己有两份模型副本。结果生成速度直接从 19.4 token/秒翻到 38.1 token/秒。

推荐理由:有玩家在单张 MI50 上让 Qwen3.6-27B 同时跑两路计算,把生成速度从 19.4 token/秒提到 38.1 token/秒,为量化模型算力未吃满的情况提供了一种不加载小模型的提速思路。

r/LocalLLaMA

Levi:在你的本地 Qwen 30B 上跑类似 AlphaEvolve 的搜索系统

Levi 是一个开源项目,让你能在本地用 Qwen3-30B-A3B 模型跑一套类似 AlphaEvolve 的搜索系统。作者在 ADRS、IFBench 和 HotpotQA 三个基准上做了测试,声称在单模型、相同预算的条件下,整体成本最多能降到原来的 1/35,评估次数最多能减少到 1/12。

推荐理由:开源项目 Levi 让本地 Qwen3-30B-A3B 跑起 AlphaEvolve 式搜索,作者在三个基准上测得同等预算下成本最多降至 1/35、评估次数减至 1/12。

6月8日星期一

r/LocalLLaMA

Luce Spark:让 35B 的 MoE 模型在 16GB 显存上跑起来,不用忍受传统卸载的速度惩罚

Luce Spark 是一个开源方案,能让 Qwen3.6 35B-A3B 这种规模的混合专家模型在 RTX 3090 上只占 13.3 GiB 显存,跑出约 100 tok/s 的速度。

推荐理由:Luce Spark 让 Qwen3.6 35B-A3B 在 RTX 3090 上只占 13.3 GiB 显存并跑到约 100 tok/s,其做法是把常用专家留在 GPU、其余放内存并异步搬运,与计算重叠。

r/LocalLLaMA

OpenEnv 改由多家公司共同管理,包括 Hugging Face、PyTorch、Prime Intellect 等

OpenEnv 这个用来给 AI 智能体创建终端、浏览器等执行环境的工具,现在不再由单一团队控制,而是转交给一个委员会来协调。初始成员有 9 家,包括 Meta 的 PyTorch、Unsloth、Modal、Prime Intellect、Nvidia 和 Mercor。

推荐理由:OpenEnv 从单一团队控制转为由 PyTorch、Unsloth、Modal 等 9 家机构组成的委员会协调,做智能体训练的人可以据此判断执行环境的治理归属。

AI HOT 精选

Hugging Face 把 OpenEnv 交给社区委员会管了,Meta-PyTorch、Unsloth 等都在里面

OpenEnv 是一个给 AI 智能体用的训练环境,比如模拟终端、浏览器,让模型在里面干活并学习。Hugging Face 宣布这个项目不再自己说了算,改由一个委员会来协调,首批成员包括 Meta-PyTorch、Reflection、Unsloth、Modal、Prime Intellect、Nvidia 等。

推荐理由:Hugging Face 将 OpenEnv 智能体训练环境的协调权交给社区委员会,首批成员包括 Meta-PyTorch、Unsloth、Nvidia 等,项目治理从单一公司主导转为多方参与。

6月7日星期日

量子位 · 公众号

京东开源 JoyAI-Echo,5 分钟 AI 长视频不崩,推理速度提了 7.5 倍

京东放出了一个叫 JoyAI-Echo 的开源框架,专门解决 AI 生成 5 分钟长视频时画面容易崩、前后不一致的问题。它用跨模态记忆模块把视频里的角色、场景信息存下来,保证长镜头里不会突然变脸或换衣服。训练上用了 DMD 后训练技术,推理速度比原来快了大概 7.5 倍,生成一段视频的成本和时间都压下来了。

推荐理由:京东开源 JoyAI-Echo 框架,用跨模态记忆模块解决 5 分钟长视频角色与场景前后不一致的问题,推理速度提升约 7.5 倍。

6月6日星期六

r/LocalLLaMA

开源模型这周炸了:25+ 个开放权重模型一口气放出,覆盖文本、图像、语音

Victor M 在 X 上整理了一份清单,过去一周有超过 25 个开放权重的模型发布,几乎覆盖了所有模态。其中最扎眼的是 NVIDIA 的 Nemotron 3 Ultra,一个 550B 参数的混合架构(Mamba-MoE),每次推理只激活 55B 参数,上下文窗口能塞进 100 万个 token。

推荐理由:过去一周开放权重模型发布超过 25 个,覆盖文本、图像、语音等模态,其中 NVIDIA 的 Nemotron 3 Ultra 以 550B 参数、55B 激活和 100 万 token 上下文,展示了混合架构的当前规模。

机器之心 · 公众号

视频AI能一次生成5分钟了,京东开源JoyAI-Echo,告别抽卡式出片

京东放出了JoyAI-Echo,一个能一口气生成最长5分钟视频加音频的框架,而且全量开源。它主打跨镜头画面和声音的一致性,支持局部重绘,用8步DMD蒸馏来提速,最高能输出1472×2560分辨率的片子。不过原文因为微信环境验证没过去,具体效果和实测数据暂时看不到,这点先别太激动。

推荐理由:京东开源JoyAI-Echo,可一次生成最长5分钟带音频的视频,并支持跨镜头画面与声音一致性,为长视频生成提供了一条可复用的开源路径。

r/LocalLLaMA

RedNote 开源 dots.tts:一个 20 亿参数的语音合成模型,支持 48kHz 和零样本声音克隆

RedNote 放出了一个叫 dots.tts 的语音合成模型,参数量 20 亿,用 Apache 2.0 协议开源。它走的是全连续架构,文字直接映射到语音,跳过了传统的音素流水线,合成采样率能到 48kHz。零样本声音克隆也支持,给一段参考音频就能模仿说话。

推荐理由:RedNote 以 Apache 2.0 协议开源 20 亿参数的 dots.tts,采用文字直接映射语音的全连续架构,支持 48kHz 输出和零样本声音克隆。

6月5日星期五

AI HOT 精选

腾讯混元和人大开源了一个叫 PlanningBench 的评估框架,专门测大模型做规划的能力

这个框架由腾讯混元跟人大高瓴人工智能学院一起放出,代码和论文都公开了。它塞了 30 多个真实场景的规划任务,不是让模型光说不练,而是看它能不能把一件事拆成可执行的步骤。框架自带自动验证,跑完就能知道模型规划靠不靠谱,还支持拿这些任务去训练模型。资源挂在 arXiv、GitHub 和 HuggingFace 上,正文没披露具体任务类型和验证通过率的数据。

推荐理由:腾讯混元与人大高瓴人工智能学院开源 PlanningBench,用 30 多个真实场景任务检验模型能否把一件事拆成可执行步骤,并自带自动验证。

Hacker News 首页

Anthropic 开源了一套 AI 挖漏洞的工具包,把威胁建模、扫描、修补丁串成一条自动流水线

Anthropic 在 GitHub 上放出了一个叫 defending-code-reference-harness 的开源项目,把威胁建模、代码扫描、漏洞分类和打补丁这些安全活儿打包成一套可定制的自动化流程。项目页面上说你可以把它当成一个“自主扫描引擎”来用,但正文没披露这套东西在真实漏洞挖掘上的准确率、误报率,也没给出跟现有扫描工具的对比数据。

推荐理由:Anthropic 在 GitHub 开源 defending-code-reference-harness,把威胁建模、代码扫描、漏洞分类和打补丁串成一条可定制的自动化流程,展示 AI 参与漏洞挖掘的工程化路径。

6月4日星期四

r/LocalLLaMA

华为开源 KVarN:KV 缓存压缩 3 到 5 倍,推理反而更快,不是减速

华为放出了一个叫 KVarN 的 KV 缓存量化方法,Apache 2.0 协议,已经能通过一个开关直接跑在 vLLM 上。它能把存上下文的那块显存压到原来的 1/3 到 1/5,吞吐量最高比 FP16 还快 40%。和之前的 TurboQuant 不一样,它在推理任务上不会崩。不需要改模型、不用重新训练、也不用校准数据。

推荐理由:华为开源 KVarN 量化方法,把 KV 缓存显存压到三分之一至五分之一,吞吐量最高比 FP16 快四成,且在推理任务上不崩,可通过一个开关接入 vLLM。

新智元 · 公众号

MiniMax M3 在开源模型榜冲上第一,硅谷 CEO 深夜转发,但中文社区对实际表现吵起来了

MiniMax 的新模型 M3 在第三方评测平台 Artificial Analysis 的开源榜单上排到了第一。文章说它支持一次性处理 100 万 token 的上下文,预训练用了百 T 级别的数据,并承诺在 10 天内开源模型权重和完整技术报告。

推荐理由:MiniMax M3 在 Artificial Analysis 开源榜单排到第一,支持 100 万 token 上下文、百 T 级预训练数据,并承诺 10 天内开源权重与技术报告。

AI HOT 精选

OpenJarvis:斯坦福开源了一个本地优先的个人 AI 框架,把推理、工具、记忆都塞进设备里跑

斯坦福的研究人员放出了 OpenJarvis,一个开源的本地优先框架,目标是让个人 AI 助手直接在手机或电脑上跑,不用把数据传到云端。他们把个人 AI 拆成了五个基础模块:推理、工具调用、记忆、学习,还有一个叫“自我”的模块来协调这些能力。

推荐理由:斯坦福研究人员开源 OpenJarvis,将推理、工具调用、记忆、学习与自我协调五个模块放入手机或电脑本地运行,数据不必上传云端。

r/LocalLLaMA

有人写了个编译器,把 Python 代码转成更省 token 的格式喂给模型

作者开源了一个叫 Vulpine 的编译器,能把 Python 源码转成一种专门给代码模型看的紧凑表示。在约 1.3 万个留出测试文件上,token 用量平均减少了 14%,而且 99.8% 的情况下能无损还原回原本的抽象语法树结构。代码已经挂在 GitHub 上。不过正文没披露具体测试了哪些模型、省下的 token 对生成质量有没有影响,这点先别太激动。

推荐理由:作者开源的 Vulpine 编译器把 Python 源码转成面向代码模型的紧凑表示,在约 1.3 万个留出测试文件上平均省下 14% 的 token,且 99.8% 的情况能无损还原抽象语法树。

6月3日星期三

AI HOT 精选

Google DeepMind 在 GitHub 开源了一个给科研智能体用的工具包,叫 Science Skills

这个工具包专门用来搭科学发现场景里的自主智能体,让模型能跑科研流程。官方说它有两个好处:一是针对科学任务做了基础能力封装,二是 token 效率更高,也就是调用大模型时可能更省 token、更省钱。不过正文没披露开源协议、具体跑分数据,也没给出 token 节省量的数字,所以实际能省多少、效果怎么样,还得自己跑跑看。

推荐理由:Google DeepMind 在 GitHub 开源 Science Skills 工具包,用于搭建科学发现场景的自主智能体,官方称其封装了科学任务基础能力并提升 token 效率。

6月2日星期二

AI HOT 精选

为了省120刀,我把电脑清理做成了开源AI工具

作者用Codex扫了自己的MacBook,发现B站缓存等一堆可删文件,激进方案能清出超140G。他干脆把清理逻辑做成一个开源skill,Mac和Windows都能用。工具会扫描文件生成可交互的HTML报告,用绿黄红三色标出哪些能放心删、哪些要人工判断、哪些千万别动,还带安全执行按钮。

推荐理由:作者把自用的电脑清理逻辑做成开源 skill,扫描后生成绿黄红三色标注的 HTML 报告,并附安全执行按钮,Mac 和 Windows 都能用。

新智元 · 公众号

中科院开源 MobileGym:在浏览器里搭了个手机训练场,微信、原神都能跑

中科院自动化所开源了一个叫 MobileGym 的移动端智能体训练环境,直接在浏览器里模拟安卓手机。它覆盖了 28 款常用 App,包括微信、原神、淘宝这些,每个实例只占 400MB 左右,冷启动 3 秒就能跑起来。环境会把手机界面状态转成结构化的 JSON 快照,方便模型理解当前屏幕有什么、能点哪里,任务验证也是程序化自动完成的,不用人工盯着看。

推荐理由:中科院自动化所开源 MobileGym,在浏览器里模拟安卓手机并覆盖 28 款常用 App,单实例约 400MB、冷启动 3 秒,把界面状态转成 JSON 快照供模型理解。

6月1日星期一

AI HOT 精选

MiniMax 开源 M3 模型,把写代码、读长文和看图听声塞进一个系统,跑分压过 GPT-5.5 但成本只要十二分之一

MiniMax 放出了一个叫 M3 的开源模型,把代码能力、一次能读 100 万 token 的长上下文和原生多模态(能直接处理图像、音频)做在了一起。在 SWE-Bench Pro 这个代码基准上拿了 59.0%,比 GPT-5.5 的 58.6% 和 Gemini 3.1 Pro 的 54.2% 都高一点。

推荐理由:MiniMax 开源 M3,将代码、百万 token 长上下文与原生多模态集成于一个模型,SWE-Bench Pro 得分 59.0%,略高于 GPT-5.5 的 58.6%。

AI HOT 精选

OpenBMB 放出两个开源数据集,预训练语料和 SFT 样本都给了,HuggingFace 趋势榜第一

OpenBMB 跟清华 NLP、Modelbest 一起发了两个数据集,都挂在 HuggingFace 上。一个是 Ultra-FineWeb-L3,给预训练用的合成数据,总量超过 600B token,其中英文 400B+、中文 200B+,是目前最大的开源中文预训练合成数据集。

推荐理由:OpenBMB 联合清华 NLP 与 Modelbest 开源 Ultra-FineWeb-L3 等两个数据集,其中文预训练合成数据超 200B token,为中文预训练和指令微调补充了可直接取用的语料与样本。

AI HOT 精选

NVIDIA 开源 Cosmos 3:一个模型搞定物理世界的看、想、动

NVIDIA 在 GTC Taipei 把 Cosmos 3 完全开源了,模型权重、代码和数据集都放了出来。它被叫做首个物理 AI 全能模型,意思是能直接看懂真实世界、预测接下来会发生什么,并给出机器人该做的动作。这次发了两个尺寸:Super 版 320 亿参数,Nano 版 80 亿参数。正文没提具体跑分和硬件门槛,实际部署成本还得自己测。

推荐理由:NVIDIA 将 Cosmos 3 的权重、代码和数据集全部开源,并给出 320 亿与 80 亿参数两个版本,为机器人方向提供了可直接取用的物理世界理解与动作生成模型。

r/LocalLLaMA

有人把英伟达 Parakeet 语音转文字模型移植到了 ggml,不再需要 Python,还能量化压缩

开发者 mudler_it 把英伟达的 Parakeet 语音转文字模型用 C++ 和 ggml 重写了一遍,彻底甩掉了 Python 和 PyTorch。他测试下来,在 f32 和 f16 精度下输出结果和原版 NeMo 逐字节一致,但速度更快,大一点的 TDT 和混合模型在 GPU 上能跑到大约 5 倍加速。

推荐理由:开发者用 C++ 和 ggml 重写了英伟达 Parakeet 语音转文字模型,去掉 Python 与 PyTorch 依赖,f32 和 f16 精度下输出与原版 NeMo 逐字节一致,GPU 上大模型约 5 倍加速。

5月31日星期日

机器之心 · 公众号

微软开源 SkillOpt:像训练神经网络一样,自动优化给 AI 智能体看的技能说明书

微软放出了一个叫 SkillOpt 的开源框架,一周就在 GitHub 上拿了 3300 多颗星。它的思路挺直接:不改模型本身的参数,而是像做文本版梯度下降一样,自动迭代优化那些写给 AI 智能体看的“技能文档”。论文里的实验覆盖了 7 个目标模型、6 个评测基准和 3 种执行环境,总共 52 种组合,结果要么最好,要么并列最好。

推荐理由:微软开源的 SkillOpt 不改模型参数,而是自动迭代写给智能体的技能文档,实验覆盖 7 个目标模型、6 个基准和 3 种环境共 52 种组合。

5月30日星期六

量子位 · 公众号

人大和至知研究院开源了 Claw Agent 的全套训练方案,连数据带模型和评测一起给了

人大和至知研究院放出了一个叫 ClawGym 的 Agent 训练框架,把数据、训练代码和模型权重都开源了。他们合成了 13500 条可执行的任务当训练数据,又做了 200 条任务的基准测试集。

推荐理由:人大与至知研究院开源 ClawGym,把 13500 条可执行任务数据、训练代码和模型权重一并放出,并配套 200 条任务的基准测试集,为 Agent 训练提供了可直接复现的完整起点。

5月29日星期五

AI HOT 精选

小米开源 ControlFoley:给视频配音效,可以按你写的提示词或给的参考音频来

小米大模型应用团队放出了一个叫 ControlFoley 的视频音效生成模型,权重和代码都开源了。它主要解决一个问题:以前模型只能看画面自动猜配什么声音,创作者没法干预。ControlFoley 支持三种用法——用文字描述想要的音效、用文字强行覆盖画面里原有的声音、或者上传一段参考音频让它模仿音色和风格,同时还能保证声音和画面动作对得上。

推荐理由:小米开源 ControlFoley,让视频音效从只能由模型自动猜测变为可用文字或参考音频指定,同时保持声音与画面动作对齐。

5月28日星期四

新智元 · 公众号

清华团队开源 PilotDeck:让多个 AI 分工干活,Token 成本砍掉七成

清华 NLP 实验室、面壁智能、OpenBMB 和 AI9stars 一起放出了 PilotDeck 的开源代码。这套系统让多个 AI 子代理分工协作,各自有独立的工作区和可编辑的记忆库,每次任务还会留下调度日志。

推荐理由:清华 NLP 实验室等团队开源 PilotDeck,让多个 AI 子代理各带独立工作区和可编辑记忆库分工协作,并留下调度日志,为多代理工作流提供一套可参考的开源实现。

机器之心 · 公众号

国产预训练具身大模型 Wall-OSS-0.5 开源,宣称跳过微调也能直接干活

X Square Robot 开源了一个叫 Wall-OSS-0.5 的视觉-语言-动作模型,主打“预训练完就能用”。他们放出了 40 万步的预训练 checkpoint,在 17 个真实机器人零样本任务里,有 4 个成功率超过 80%。这次开源的东西挺全:权重、代码、训练配方、消融实验,还有一个叫 DMuon 的优化器实现。

推荐理由:X Square Robot 开源视觉-语言-动作模型 Wall-OSS-0.5,放出 40 万步预训练 checkpoint,在 17 个真机零样本任务中 4 个成功率超 80%,并附权重、代码与训练配方。

r/LocalLLaMA

有人整理了一份1030亿token的Usenet语料,覆盖1980到2013年,全是真人发言、没有AI污染

一个叫OwnerByDane的用户放出了一套从Usenet新闻组扒下来的语料,总规模1031亿token,包含4.08亿条帖子,横跨18347个新闻组,时间从1980年一直拉到2013年。这套数据最大的卖点是“前互联网时代、纯人类产出、零AI生成内容”,对想避开模型训练数据被AI输出污染的开发者来说,算是个稀缺资源。

推荐理由:这套语料含1031亿token、4.08亿条帖子,时间跨度从1980年到2013年,全部来自Usenet真人发言,为需要避开AI生成内容的研究者提供了前互联网时代的原始文本。

AI HOT 精选

Hao AI Lab 开源 FastVideo Dreamverse,一张 B200 显卡 7 秒跑出 30 秒 1080p 视频

这个工具用一张 NVIDIA B200 GPU 搭配 LTX-2 模型,把生成 30 秒 1080p 视频的时间压到了 7 秒,做到了实时出片。代码和博客都公开了,但正文没披露画面质量、一致性和复杂场景下的表现,实际效果得自己跑一遍才知道。

推荐理由:Hao AI Lab 开源 FastVideo Dreamverse,用单张 NVIDIA B200 搭配 LTX-2 模型把 30 秒 1080p 视频生成压到 7 秒,代码和博客一并公开。

5月27日星期三

AI HOT 精选

Perplexity 开源 Unigram 分词器,CPU 占用降了五六倍

Perplexity 把自家重写的 Unigram 分词器开源了,放在 pplx-garden 仓库里。这个分词器主要解决一个实际问题:现在小型的重排序模型和嵌入模型在 GPU 上跑一次只要几毫秒,但 CPU 分词那一步反而成了拖后腿的环节。他们这次重构后,CPU 占用直接降了 5 到 6 倍,等于把分词这步的延迟砍掉一大截,让整体响应更快。

推荐理由:Perplexity 开源了重写的 Unigram 分词器,把重排序和嵌入模型流程中 CPU 分词这一步的占用降低 5 到 6 倍,让分词不再拖慢整体响应。

AI HOT 精选

面壁智能开源 ForgeTrain,一个完全由 AI 写出来的模型训练框架,零人类代码

面壁智能、清华和 OpenBMB 开源了 ForgeTrain,一个完全由 AI 编写、没有人类代码介入的大模型训练框架。他们用这套框架在华为昇腾芯片上预训练了 MiniCPM5-1B,这个模型在 AA 榜单的 2B 参数以下级别里排到了第一。同时开源的还有制造 ForgeTrain 的 Agent Harness 工具链。

推荐理由:面壁智能联合清华和 OpenBMB 开源了完全由 AI 编写的大模型训练框架 ForgeTrain,并已用它在华为昇腾芯片上完成 MiniCPM5-1B 预训练,可了解训练流程自动化的具体路径。

5月26日星期二

AI HOT 精选

商汤把 SenseNova-U1 的训练代码全开源了,一个框架同时训生图、修图、交错生成和理解

OpenSenseNova 在 GitHub 上放出了 SenseNova-U1 的完整训练代码,用 Apache-2.0 协议。代码覆盖了 8B 稠密模型和 A3B MoE(混合专家)架构,在一个统一框架里支持四种多模态任务:文生图、图片编辑、图文交错生成,以及文本与视觉理解。

推荐理由:商汤在 GitHub 以 Apache-2.0 协议开源 SenseNova-U1 完整训练代码,覆盖 8B 稠密与 A3B MoE 两种规格,一个框架同时支持文生图、图片编辑、图文交错生成和理解四类任务。

r/LocalLLaMA

dlmserve 开源:首个为扩散语言模型设计的推理引擎,支持 LLaDA-8B,吞吐量是 HuggingFace 的 2.5 倍

Reddit 上有人放出了一个叫 dlmserve 的开源项目,MIT 协议,专门给扩散语言模型做推理服务。它第一个支持的模型是 LLaDA-8B-Instruct,这种模型生成文本的方式和常见的自回归模型不一样,是一步步“去噪”出完整回答。引擎对外提供兼容 OpenAI 的 /v1/chat/completions 接口,方便直接替换。

推荐理由:Reddit 用户开源了 dlmserve,为扩散语言模型提供兼容 OpenAI 接口的推理服务,并给出 LLaDA-8B 在 batch=4 下吞吐量达 HuggingFace 2.5 倍的数据。

AI HOT 精选

面壁智能开源 MiniCPM5-1B,1B 参数在 AA-Index 上跑赢所有 2B 以下模型,量化后 0.5GB 能塞进手机和浏览器

面壁智能联合清华和 OpenBMB 开源了一个 1B 参数的小模型 MiniCPM5-1B。它在 AA-Index(一个综合评测榜单)上的得分超过了所有参数不到 2B 的模型,甚至比 3 个月前发布的 Qwen3.5-2B 效果还好,参数量却只有后者的一半。这个模型用 INT4 量化后权重文件只有 0.5GB,可以直接在手机和浏览器里跑。

推荐理由:面壁智能联合清华和 OpenBMB 开源 1B 参数模型 MiniCPM5-1B,AA-Index 得分超过所有 2B 以下模型,INT4 量化后仅 0.5GB,可在手机和浏览器运行。

r/LocalLLaMA

Shard:把 KV 缓存压到原来的十分之一,长上下文推理更省显存

Shard 这套方法能在 Llama-3.1-8B 上把 KV 缓存占的显存砍掉约 90%。具体来说,8K 上下文长度时压缩比约 10 倍,拉到 32K 时能到 11 倍。技术路线分两路:对 Key 矩阵先用 PCA 降维再做 int4 量化,对 Value 矩阵则用 Hadamard 旋转配合向量量化。

推荐理由:Shard 在 Llama-3.1-8B 上把 KV 缓存显存压缩约九成,8K 上下文约 10 倍、32K 约 11 倍,Key 走 PCA 加 int4 量化、Value 走 Hadamard 旋转加向量量化。

5月25日星期一

r/LocalLLaMA

一个让 Codex 在无头 Linux 上安全折腾的沙盒框架

作者 superSmitty9999 放出了一个概念验证工具 ai-sandbox-manager,用 LXC 模板给 Codex 开了 sudo 权限、浏览器操作、Docker 和共享 GPU 访问,同时加了个钩子阻止 git push,让模型在隔离副本里干活,降低把系统搞崩的风险。正文没披露性能开销和具体延迟数据。

推荐理由:作者用 LXC 模板给 Codex 开了 sudo、浏览器和共享 GPU,并加钩子阻止 git push,让模型在隔离副本里全自动干活,为想放开权限又怕系统被搞崩的人提供了一套可迁移的隔离思路。

机器之心 · 公众号

众趣科技开源浏览器端3D高斯泼溅查看器,10亿个高斯点也能跑,内存和速度都比李飞飞团队的Spark 2.0强

众趣科技把他们的Aholo Viewer开源了,这是一个在浏览器里直接看3D高斯泼溅场景的工具。在300万个高斯点的测试里,它占用的内存只有Spark 2.0的一半,加载速度快了一倍,渲染速度快了两倍,而且宣称能撑住10亿个高斯点的场景。

推荐理由:众趣科技开源浏览器端3D高斯泼溅查看器Aholo Viewer,300万高斯点测试中内存占用为Spark 2.0的一半、加载快一倍、渲染快两倍,并称可支撑10亿点场景。

5月23日星期六

r/LocalLLaMA

club-rdna16:一个在 16GB AMD 显卡上实测本地大模型的仓库

这个仓库用一张 RX 6900 XT(16GB 显存)跑 llama.cpp,后端是 ROCm/HIP,专门验证 AMD 卡在本地跑大模型的实际表现。目前放出的一个亮点是 Qwen3.6 35B-A3B 这个 MoE 模型,用 q8 格式缓存 KV 状态,能稳定撑到 131k 上下文窗口。

推荐理由:作者公开了在 RX 6900 XT 上跑 llama.cpp 的测试仓库,其中 Qwen3.6 35B-A3B 以 q8 缓存 KV 状态可稳定撑到 131k 上下文,为 16GB AMD 显卡的本地部署留下一份实测配置参考。

r/LocalLLaMA

llama.cpp 新分支让 MoE 模型在 12GB 显存上跑得更快,RTX 2060 上速度从 19/22 tk/s 提到 26 tk/s

comanderxv 给 llama.cpp 开了个叫“experts first”的分支,专门优化混合专家模型(MoE)的显存调度。

推荐理由:comanderxv 为 llama.cpp 新开 experts first 分支,优化 MoE 模型的显存调度,使 12GB 显存的老卡在 RTX 2060 上从 19/22 tk/s 提升到 26 tk/s。

5月22日星期五

AI HOT 精选

网易有道把“子曰4”的多模态模型和语音合成模型都开源了

这次开源的是一个270亿参数的多模态模型和一个语音合成模型。多模态模型主要针对教育场景,能看懂带图表的数学题,在纯中文数理难题上准确率81.4%。团队用精简过的推理样本做训练,把模型思考过程的输出长度压缩了43.2%,所以回答同样的问题,吐出的token更少、推理更快,直接效果就是推理成本会降下来。

推荐理由:网易有道开源270亿参数多模态模型与语音合成模型,前者面向教育场景,在纯中文数理难题上准确率达81.4%,训练中压缩思考过程输出长度43.2%,推理成本随之下降。