跳到正文

#开源/仓库

今日 3 条

6月3日星期三

AI HOT 精选

Google DeepMind 在 GitHub 开源了一个给科研智能体用的工具包,叫 Science Skills

这个工具包专门用来搭科学发现场景里的自主智能体,让模型能跑科研流程。官方说它有两个好处:一是针对科学任务做了基础能力封装,二是 token 效率更高,也就是调用大模型时可能更省 token、更省钱。不过正文没披露开源协议、具体跑分数据,也没给出 token 节省量的数字,所以实际能省多少、效果怎么样,还得自己跑跑看。

推荐理由:这条消息有明确的开源动作和落地载体,对做智能体的人有参考价值。我会先打个折:正文没写许可证、没给基准测试结果,也没提 token 效率或成本数字,所以没法判断实际好用程度和复用门槛。这点先别太激动,等后续有实测数据再看。

6月2日星期二

AI HOT 精选

为了省120刀,我把电脑清理做成了开源AI工具

作者用Codex扫了自己的MacBook,发现B站缓存等一堆可删文件,激进方案能清出超140G。他干脆把清理逻辑做成一个开源skill,Mac和Windows都能用。工具会扫描文件生成可交互的HTML报告,用绿黄红三色标出哪些能放心删、哪些要人工判断、哪些千万别动,还带安全执行按钮。实测清出近120G,而CleanMyMac只扫出15.8G,信息透明度...

推荐理由:这篇东西不是平台级大新闻,但 H、K、R 三点都踩中了:120 美元的替代钩子够抓人,扫描报告和 120G 实测结果给了具体信息,开源 skill 的思路对想用 AI 省钱的开发者有直接复用价值。放在 featured 门槛附近没问题,属于那种实用开源工具类的推荐。

新智元 · 公众号

中科院开源 MobileGym:在浏览器里搭了个手机训练场,微信、原神都能跑

中科院自动化所开源了一个叫 MobileGym 的移动端智能体训练环境,直接在浏览器里模拟安卓手机。它覆盖了 28 款常用 App,包括微信、原神、淘宝这些,每个实例只占 400MB 左右,冷启动 3 秒就能跑起来。环境会把手机界面状态转成结构化的 JSON 快照,方便模型理解当前屏幕有什么、能点哪里,任务验证也是程序化自动完成的,不用人工盯着看。这套...

推荐理由:MobileGym 是一套开源的移动 agent 训练与评测基础设施,不是模型发布,但实用性强。我会先打个折:正文没披露判分准确率、任务完成率等验证数据,这点先别太激动。不过它用浏览器仿真 28 个 App,单实例约 400MB、3 秒冷启动,还支持 JSON 状态复制,意味着复现成本低、部署快,适合批量跑实验。对 agent 开发者来说,这比租真机或搭模拟器集群省钱省事。整体在 78–84 这个质量区间里算扎实的工程贡献,所以维持 featured 和现有评分。

6月1日星期一

AI HOT 精选

MiniMax 开源 M3 模型,把写代码、读长文和看图听声塞进一个系统,跑分压过 GPT-5.5 但成本只要十二分之一

MiniMax 放出了一个叫 M3 的开源模型,把代码能力、一次能读 100 万 token 的长上下文和原生多模态(能直接处理图像、音频)做在了一起。在 SWE-Bench Pro 这个代码基准上拿了 59.0%,比 GPT-5.5 的 58.6% 和 Gemini 3.1 Pro 的 54.2% 都高一点;在 BrowseComp 自主浏览任务上 ...

推荐理由:我会先打个折:目前只有一条 X 帖子,没看到官方技术报告或第三方独立评测,所以分数压在 78–84 区间。但 M3 确实把编码、超长上下文和多模态打包开源,SWE-Bench Pro 59.0% 不算顶尖但够用,成本只有 GPT-5.5 的约 1/12,对想省钱又有长上下文需求的团队是个实在选项。这点先别太激动,等正式文档和更多实测出来再调判断。

AI HOT 精选

OpenBMB 放出两个开源数据集,预训练语料和 SFT 样本都给了,HuggingFace 趋势榜第一

OpenBMB 跟清华 NLP、Modelbest 一起发了两个数据集,都挂在 HuggingFace 上。一个是 Ultra-FineWeb-L3,给预训练用的合成数据,总量超过 600B token,其中英文 400B+、中文 200B+,是目前最大的开源中文预训练合成数据集。另一个是 UltraData-SFT-2605,给模型做指令微调用的,有...

推荐理由:我会先打个折:正文没披露数据质量评测、去重细节和许可证,所以没法判断实际可用度。但两个数据集的体量摆在那,600B+ tokens 的网页语料和 15M+ 条 SFT 样本,对做预训练和指令微调的人是实打实的弹药。冲上 HuggingFace 趋势榜说明社区有需求,不过这点先别太激动,热度不等于质量。整体看,这是一次对开源训练数据供给的补充,尤其对中文场景,值得关注但需要等后续评测。

AI HOT 精选

NVIDIA 开源 Cosmos 3:一个模型搞定物理世界的看、想、动

NVIDIA 在 GTC Taipei 把 Cosmos 3 完全开源了,模型权重、代码和数据集都放了出来。它被叫做首个物理 AI 全能模型,意思是能直接看懂真实世界、预测接下来会发生什么,并给出机器人该做的动作。这次发了两个尺寸:Super 版 320 亿参数,Nano 版 80 亿参数。正文没提具体跑分和硬件门槛,实际部署成本还得自己测。

推荐理由:HKR 三项都成立:钩子是 NVIDIA 开源物理 AI 模型,知识增量是 32B/8B 双版本加全套开放物料,受众是机器人、仿真方向的从业者。正文信息很薄,没给基准测试、没提许可证细节,所以分数压在 78–84 区间,不往上拔。

r/LocalLLaMA

有人把英伟达 Parakeet 语音转文字模型移植到了 ggml,不再需要 Python,还能量化压缩

开发者 mudler_it 把英伟达的 Parakeet 语音转文字模型用 C++ 和 ggml 重写了一遍,彻底甩掉了 Python 和 PyTorch。他测试下来,在 f32 和 f16 精度下输出结果和原版 NeMo 逐字节一致,但速度更快,大一点的 TDT 和混合模型在 GPU 上能跑到大约 5 倍加速。模型还支持 GGUF 量化,提供了 f1...

推荐理由:我会先打个折:这是个人移植项目,不是 NVIDIA 官方出品,长期维护和后续模型支持还得看社区。但亮点很明确——输出字节级对齐 NeMo,量化后跑得更快,而且不用碰 Python 环境。对想在树莓派、本地服务器或离线场景跑语音转文字的人来说,这是个省事的选择。正文没披露量化后的精度损失有多大,这点先别太激动。整体看,技术验证扎实,痛点打得准,放在 featured 低位合适。

5月31日星期日

机器之心 · 公众号

微软开源 SkillOpt:像训练神经网络一样,自动优化给 AI 智能体看的技能说明书

微软放出了一个叫 SkillOpt 的开源框架,一周就在 GitHub 上拿了 3300 多颗星。它的思路挺直接:不改模型本身的参数,而是像做文本版梯度下降一样,自动迭代优化那些写给 AI 智能体看的“技能文档”。论文里的实验覆盖了 7 个目标模型、6 个评测基准和 3 种执行环境,总共 52 种组合,结果要么最好,要么并列最好。不过正文因为访问限制没...

推荐理由:微软开源的 SkillOpt 把 agent 技能文档当成可训练的文本参数,像训神经网络一样去优化技能描述,这个思路挺新鲜。我会先打个折:论文说在 52 个组合里做到最优或并列最优,但正文没披露具体对比基线和误差范围,这点先别太激动。不过一周 3.3k star 说明 agent 工程圈确实被技能维护和评估成本折磨很久了,一个能自动优化技能文档的工具,哪怕只是省掉一部分手工调 prompt 的活,也值得关注。

5月30日星期六

量子位 · 公众号

人大和至知研究院开源了 Claw Agent 的全套训练方案,连数据带模型和评测一起给了

人大和至知研究院放出了一个叫 ClawGym 的 Agent 训练框架,把数据、训练代码和模型权重都开源了。他们合成了 13500 条可执行的任务当训练数据,又做了 200 条任务的基准测试集。用这套东西训出来的 ClawGym-30B-A3B 模型,在他们自己的 ClawGym-Bench 上拿了 56.82 分,比 Qwen3-235B-A23B ...

推荐理由:这条消息对 Agent 开发者很实用。ClawGym 把数据、代码、模型检查点一起打包开源,不是又一个只有排行榜的项目。13.5K 合成任务规模不算大,但 200 个评测任务和 56.82 的得分给了明确的起点。我会先打个折:正文没披露合成任务的质量验证细节,也没说这个分数在实际业务场景里对应什么水平,所以别急着对标生产环境。但作为开源基建,它降低了复现和改造的门槛,值得关注。

5月29日星期五

AI HOT 精选

小米开源 ControlFoley:给视频配音效,可以按你写的提示词或给的参考音频来

小米大模型应用团队放出了一个叫 ControlFoley 的视频音效生成模型,权重和代码都开源了。它主要解决一个问题:以前模型只能看画面自动猜配什么声音,创作者没法干预。ControlFoley 支持三种用法——用文字描述想要的音效、用文字强行覆盖画面里原有的声音、或者上传一段参考音频让它模仿音色和风格,同时还能保证声音和画面动作对得上。团队自己训了一...

推荐理由:ControlFoley 把视频拟音做成可控生成,还直接开源了全套,对创作者和开发者都挺友好。它不是那种刷榜的基础模型发布,但胜在任务明确、工具属性强,放在 featured 门槛附近是合理的。

5月28日星期四

新智元 · 公众号

清华团队开源 PilotDeck:让多个 AI 分工干活,Token 成本砍掉七成

清华 NLP 实验室、面壁智能、OpenBMB 和 AI9stars 一起放出了 PilotDeck 的开源代码。这套系统让多个 AI 子代理分工协作,各自有独立的工作区和可编辑的记忆库,每次任务还会留下调度日志。文章里举了个例子:在小红书内容生成测试里,用 PilotDeck 把成本从 12.58 美元压到了 2.83 美元,相当于省了 77% 的 ...

推荐理由:我会先打个折,标题里“彻底凉了”是流量话术,但正文确实给了硬数据:子 Agent 路由在小红书内容生成场景把成本从 12.58 美元压到 2.83 美元,降幅接近 77%。如果是真的,对跑 Agent 工作流的人来说挺省钱。不过正文没披露这个数字是在什么规模、什么模型上测的,也没说延迟有没有变差,这点先别太激动。整体是个有具体成本锚点的工具发布,不是大模型或平台级动作,所以分数放在 78–84 区间是合理的。

机器之心 · 公众号

国产预训练具身大模型 Wall-OSS-0.5 开源,宣称跳过微调也能直接干活

X Square Robot 开源了一个叫 Wall-OSS-0.5 的视觉-语言-动作模型,主打“预训练完就能用”。他们放出了 40 万步的预训练 checkpoint,在 17 个真实机器人零样本任务里,有 4 个成功率超过 80%。这次开源的东西挺全:权重、代码、训练配方、消融实验,还有一个叫 DMuon 的优化器实现。不过正文因为环境验证没抓到...

推荐理由:我会先打个折:X Square Robot 不是顶级基础模型实验室,所以重要性停在 79。但这条消息本身挺实在——Wall-OSS-0.5 直接开源了一个 400k 步的预训练 checkpoint,在 17 个真机零样本任务里跑了分,有 4 项超过 80 分。这意味着你不用非得花大量算力和时间做后训练,拿过来就能在部分任务上跑出不错的效果。当然,正文没披露这 4 项具体是什么任务、难度如何,也没说剩下 13 项的表现分布,所以“后训练不再是必选项”这个结论得看场景,别太激动。整体来说,对做具身智能又缺资源的团队是个值得看一眼的发布。

r/LocalLLaMA

有人整理了一份1030亿token的Usenet语料,覆盖1980到2013年,全是真人发言、没有AI污染

一个叫OwnerByDane的用户放出了一套从Usenet新闻组扒下来的语料,总规模1031亿token,包含4.08亿条帖子,横跨18347个新闻组,时间从1980年一直拉到2013年。这套数据最大的卖点是“前互联网时代、纯人类产出、零AI生成内容”,对想避开模型训练数据被AI输出污染的开发者来说,算是个稀缺资源。目前可以免费下载每个新闻组层级500...

推荐理由:我会先打个折:这事目前只在 Reddit 上发酵,完整语料要授权才拿得到,也没有第三方验证或跑过 benchmark,所以分数没给更高。但它的卖点很硬——103B token 的纯人类对话,时间跨度 33 年,对做微调、研究语言演变或者想避开合成数据的人都有吸引力。样本已经挂在 Hugging Face 上,作者还拿它微调了 Gemma 模型,至少说明能用。这点先别太激动,但如果授权条款不苛刻,这个语料库的价值不小。

AI HOT 精选

Hao AI Lab 开源 FastVideo Dreamverse,一张 B200 显卡 7 秒跑出 30 秒 1080p 视频

这个工具用一张 NVIDIA B200 GPU 搭配 LTX-2 模型,把生成 30 秒 1080p 视频的时间压到了 7 秒,做到了实时出片。代码和博客都公开了,但正文没披露画面质量、一致性和复杂场景下的表现,实际效果得自己跑一遍才知道。

推荐理由:我会先打个折:目前只有Hao AI Lab单方面放出的数据,没看到第三方跑分或横向对比,所以别急着当定论。但7秒出30秒1080p这个指标本身很直观,如果真能在单卡B200上稳定复现,对做实时视频生成的人来说省卡又省时间。正文没披露模型权重是否全开源、也没提长视频的连贯性测试,这两点会直接影响实际能用在哪。

5月27日星期三

AI HOT 精选

Perplexity 开源 Unigram 分词器,CPU 占用降了五六倍

Perplexity 把自家重写的 Unigram 分词器开源了,放在 pplx-garden 仓库里。这个分词器主要解决一个实际问题:现在小型的重排序模型和嵌入模型在 GPU 上跑一次只要几毫秒,但 CPU 分词那一步反而成了拖后腿的环节。他们这次重构后,CPU 占用直接降了 5 到 6 倍,等于把分词这步的延迟砍掉一大截,让整体响应更快。正文没提具...

推荐理由:我会先打个折:正文没给独立基准测试、代码仓库细节和实际部署规模,所以 5-6 倍这个数字先别太激动。但分词器确实是重排序和嵌入模型里容易被忽略的 CPU 消耗大户,Perplexity 把这块开源出来,对跑生产 RAG 和搜索管线的团队来说,省下来的算力就是省下来的钱。

AI HOT 精选

面壁智能开源 ForgeTrain,一个完全由 AI 写出来的模型训练框架,零人类代码

面壁智能、清华和 OpenBMB 开源了 ForgeTrain,一个完全由 AI 编写、没有人类代码介入的大模型训练框架。他们用这套框架在华为昇腾芯片上预训练了 MiniCPM5-1B,这个模型在 AA 榜单的 2B 参数以下级别里排到了第一。同时开源的还有制造 ForgeTrain 的 Agent Harness 工具链。正文没披露训练成本、耗时和具...

推荐理由:我会先打个折:这不是一个顶配模型发布,而是一个工具链层面的开源动作,所以给 80 分、放 featured 比较合适。故事的核心是“AI 造 AI”——面壁智能说 ForgeTrain 是全球第一个零人类代码介入的生产级训练框架,并且已经在华为昇腾上跑通了 MiniCPM5-1B 的预训练。对从业者来说,这比单纯刷榜有意思,因为它直接关系到训练流程能不能自动化、能不能省人力。不过正文没披露这套 AI 写的代码质量到底怎么样、训练出来的模型跟人手写的框架比有没有性能差距,这点先别太激动。整体看,H、K、R 三条都踩中了,是个扎实的工具链新闻。

5月26日星期二

AI HOT 精选

商汤把 SenseNova-U1 的训练代码全开源了,一个框架同时训生图、修图、交错生成和理解

OpenSenseNova 在 GitHub 上放出了 SenseNova-U1 的完整训练代码,用 Apache-2.0 协议。代码覆盖了 8B 稠密模型和 A3B MoE(混合专家)架构,在一个统一框架里支持四种多模态任务:文生图、图片编辑、图文交错生成,以及文本与视觉理解。工程上为大规模训练做了准备,支持混合并行、流式可恢复的数据管线、用环境变量...

推荐理由:这条消息的卖点是“完整训练代码开源”,不是常见的只放权重。8B 密集和 A3B MoE 两种模型规格都给了,Apache-2.0 协议也干净。不过正文没披露训练用了多少数据、多少算力,也没有任何评测结果,所以实际效果和训练成本现在没法判断。我会先打个折:代码开源本身值得关注,但别急着对标闭源模型,等社区跑出结果再说。

r/LocalLLaMA

dlmserve 开源:首个为扩散语言模型设计的推理引擎,支持 LLaDA-8B,吞吐量是 HuggingFace 的 2.5 倍

Reddit 上有人放出了一个叫 dlmserve 的开源项目,MIT 协议,专门给扩散语言模型做推理服务。它第一个支持的模型是 LLaDA-8B-Instruct,这种模型生成文本的方式和常见的自回归模型不一样,是一步步“去噪”出完整回答。引擎对外提供兼容 OpenAI 的 /v1/chat/completions 接口,方便直接替换。性能方面,在批...

推荐理由:我会先打个折:目前只有 Reddit 一个信源,生态还很早期,所以分数没往上拉。但这条信息本身对玩本地模型的人挺实用——扩散语言模型一直缺好用的推理引擎,dlmserve 直接说自己是第一个,还给了 batch=4 下 2.5 倍 HF 吞吐、12GB 显存可跑这些具体数字,不是空喊口号。MIT 协议和 OpenAI 兼容接口也让试错成本变低。这点先别太激动,但值得放进雷达让读者知道有这么个东西出现了。

AI HOT 精选

面壁智能开源 MiniCPM5-1B,1B 参数在 AA-Index 上跑赢所有 2B 以下模型,量化后 0.5GB 能塞进手机和浏览器

面壁智能联合清华和 OpenBMB 开源了一个 1B 参数的小模型 MiniCPM5-1B。它在 AA-Index(一个综合评测榜单)上的得分超过了所有参数不到 2B 的模型,甚至比 3 个月前发布的 Qwen3.5-2B 效果还好,参数量却只有后者的一半。这个模型用 INT4 量化后权重文件只有 0.5GB,可以直接在手机和浏览器里跑。它的基础模型是...

推荐理由:HKR 三项都站得住:有具体参数、量化尺寸和端侧运行条件,反差也够。不过它终究是一次小模型发布,影响力到不了旗舰模型级别,所以 featured 和 78 分是合适的。

r/LocalLLaMA

Shard:把 KV 缓存压到原来的十分之一,长上下文推理更省显存

Shard 这套方法能在 Llama-3.1-8B 上把 KV 缓存占的显存砍掉约 90%。具体来说,8K 上下文长度时压缩比约 10 倍,拉到 32K 时能到 11 倍。技术路线分两路:对 Key 矩阵先用 PCA 降维再做 int4 量化,对 Value 矩阵则用 Hadamard 旋转配合向量量化。论文在 NIAH 和 LongBench 两个基...

推荐理由:HKR 三项都站得住:10 倍 KV 缓存压缩是个好钩子,数字和模型、上下文长度、基准测试都列清楚了。信息目前只来自 Reddit 帖子,验证有限,所以分数压在 78–84 这个区间。正文没提压缩方法的具体实现和额外计算开销,这点先别太激动,等有人复现再说。

5月25日星期一

r/LocalLLaMA

一个让 Codex 在无头 Linux 上安全折腾的沙盒框架

作者 superSmitty9999 放出了一个概念验证工具 ai-sandbox-manager,用 LXC 模板给 Codex 开了 sudo 权限、浏览器操作、Docker 和共享 GPU 访问,同时加了个钩子阻止 git push,让模型在隔离副本里干活,降低把系统搞崩的风险。正文没披露性能开销和具体延迟数据。

推荐理由:这是个 Reddit 上的个人概念验证,作者把 Codex 塞进 LXC 沙箱,给了 sudo、浏览器和 GPU,还加了防 push 的钩子。思路很实用,解决了“让模型干活又怕它闯祸”的矛盾,但正文没给任何性能数据、稳定性测试或实际跑任务的案例,目前只能当个有趣的工程方案看,离生产环境还有距离。

机器之心 · 公众号

众趣科技开源浏览器端3D高斯泼溅查看器,10亿个高斯点也能跑,内存和速度都比李飞飞团队的Spark 2.0强

众趣科技把他们的Aholo Viewer开源了,这是一个在浏览器里直接看3D高斯泼溅场景的工具。在300万个高斯点的测试里,它占用的内存只有Spark 2.0的一半,加载速度快了一倍,渲染速度快了两倍,而且宣称能撑住10亿个高斯点的场景。不过正文因为环境验证没抓到具体技术细节,我会先打个折:实际效果得自己跑一下才知道,但光看这几个数字,在网页端做大规模...

推荐理由:这条消息我会打个80分。群核科技这次开源的不是基础模型,而是一个3D渲染工具,但“10亿高斯点塞进浏览器”这个钩子很直观,性能对比也给了具体数字,不是空口说快。对从业者来说,浏览器端能跑这种量级的场景,部署上确实省事省钱。不过正文没披露10亿点场景的具体交互帧率,这点先别太激动,等他们后续补数据。

5月23日星期六

r/LocalLLaMA

club-rdna16:一个在 16GB AMD 显卡上实测本地大模型的仓库

这个仓库用一张 RX 6900 XT(16GB 显存)跑 llama.cpp,后端是 ROCm/HIP,专门验证 AMD 卡在本地跑大模型的实际表现。目前放出的一个亮点是 Qwen3.6 35B-A3B 这个 MoE 模型,用 q8 格式缓存 KV 状态,能稳定撑到 131k 上下文窗口。正文没披露具体的推理速度、功耗和温度数据,所以性能上限和日常可用...

推荐理由:这是一条 Reddit 帖子,不是论文或官方报告。作者把测试仓库公开了,但正文只给了能跑起来的配置条件,没放推理速度、显存占用曲线或可复现的完整日志。我会先打个折:它证明了 16GB A 卡跑大上下文 MoE 模型可行,这点挺省钱,但别急着当生产参考,信息缺口还很大。HKR 三项都踩中了,作为一条给本地 LLM 玩家的实操线索,上 featured 没问题。

r/LocalLLaMA

llama.cpp 新分支让 MoE 模型在 12GB 显存上跑得更快,RTX 2060 上速度从 19/22 tk/s 提到 26 tk/s

comanderxv 给 llama.cpp 开了个叫“experts first”的分支,专门优化混合专家模型(MoE)的显存调度。做法是把常用的专家模块提前缓存到显存里,实测用 RTX 2060(12GB 显存)跑 Qwen3.6-35B-A3B 模型,专家缓存命中率约 62%,生成速度从原来的 19 或 22 token/秒提升到了 26 tok...

推荐理由:HKR 三项都踩中了:钩子是一块 12GB 的老卡把 35B MoE 速度拉上来一截,有缓存机制和命中率数据撑着,话题又打在本地推理的成本神经上。不过这事目前还局限在本地推理的小圈子,所以放在 featured 档刚好,不用拔到必读。

5月22日星期五

AI HOT 精选

网易有道把“子曰4”的多模态模型和语音合成模型都开源了

这次开源的是一个270亿参数的多模态模型和一个语音合成模型。多模态模型主要针对教育场景,能看懂带图表的数学题,在纯中文数理难题上准确率81.4%。团队用精简过的推理样本做训练,把模型思考过程的输出长度压缩了43.2%,所以回答同样的问题,吐出的token更少、推理更快,直接效果就是推理成本会降下来。语音合成模型支持用3秒中文音频克隆音色,能跨14种语言...

推荐理由:我会先打个折:有道不是前沿大模型实验室,所以这条消息的份量到不了顶流,但信息本身够具体。27B 参数的多模态模型,中文数理题做到 81.4% 准确率,说明在中文理科场景有一定可用性,不过正文没披露评测集和对比基线,这点先别太激动。语音模型覆盖 14 种语言,对做多语言 TTS 产品的人是个直接可用的资源。全量开源意味着可以直接拿来微调或部署,省去从头训的成本,但实际推理开销和显存需求正文没提,动手前得自己测一下。整体看,这是一次信息完整、可验证的发布,对关注中文多模态和语音落地的从业者有实操参考价值。

5月21日星期四

AI HOT 精选

腾讯开源 Hy-MT2 翻译模型,1.8B 小版量化后 440MB 就能在手机上跑,性能还超了微软商业 API

腾讯放出了 Hy-MT2 多语言翻译模型,支持 33 种语言互译。7B 和 30B-A3B 两个版本在开源模型里翻译质量最好,比很多参数大几十倍的模型还强。更实用的是 1.8B 轻量版,用 AngelSlim 1.25-bit 量化技术把体积压到 440MB,主流手机芯片就能本地跑,推理速度比上一代快 1.5 倍。官方说这个轻量版性能超过了微软等商业翻...

推荐理由:腾讯这次放出的Hy-MT2,最抓人的点是1.8B模型经1.25-bit量化后只有440MB,能在主流手机芯片上本地跑33种语言互译。这对移动端开发者来说,意味着离线翻译、隐私保护和零服务端成本都有了现成方案。我会先打个折:正文没披露翻译质量基准、实际延迟和开源协议,所以没法判断它在真实场景里到底多能打。但光凭这个体积和语言覆盖,已经是个值得关注的端侧AI信号,只是离旗舰级发布还差一口气。

5月20日星期三

r/LocalLLaMA

用 4 张老 RTX 2080 Ti 在本地跑 DeepSeek-V4,预填充跑到 255 token/s

一个 Reddit 用户用 4 张 RTX 2080 Ti 显卡(总预算不到 2500 美元)在本地跑起了 DeepSeek-V4-Flash 模型。模型总参数 2840 亿,每次推理激活 130 亿参数。他用了 W8A8 量化(把权重和激活值都压到 8 位精度)来省显存,还自己写了适配老 Turing 架构的 CUDA 算子。机器配了 1TB 的 D...

推荐理由:一个 Reddit 用户用 4 块二手 RTX 2080 Ti 搭了一套不到 2500 美元的机器,跑 DeepSeek-V4-Flash(284B 参数,每次推理只激活 13B),通过 W8A8 量化和自己写的 Turing 内核优化,prefill 阶段跑到约 255 tok/s。我会先打个折:这是单用户自报数据,没有第三方复现,也没披露并发、上下文长度和 decode 阶段的吞吐,所以别直接当采购依据。但亮点在于它证明了老卡在量化+定制内核下还能打,对预算有限的团队是个有参考价值的思路。正文没提功耗和稳定性,这两点在实际部署里很关键。

r/LocalLLaMA

开源项目 Codegraph 声称能把 Claude、Cursor 等编程助手的工具调用次数砍掉 94%

Codegraph 的做法是提前给代码建好一张知识图谱,把符号关系、调用链和代码结构都索引好。在 VS Code 的测试里,工具调用从 52 次降到了 3 次,运行时间从 1 分 37 秒缩短到 17 秒。不过正文没披露具体测试的代码规模和任务复杂度,这个 94% 的降幅能不能在别的项目里复现还不好说。

推荐理由:HKR 三条都过了,但证据目前只有 Reddit 帖子和公开仓库的自测结果,没有独立复现或第三方验证。94% 的降幅和 52→3 的调用次数足够上 featured,但还不到 p1 的确定性。我会先打个折:数字好看,但别太激动,等有人复现再说。

r/LocalLLaMA

6GB 显卡跑本地会议纪要的下限测试:Qwen3.5 0.8B 用 57 秒出结果,Granite 4 350M 快但会瞎编

一位用户在 RTX 3060 笔记本(6GB 显存)上拿 VoiceFlow 1.6.0 测了两款小模型,看谁能在本地把一段 4 分钟的会议转成纪要。Qwen3.5 0.8B 在 16K 上下文窗口下花了 57 秒完成总结,结果可用。Granite 4 350M 速度很快,0.6 到 2.8 秒就出稿,但会凭空捏造内容,比如编出币安和《星际迷航》的情节...

推荐理由:一个 Reddit 用户拿笔记本 3060 6GB 跑 VoiceFlow 1.6.0 做会议总结,Qwen3.5 0.8B 用 57 秒处理 4 分钟录音,Granite 4 350M 虽然快到 0.6-2.8 秒但会凭空编造内容。我会先打个折,这是单人单卡的一次性测试,不是系统评测,但 6GB 这个门槛和幻觉案例对想本地跑会议总结的人有直接参考价值,所以给 73 分 featured。

AI HOT 精选

NVIDIA 开源 LongLive 2.0,用 4-bit 量化把长视频生成跑进实时

NVIDIA 把 LongLive 2.0 整套训练和推理代码都放出来了,主打 FP4 量化加并行加速,在 50 亿参数的模型上能跑到每秒 45.7 帧,比很多短视频方案还快。它支持真实视频训练、蒸馏、多镜头生成、序列并行、KV 缓存优化和异步解码部署,专门解决以前长视频生成要么慢到没法用、要么只能做几秒片段的毛病。正文没披露具体显存占用和最长能生成多...

推荐理由:NVIDIA 研究员把 LongLive 2.0 完整开源了,不是只放个模型权重,而是给了训练加推理的全套工具。核心是把视频生成模型压到 4-bit 精度,在 50 亿参数规模下能跑到每秒 45.7 帧,这个速度意味着单卡就能玩长视频生成,不用堆机器。我会先打个折:论文里没看到跟 8-bit 或全精度方案的画质对比,所以省显存是实锤,画质掉多少还不清楚。但作为第一个把 4-bit 量化铺到长视频训练推理全流程的开源项目,对想低成本跑视频生成的人来说,值得立刻翻代码。

5月19日星期二

Hacker News 首页

Forge 给开源小模型加了五层护栏,把智能体任务准确率从 53% 拉到 99%

Forge 是一个 Python 框架,专门给自部署的大模型做工具调用和多步骤智能体流程。它给 Ministral 8B 这个开源小模型套了五层护栏,在 18 个多步骤智能体场景里把任务成功率从 53% 直接提到 99.3%。作者说这背后有篇被 ACM CAIS ’26 录用的论文撑腰,覆盖了 97 种模型和后端组合,每个场景跑了 50 次。不过正文没...

推荐理由:我会先打个折:这是单篇 Show HN 和 GitHub 仓库的展示,还没看到第三方复现或更严苛的对抗测试,所以别直接当生产保证。但它的价值很实在——用 5 层护栏把 Ministral 8B 在代理任务上的表现从不及格拉到接近满分,覆盖了 97 种配置,对想在自己服务器上跑小模型做工具调用的团队来说,省钱的想象空间很大。正文没披露护栏本身会引入多少额外延迟和计算开销,这点先别太激动。

r/LocalLLaMA

字节跳动开源了一个 3B 参数模型,想用一个小体量搞定看图、看视频、生图和修图

字节跳动放出了一个叫 Lance 的开源模型,激活参数只有 3B,但试图把图像和视频的理解、生成、编辑都塞进一个模型里。帖子说它是从头训练的,用了分阶段的多任务训练配方,训练硬件是 128 张 A100 GPU。正文没披露训练时长、具体数据规模和各项任务的实测分数,所以实际效果和泛化能力还得等跑分和社区实测。

推荐理由:我会先打个折:正文没给任何 benchmark 分数,也没提许可证,所以实际能力还得等实测。但亮点很清楚——ByteDance 用 128 张 A100 从零训出一个 3B 活跃参数的多模态模型 Lance,图像视频的理解、生成、编辑全包了,还直接开源。这个参数规模和训练成本对想自己部署的团队诱惑很大,不过没看到对比数据前,先别太激动。

AI HOT 精选

地平线开源了 4 亿参数的机器人控制模型 HoloMotion-1,能跳舞、搬箱子,端侧跑到 300 帧

地平线机器人实验室把一个人形机器人全身控制模型 HoloMotion-1 开源了,参数规模 4 亿,他们管它叫“机器人小脑”。这个模型用了 MoE 稀疏激活和 KV-cache 推理,把单步推理开销压下来,在端侧能跑到约 300FPS,比常见的 50Hz 控制频率高出一大截。训练数据来源比较杂,包括互联网视频、光学动捕、VR 遥操作和惯性动捕,经过统一...

推荐理由:HoloMotion-1 是一个开源机器人控制模型,4 亿参数能在端侧跑到约 300FPS,对做具身智能的团队来说是个可复现的参考。不过目前只看到动作生成能力,正文没披露在真实机器人上的成功率或延迟数据,实际部署效果还得等后续验证。整体偏技术发布,影响力集中在机器人圈子,放在 featured 档位合适。

5月18日星期一

Hacker News 首页

InsForge:给编程 AI 配一个开源后端,一条命令就能部署、调试

InsForge 是一个 Apache 2.0 协议的开源后端平台,专门给编程类 AI(也就是 coding agent)用。它把数据库、用户认证、文件存储、算力托管和 AI 网关打包在一起,AI 写代码时可以直接调用这些现成模块,不用每次都从零搭后端。安装只要一行 CLI 命令,再配上它的 Skills 功能,AI 就能自己完成部署、运维和查错。目前...

推荐理由:InsForge 的定位很准,就是帮 coding agent 解决部署和运维的后端平台,一条命令安装,协议也宽松。不过目前只有 Show HN 和 GitHub 仓库,正文没披露实际使用量、性能基准或生产环境案例,所以先按 featured 处理,等有落地数据再往上调。

量子位 · 公众号

openJiuwen 开源 JiuwenSwarm,一个让多个 AI 智能体组队干活的协调框架

正文因为微信环境异常被屏蔽了,实际内容没抓到。从标题和已有英文摘要看,openJiuwen 社区发了一个叫 JiuwenSwarm 的开源框架,核心是让多个 AI 智能体像蜂群一样协作。框架包含四块:Agent Swarm(智能体集群)、Swarm Skills(集群技能)、Skills Hub(技能库)和自进化能力。它还支持两种人类参与模式,HOTS...

推荐理由:我会先打个折:标题里的“重磅”和“拉开序幕”有点公关味,但内容确实把 JiuwenSwarm 的四个模块(Agent Swarm、Swarm Skills、Skills Hub、自演进)和两种人机协作模式(HOTS/HITS)讲明白了。对正在选型 agent 编排框架的团队来说,开源、可复用的技能库是实打实的关注点。不过正文没披露任何基准测试、延迟或实际部署规模,这点先别太激动,等有跑分或案例再判断也不迟。

r/LocalLLaMA

用 4B 小模型搭了个编程助手,跑分冲到 87%,作者把方法全摊开了

作者用 Gemma 4 的 4B 参数模型做了一个叫 SmallCode 的编程 agent,在 100 道题的基准测试里解出了 87 道。核心不是模型本身,而是给模型配了一套复合工具:写完代码自动编译、跑 lint 检查,出错就根据报错信息改;同一个任务连续失败两次后,会自动把问题拆成更小的子任务再试。遇到实在搞不定的题,还能把任务转给 Claude...

推荐理由:这是一篇 Reddit 个人实验帖,不是正式论文。我会先打个折:基准测试的具体身份和复现细节没给全,87 分到底是在哪个测试集上跑的、对比基线是谁,正文没披露。但作者把做法讲得很实在——用复合工具、编译反馈当纠错信号、任务拆解策略,这些工程思路对想自己折腾小模型编程智能体的人有直接参考价值。信息有缺口,但第一手实验的干货够,放在 featured 档合适。

AI HOT 精选

开源工具 api-relay-audit 能揪出 AI API 中转站有没有偷工减料

这个工具专门查中转站三类小动作:改写工具调用指令、用报错信息泄露模型身份、偷偷截断上下文。它给出的是可复现的三态结果(有/无/不确定),附带透明日志,比 hvoy.ai 和 cctest.ai 这类工具更可信。作者把检测方法、对比结果和速查表都公开了,工具本身也开源了。

推荐理由:我会先打个折:信息源只有一条 X 推文,没有披露实际检出率、误报率或用户规模,所以分数压在低 featured 档。但工具本身思路很实用,把 API 中转站可能搞的小动作拆成三个可检测的维度,还给透明日志,从业者拿到就能跑。正文没提有没有配套的持续监控或告警,这点先别太激动。

5月17日星期日

Hacker News 首页

Semble:给 AI 编程助手用的代码搜索工具,比 grep 省 98% 的 token

MinishLab 开源了 Semble,一个专为 AI 编程 agent 设计的代码搜索工具。它把轻量级语义嵌入(Model2Vec)、传统关键词匹配(BM25)和融合排序(RRF)串在一起,最后再用重排序模型精排结果。在 63 个代码仓库的测试里,它的搜索质量达到 NDCG@10 0.854,每次查询在 CPU 上大约只要 1.5 毫秒。最直接的好...

推荐理由:Semble 的卖点很直接:给代码 agent 用的搜索工具,比 grep 加 read 少花 98% 的 token,CPU 上跑一次大概 1.5 毫秒。这个数字我会先打个折,因为基准测试里的 grep 用法可能不是最优的,但方向是对的——用传统检索加轻量重排来替代把整个代码库塞进上下文,确实能省不少钱和延迟。正文没披露重排模型的具体大小和准确率对比,这点先别太激动。整体还是工具链层面的改进,影响力到不了必须写的地步,但对做 coding agent 的人来说值得一试。

AI HOT 精选

开源模型井喷:Gemma 4、DeepSeek V4、Kimi K2.6 等集体发布,CAISI 评估称开源落后闭源

这个月开源模型扎堆更新,DeepSeek V4、Gemma 4、Kimi K2.6、MiMo 2.5、GLM-5.1 全来了。CAISI(美国 AI 标准与创新中心)用 9 个基准测了 DeepSeek V4,给出的结论是开源模型跟美国闭源前沿差距在拉大,尤其在 CTF 安全挑战、ARC-AGI-2 和他们的私密基准 PortBench 上 V4 得分...

推荐理由:这条消息把五款开源模型的新版本打包在一起,还挂了个 CAISI V4 评估的钩子,对关注模型选型的人挺有吸引力。我会先打个折:正文只说用了这套框架测试,分数一个没给,所以目前只能当个发布清单看,没法横向比较。这点先别太激动。不过模型名字和版本号都明确,开源阵营的密集更新本身就能影响团队的部署和成本判断,所以整体还是值得推。

AI HOT 精选

AntLingAGI 开源万亿级推理模型 Ring-2.6-1T,专为智能体工作流设计,5 月底前在 OpenRouter 打二五折

AntLingAGI 把 Ring-2.6-1T 开源了,同时上线了 OpenRouter 平台。这个模型参数量达到万亿级别,不是单纯回答问题,而是冲着让模型进业务流程干活去的:规划步骤、调用工具、维持长上下文、跑完复杂任务。训练用了 Async RL 和 IcePop 两种方法,正文没展开解释具体怎么做的。5 月底前在 OpenRouter 调用有 ...

推荐理由:我会先打个折——正文没给基准测试、许可证和上下文窗口,所以分数不动。但 HKR 三项都站得住:标题有钩子,信息有增量,对智能体开发者有实际参考价值。75% 折扣和 OpenRouter 上线是实打实的动作,Async RL 和 IcePop 训练方法也给了技术线索,只是缺验证数据,这点先别太激动。