跳到正文

开源生态

开源模型、框架与仓库动态:权重开放、社区项目爆火、开源与闭源的力量消长。

388 条精选相关主题模型发布Hugging FaceAI 编码

最新精选

第 321–340 条 · 共 388 条

5月5日星期二

r/LocalLLaMA

FastDMS 把 KV 缓存压到 1/5~1/8,跑得比 vLLM BF16/FP8 还快

FastDMS 放出了一个 MIT 许可的实现,核心是把模型推理时占显存的 KV 缓存压到原来的 1/5 到 1/8。在 8K 上下文长度下,Llama-3.2-1B 用 6.4 倍压缩后困惑度是 9.200;Qwen3-8B 在压缩系数 c=1 时,KV 缓存从 1.406 GiB 直接降到 0.184 GiB。

推荐理由:FastDMS 开源了 MIT 许可的 KV 缓存压缩实现,在 8K 上下文下把 Llama-3.2-1B 的缓存压到 1/5 至 1/8,并给出困惑度与显存占用的具体数字。

5月4日星期一

r/LocalLLaMA

用 Hermes Agent 和 qwen3.6-35b 在本地跑深度研究,生成了 21 页报告

一位 Reddit 用户用 Hermes Agent 框架搭配 qwen3.6-35b-a3b 的 Q6_K 量化版,在单张 RTX 4060 上跑了 6 轮循环、超过 5 小时,生成了一份 21 页的研究报告。生成速度约每秒 28 个 token。仓库里放了提示词、脚本、中间产物和最终报告。

推荐理由:Reddit 用户用 Hermes Agent 搭配 qwen3.6-35b 量化版,在单张 RTX 4060 上跑 6 轮循环生成 21 页报告,仓库附提示词、脚本与中间产物。

量子位 · 公众号

DeepSeek-TUI 开源:一个用 Rust 写的终端版 DeepSeek 编程助手,GitHub 上拿了 2.3k 星

这是一个叫 DeepSeek-TUI 的终端工具,你可以把它理解成“DeepSeek 版的 Claude Code”,专门在命令行里帮你写代码、跑命令。项目用 Rust 开发,MIT 协议开源,目前主要对接 DeepSeek V4 模型,支持 100 万 token 的上下文窗口。

推荐理由:DeepSeek-TUI 用 Rust 写了一个终端里的编程助手,对接 DeepSeek V4 并支持 100 万 token 上下文,MIT 协议开源,适合想了解命令行 AI 编码工具实现方式的开发者。

r/LocalLLaMA

一个 4.5 亿参数的视觉模型在卫星上跑野火检测,瓶颈不是模型质量,是带宽

作者 PauLabartaBajo 搭了一套端到端的野火预防管线,把 4.5 亿参数的视觉语言模型 LFM2.5-VL 直接部署在卫星上做推理。核心约束是卫星下行带宽太窄,传不了大尺寸多光谱图像,所以方案反过来:在轨跑模型,只下传一份 JSON 格式的风险评估结果。

推荐理由:作者把 4.5 亿参数的视觉语言模型直接部署在卫星上做野火推理,只下传 JSON 风险评估结果,绕开了下行带宽对多光谱图像的传输限制。

5月3日星期日

r/LocalLLaMA

开源代理 rosetta-llm 让 Claude Code 能调用任意模型

DataNebula 开源了一个叫 rosetta-llm 的代理,它像一个翻译网关,让 Claude Code 可以跟不同厂商的模型对话。

推荐理由:DataNebula 开源的 rosetta-llm 充当翻译网关,让 Claude Code 能调用不同厂商的模型,为多模型混用提供了一种接入思路。

r/LocalLLaMA

Upskill 开源了一个技能注册表,让 AI 代理动手前先查“说明书”,已收录超 1 万个技能

Autoloops 把 Upskill 做成了开源项目,相当于给 AI 代理配了一本可检索的技能黄页,目前索引了超过 1 万个技能。代理在干活前会先来这里查一下有没有现成的工具或流程可用。搜索靠的是 Postgres 全文检索、1024 维向量匹配,再按收藏数、安装量和反馈做重排序,尽量把靠谱的技能往前排。

推荐理由:Autoloops 开源了 Upskill 技能注册表,索引超 1 万个技能,代理执行任务前可先检索现成工具或流程,搜索结合全文检索、向量匹配与收藏安装反馈重排序。

量子位 · 公众号

清华 AIR 开源具身智能仿真框架 GS-Playground,一块 4090 能同时跑 2048 个场景

清华 AIR DISCOVER 实验室和合作方开源了 GS-Playground,已被 RSS 2026 接收。这个框架把批量 3D 高斯泼溅渲染和并行物理引擎绑在一起,专门解决机器人训练时视觉仿真的算力瓶颈。在 RTX 4090 上,640×480 分辨率能跑到每秒一万帧,同时并行跑 2048 个场景。

推荐理由:清华 AIR 与合作方开源的 GS-Playground 把批量 3D 高斯泼溅渲染与并行物理引擎耦合,单张 RTX 4090 在 640×480 下达到每秒一万帧并同时跑 2048 个场景。

r/LocalLLaMA

Reddit 网友用纯 C++17 手搓了一个 83 万参数的 Transformer,不用 PyTorch 也不用 BLAS,单核 CPU 训练 76 分钟

一个叫 Suspicious_Gap1121 的 Reddit 用户放出了 Quadtrix.cpp,一个用 C++17 从零写的 GPT 风格模型,总共 83 万参数。模型结构是 4 层、4 个注意力头、宽度 200 维,一次能看 128 个字符的上下文。

推荐理由:Reddit 用户用 C++17 从零实现 83 万参数的 GPT 风格模型,手写全部反传,单核 CPU 训练 76 分钟,省去 PyTorch 和 BLAS 依赖。

5月2日星期六

r/LocalLLaMA

Semvec:把聊天记录压成固定大小的“语义状态”,上下文再长也不涨 token

一个开发者在 Reddit 上发了个叫 Semvec 的项目,思路是把对话历史从无限增长的文本流换成固定大小的语义向量,每次推理只传这个压缩后的状态。他给出的 48 轮基准测试里,token 用量大概砍掉了 76%,而且第 10 轮和第 10000 轮的输入开销一样大。

推荐理由:开发者把对话历史换成固定大小的语义向量,48 轮基准里 token 用量减少约 76%,第 10 轮与第 10000 轮的输入开销相同,长链 agent 的上下文成本问题由此多了一种压缩思路。

r/LocalLLaMA

有人在 Windows 上直接用 vLLM 跑 Qwen3.6-27B,单张 RTX 3090 跑到 72 tok/s

Reddit 用户 One_Slip1455 发了个原生 Windows 版 vLLM 启动器,不用 WSL 也不用 Docker。在一张 RTX 3090 上跑 Qwen3.6-27B(INT4 量化),短上下文能到 72 tok/s。

推荐理由:Reddit 用户发布原生 Windows 版 vLLM 启动器,无需 WSL 或 Docker,在单张 RTX 3090 上以 INT4 量化运行 Qwen3.6-27B,短上下文达到 72 tok/s。

量子位 · 公众号

腾讯混元开源 440MB 翻译模型,手机离线跑,自称翻译质量超谷歌

腾讯混元放出了一个叫 Hy-MT1.5-1.8B-1.25bit 的翻译模型,把原本 1.8B 参数的模型压到了 440MB,能在骁龙 888、8GB 内存的安卓手机上离线跑。它支持 33 种语言、1056 个翻译方向。压缩的关键是一种叫 Sherry 1.25 比特量化的技术,做法是每 4 个权重里,3 个用 1 比特存,1 个直接置零。

推荐理由:腾讯混元开源 1.8B 翻译模型,经 1.25 比特量化压到 440MB,可在骁龙 888 手机离线运行,覆盖 33 种语言和 1056 个翻译方向。

5月1日星期五

r/LocalLLaMA

PFlash:在 RTX 3090 上跑 128K 上下文,预填充比 llama.cpp 快 10 倍

PFlash 让 Qwen3.6-27B 的 Q4_K_M 量化模型在单张 RTX 3090 上处理 12.8 万 token 的输入时,首 token 延迟从 llama.cpp 冷启动的 248.4 秒压到 24.8 秒。做法是用一个 Qwen3-0.6B 小模型当“打分员”,挑出最重要的 5% 文本片段喂给大模型,省掉了大量无关计算。

推荐理由:PFlash 用 Qwen3-0.6B 小模型挑出 5% 关键片段喂给大模型,把 RTX 3090 上 12.8 万 token 输入的首 token 延迟从 248.4 秒降到 24.8 秒。

新智元 · 公众号

一个开发者用10天婚假做了个AI世界生成器,一句话就能生成会自己运转的小镇

这个叫WorldX的项目,你输入一句话,它大概5分钟就能生成一个完整的AI世界。背后是一套6步地图生成流程,每个世界消耗约3万到18万个token。里面的NPC有自己的两层记忆和双轴情绪,会按Tick循环自主行动。比较有意思的是它用叠加标签加色差定位来做确定性坐标,让角色能真正走到具体位置而不是大概描述。

推荐理由:开发者用10天婚假做出WorldX,输入一句话约5分钟生成完整AI世界,文中披露6步地图生成流程、token消耗区间和确定性坐标方案,可供做世界生成与NPC记忆的人参考。

量子位 · 公众号

北大和快手可灵开源 OpenWorldLib,一个框架想统一视频生成、3D、机器人控制和推理

正文因为微信环境异常被拦截了,实际内容没抓到。从现有标题和英文摘要看,北大 DCAI 和快手可灵开源了一个叫 OpenWorldLib 的统一世界模型框架,把视频生成、3D 建模、VLA 机器人控制、多模态推理四类任务塞进一套 Pipeline 里。Pipeline 里分了 Operator、推理、合成、表征和记忆几个模块,支持前向和流式执行。

推荐理由:北大 DCAI 与快手可灵开源 OpenWorldLib,把视频生成、3D 建模、VLA 机器人控制与多模态推理四类任务纳入同一套 Pipeline,并给出 Operator、推理、合成、表征和记忆的模块划分。

Hacker News 首页

Pu.sh:一个 400 行 shell 脚本搭起来的编程助手框架

Pu.sh 用大约 400 行 shell 脚本(只靠 sh、curl 和 awk)搭了一个编程助手的运行框架。它支持 Anthropic 和 OpenAI 的接口,内置 7 种工具,有对话上下文自动压缩、断点续跑和管道模式,还配了 90 个不调 API 的测试用例。没有图形界面、流式输出、图片处理、OAuth 登录,也不支持 Windows。

推荐理由:Pu.sh 用约 400 行 shell 脚本实现编程助手的完整运行框架,涵盖工具调用、上下文压缩与断点续跑,为想理解 agent 核心链路又不想引入复杂依赖的读者提供了一份极简可读的实现参考。

4月30日星期四

r/LocalLLaMA

inclusionAI 在 Hugging Face 开源了 Ling-2.6-1T,一个 1 万亿参数的模型

这个模型用了 MLA 和线性注意力,还加了一个叫“上下文过程冗余抑制”的技术,目的是降低思维链推理时的计算开销。帖子提到了 AIME26 和 SWE-bench Verified 两个基准,但正文没披露具体分数,所以实际表现还不清楚。另外,Reddit 原帖被网络屏蔽了,目前只能看到标题和简介,更多细节得去 Hugging Face 模型页翻。

推荐理由:inclusionAI 在 Hugging Face 开源万亿参数的 Ling-2.6-1T,采用 MLA 与线性注意力并加入上下文过程冗余抑制,为关注大模型推理优化的读者提供架构参考。

X · @dotey(宝玉)

Hermes Agent 的记忆系统拆解:它用四层设计避开了 OpenClaw 的坑

Hermes Agent 的记忆不是一套,而是四套:高度浓缩的提示词记忆(MEMORY.md 和 USER.md)、可搜索的 SQLite 历史会话存档、像程序记忆一样运作的技能管理,以及可选的 Honcho 深层用户建模。

推荐理由:Hermes Agent 的记忆系统由提示词记忆、SQLite 历史会话、技能管理和 Honcho 用户建模四层组成,拆解了它与 OpenClaw 在记忆设计上的取舍差异。

4月29日星期三

量子位 · 公众号

UCL 等团队开源 Avenir-Web,一个不用额外训练就让网页智能体干活更稳的框架,在 ONLINE-MIND2WEB 上跑到 53.7%

Avenir-Web 是 UCL、普林斯顿和爱丁堡大学一起开源的一个网页智能体框架,主打不训练、直接给模型套上就能用。它在 ONLINE-MIND2WEB 这个包含 136 个网站、300 个真实在线任务的测试里,成功率做到了 53.7%。

推荐理由:UCL、普林斯顿和爱丁堡团队开源的 Avenir-Web 无需额外训练即可接入模型,在包含 136 个网站、300 个真实任务的 ONLINE-MIND2WEB 上成功率达到 53.7%。

r/LocalLLaMA

商汤发布 SenseNova-U1:一个原生架构同时搞定看图理解和生图,不再靠外挂适配器

商汤放出了 SenseNova-U1 系列,主打“原生统一多模态”,意思是模型内部直接处理文字和图像,不用再像以前那样给语言模型外接一个图像适配器来翻译视觉信息。这次公开了 8B 和 A3B 两种 MoT(Mixture of Tokens)规格的权重,其中 A3B 的参数量更小,适合本地跑。

推荐理由:商汤开源 SenseNova-U1 系列,模型内部直接处理文字与图像,不再外接图像适配器,并公开 8B 和 A3B 两种 MoT 规格权重,其中 A3B 参数量更小、适合本地运行。

X · @dotey(宝玉)

微软开源语音模型 VibeVoice-ASR 实测:一小时播客 8 分 45 秒转完,但 32GB 内存的 Mac 跑不动

Simon Willison 在 128GB 内存的 M5 Max MacBook Pro 上跑了社区做的 4-bit 量化版 VibeVoice-ASR,模型大小 5.71GB。转写一小时播客用了 8 分 45 秒,prefill 阶段内存峰值冲到 61.5GB,生成阶段稳定在 18GB 左右,所以普通 32GB 笔电基本没戏。

推荐理由:Simon Willison 在 128GB 内存的 M5 Max 上实测微软开源的 VibeVoice-ASR,转写一小时播客耗时 8 分 45 秒,prefill 阶段内存峰值达 61.5GB,为本地部署提供了硬件门槛参考。