跳到正文

开源生态

开源模型、框架与仓库动态:权重开放、社区项目爆火、开源与闭源的力量消长。

388 条精选相关主题模型发布Hugging FaceAI 编码

最新精选

第 301–320 条 · 共 388 条

5月10日星期日

r/LocalLLaMA

BeeLlama.cpp:用 DFlash 和 TurboQuant 让 Qwen 3.6 27B 在单张 3090 上跑 20 万上下文,速度翻倍

Anbeeld 发了一个 llama.cpp 的分支 BeeLlama.cpp,主要加了 DFlash(一种省显存的注意力机制)和 TurboQuant(更快的量化方案),还支持推理和视觉任务。

推荐理由:Anbeeld 发布 llama.cpp 分支 BeeLlama.cpp,加入 DFlash 省显存注意力与 TurboQuant 量化,让 Qwen 3.6 27B 在单张 3090 上支持 20 万上下文并提速 2 至 3 倍。

5月9日星期六

AI HOT 精选

YC 老板 Garry Tan 开源了自己的 AI 系统 GBrain,五个月读了 20 多本书,管着 10 万页知识

Garry Tan 把 GBrain 放上了 GitHub,这是他给自己搭的一套个人 AI 操作系统,想做成能持续增值的“第二大脑”。系统按任务拆成几个模块:Book Mirror 负责深度处理书籍,Meeting Prep 自动做会前预习,五个月啃完 20 多本书,结构化知识库超过 10 万页,还在涨。

推荐理由:Garry Tan 把自用的 GBrain 开源,五个月处理 20 多本书、积累超 10 万页结构化知识,为想用模型管理个人资料的人提供了一套可参考的模块拆分方式。

AI HOT 精选

Redis 作者用几千行 C 代码把 DeepSeek V4 Flash 塞进 MacBook,跑出 27 tok/s

Antirez 开源了一个叫 ds4 的推理引擎,专门给 DeepSeek V4 Flash 用。代码只有几千行 C,能在 128GB 内存的 MacBook Pro 上跑 100 万 token 上下文的模型。他用了三招:对 MoE 专家做不对称 2-bit 量化来压缩模型体积;把 KV Cache 搬到高速 SSD 上,绕开内存不够的问题。

推荐理由:Antirez 开源的 ds4 用几千行 C 代码,在 128GB 内存的 MacBook Pro 上跑通 DeepSeek V4 Flash 的百万 token 上下文,其 MoE 专家 2-bit 量化与 KV Cache 落盘 SSD 的做法,为本地部署大模型提供了可迁移的工程思路。

新智元 · 公众号

港中文开源 ArbiterOS:在模型动手前先拦一刀,高危操作拦截率拉到 92.95%

港中文 CURE 实验室把 ArbiterOS 开源了,这是一个给 AI 智能体(Agent)用的运行时治理内核。它的思路很直接:不让模型直接拿到执行权,而是在模型生成操作指令后、系统真正执行前,插一层拦截、解析、治理和观测。在 OpenClaw 的安全测试任务上,这套机制把高危步骤的拦截率从原来的 6.17% 提到了 92.95%。

推荐理由:港中文 CURE 实验室开源 ArbiterOS,在模型生成指令后、系统执行前加一层运行时治理,把 OpenClaw 测试中的高危步骤拦截率从 6.17% 提到 92.95%。

机器之心 · 公众号

港科大和社区开源了 StarVLA,一个框架把主流视觉-语言-动作模型串了起来

StarVLA 把 VLA(视觉-语言-动作模型)里常用的主干网络、动作输出头、训练策略和评测接口都做成了可插拔的模块,不用再为不同论文各搭一套代码。仓库在 GitHub 上已经拿到 2.2k 星,支持的基准包括 LIBERO、SimplerEnv、RoboTwin 2.0、RoboCasa-GR1 和 BEHAVIOR-1K。

推荐理由:港科大与社区开源 StarVLA,把 VLA 常用的主干网络、动作输出头和训练评测接口做成可插拔模块,省去为不同论文各搭一套代码的重复工作。

r/LocalLLaMA

单张 RTX 4090 跑 Qwen3.6-27B,262K 上下文冲到 80+ t/s

indrasmirror 用一张 RTX 4090 跑 Qwen3.6-27B-Heretic-v2,上下文拉到 262K token,搭配 TBQ4_0 格式的 KV 缓存和 MTP 推测解码(draft 3),生成速度从约 43 t/s 提到 80-87 t/s。MTP 草稿接受率大概 73%,说明模型对草稿的采纳比例不低,这是提速的关键。

推荐理由:indrasmirror 在单张 RTX 4090 上把 Qwen3.6-27B 的上下文拉到 262K,并用 MTP 推测解码把生成速度从约 43 t/s 提升到 80-87 t/s,草稿接受率约 73%。

5月8日星期五

Hacker News 首页

re_gent:给 AI 编程助手配一个 Git,能回滚、能查它为什么改文件

regent-vcs 开源了一个叫 re_gent 的工具,想给 AI 编程助手(目前只支持 Claude Code)加上类似 Git 的版本控制。它能记录 AI 为什么改某个文件、支持把整个对话过程回滚到之前的状态,还能用二分法定位 AI 的哪一步操作引入了问题。

推荐理由:regent-vcs 开源的 re_gent 为 Claude Code 加上类似 Git 的版本控制,记录 AI 改文件的原因并支持回滚对话,还用二分法定位是哪一步操作引入问题。

AI HOT 精选

Anthropic 把开源对齐测试工具 Petri 捐给了独立机构 Meridian Labs

Anthropic 把自家用来测模型有没有撒谎、拍马屁、配合危险请求的开源工具箱 Petri,转交给了非营利评测机构 Meridian Labs。这么做是为了让工具脱离 AI 公司,评测结果更中立、更让人信服。Petri 从 Claude Sonnet 4.5 起就参与内部对齐检查,英国 AI 安全研究所也用它来评估模型会不会破坏 AI 研究。

推荐理由:Anthropic 将内部用于检查模型撒谎、拍马屁等行为的对齐工具 Petri 交给非营利评测机构 Meridian Labs,工具由此脱离开发方,评测中立性获得组织层面的支撑。

AI HOT 精选

antirez 开源了 DeepSeek 4 Flash 的本地推理引擎,专跑在苹果芯片的 Metal 上

Redis 作者 antirez 在 GitHub 上放出了一个叫 ds4 的项目,是一个让 DeepSeek 4 Flash 模型在 Mac 上本地跑的推理引擎。它直接调用苹果的 Metal Performance Shaders 来降低延迟和内存占用,相当于给模型配了个更底层的加速驱动,而不是简单套个壳。

推荐理由:Redis 作者 antirez 发布 ds4 项目,让 DeepSeek 4 Flash 模型在 Mac 上本地运行,并直接调用苹果 Metal Performance Shaders 降低延迟与内存占用。

5月7日星期四

AI HOT 精选

商汤 SenseNova-U1 开源 8 步蒸馏 LoRA,扩散模型推理从 23 秒压到 2 秒

商汤把扩散模型常用的 100 步生成流程蒸馏到只剩 8 步,GPU 上跑一张图从 23 秒降到 2 秒,快了 11 倍。做法是训了一个 LoRA 权重,直接挂到模型上就能用,不用改原模型结构。配套给了 ComfyUI 工作流,覆盖文生图、改图和交错生成。正文没提具体画质对比和什么显卡跑的,这点先别太激动。

推荐理由:商汤开源 8 步蒸馏 LoRA,把扩散模型 100 步生成流程压缩到 8 步,单张图 GPU 推理从 23 秒降到 2 秒,并配套 ComfyUI 工作流,覆盖文生图、改图和交错生成。

r/LocalLLaMA

在单张 RTX 3090 Ti 上跑 Qwen3.5/3.6 的 NextN MTP 投机解码指南

Reddit 用户分享了一个 llama.cpp 实操指南,用单张 RTX 3090 Ti 跑 Qwen3.5 和 3.6 的 NextN MTP(多 token 预测,一种让模型一次猜好几个词来加速生成的技术)。目前需要打两个还没合并的 PR:#22400 和 #22673。

推荐理由:Reddit 用户给出在单张 RTX 3090 Ti 上运行 Qwen3.5 和 3.6 的 llama.cpp 实操指南,依赖两个尚未合并的 PR,涉及 NextN MTP 投机解码的配置方法。

AI HOT 精选

Open Slide 用 React 写 PPT,让 AI 直接生成和修改幻灯片代码

Open Slide 是一个开源项目,把 PPT 当成 React 组件来写,工作流专门为 AI agent 设计。它用 React 组件库做扩展,方便接入各种图表。项目自带可视化编辑器,你可以手动改,AI 也能直接读你的批注来协同修改内容。它还集成了 SVGL 库,里面有 1500 多个品牌 Logo,做技术演示时直接拖就行。

推荐理由:Open Slide 把 PPT 写成 React 组件,AI 能直接读批注改稿,并接入 1500 多个品牌 Logo,为技术演示提供了一条可编程的幻灯片工作流。

r/LocalLLaMA

Atlas 推理引擎开源,在 DGX Spark 上跑 Qwen3.6-35B-FP8 能稳定跑到每秒 100 多个 token

Avarok 把 Atlas 推理引擎开源了。它用 Rust 和 CUDA 写成,镜像只有约 2.5GB,冷启动不到两分钟。在一台 DGX Spark 上跑 Qwen3.5-35B,实测持续速度约 111 tok/s,作者说比 vLLM 快 3.0 到 3.3 倍。

推荐理由:Avarok 开源了用 Rust 和 CUDA 写的 Atlas 推理引擎,在 DGX Spark 上跑 Qwen3.5-35B 实测约 111 tok/s,作者称是 vLLM 的 3.0 到 3.3 倍。

5月6日星期三

r/LocalLLaMA

CopilotKit:一套 MIT 开源的 React 组件,帮你给 AI 应用搭聊天界面和生成式 UI

CopilotKit 是一套 MIT 协议开源的 React 组件库,专门用来给 agent 类应用搭前端。它把聊天、流式输出、工具调用、人机协同(HITL)和生成式 UI 这些常见需求都做成了现成的积木块。项目在 GitHub 上有 3 万颗星。

推荐理由:CopilotKit 把聊天、流式输出、工具调用和人机协同做成 MIT 开源的 React 组件,给 agent 应用搭前端时可直接复用这套积木块。

r/LocalLLaMA

Qwen 3.6 27B 用上 MTP 后推理速度提升 2.5 倍,48GB 显存可跑 26 万上下文

这篇帖子来自 Reddit 的 r/LocalLLaMA,作者分享了一个 llama.cpp 的 PR,为 Qwen 3.6 27B 模型添加了 MTP(多令牌预测)支持,实测推理速度提升了 2.5 倍。在 Mac M2 Max 96GB 上达到了 28 tok/s 的生成速度。

推荐理由:llama.cpp 的 PR 为 Qwen 3.6 27B 加入 MTP 支持,实测推理提速 2.5 倍,并在 48GB 显存下支持 26 万上下文,为本地 agentic coding 提供了可参考的配置方案。

机器之心 · 公众号

阿里开源 PromptEcho:用冻结的视觉语言模型给文生图训练打分,省掉额外训练成本

PromptEcho 的做法很直接:拿一个现成的、参数冻结的 Qwen3-VL-32B 模型,让它“读”一遍原始提示词,算出模型自己生成这些词的概率(交叉熵),然后把这个概率的负值当作连续奖励信号,喂给文生图模型做训练。好处是不用再单独训一个评分模型,省事。在 5000 张海报测试里,文字准确率从 68% 提到了 75%。

推荐理由:阿里开源 PromptEcho,用冻结的 Qwen3-VL-32B 直接生成连续奖励信号,省去单独训练评分模型,在 5000 张海报测试中把文字准确率从 68% 提到 75%。

机器之心 · 公众号

DeepSeek版Claude Code登顶GitHub热榜,8700星,一个叫鲸鱼哥的开发者用Rust做了个终端工具

这个叫DeepSeek TUI的工具在GitHub上拿了8700多颗星,是开发者Hunter Bown(鲸鱼哥)用Rust写的,让你在本地终端里直接调用DeepSeek V4干活。它能聊天、改文件、跑shell命令、管任务。

推荐理由:开发者Hunter Bown用Rust写的DeepSeek TUI在GitHub获8700多颗星,支持在本地终端调用DeepSeek V4聊天、改文件、跑shell命令,是个人项目热度与终端集成方式的一个样本。

机器之心 · 公众号

明略开源两套工具,让 Mac 跑本地模型和操控桌面

明略科技放出了两个开源项目:Cider 和 Mano-P 1.0,都是给苹果 M 系列芯片用的。Cider 是个推理加速引擎,在 M5 Pro 上跑 Qwen3-VL-2B 时,把生成第一个 token 前的等待时间缩短了 57% 到 61%。Mano-P 1.0 是个能操作电脑界面的模型,72B 版本在 OSWorld 测试里拿了 58.2 分。

推荐理由:明略科技开源 Cider 与 Mano-P 1.0,前者在 M5 Pro 上把 Qwen3-VL-2B 的首 token 等待缩短约六成,后者 72B 版本在 OSWorld 拿到 58.2 分。

5月5日星期二

r/LocalLLaMA

SenseNova-U1-8B-MoT 开源多模态架构引发讨论,去掉 VE 和 VAE 的单体设计是亮点还是噱头?

商汤开源了一个叫 SenseNova-U1-8B-MoT 的 8B 多模态模型,能理解图文也能直接生成图片。它最特别的地方是用了 NEO-Unify 架构,把传统多模态模型里常见的 VE(视觉编码器)和 VAE(变分自编码器)都去掉了,支持图文交错生成和高密度渲染。

推荐理由:商汤开源 8B 多模态模型 SenseNova-U1-8B-MoT,其 NEO-Unify 架构去掉视觉编码器和变分自编码器,把图文理解与图像生成放进同一模型,为多模态架构设计提供了一种不同取舍。

r/LocalLLaMA

微软 VibeVoice 语音合成与长音频转写被移植到纯 C++,推理不再需要 Python

LocalAI 把微软的 VibeVoice 模型用 ggml 重写成 C++ 版本,叫 vibevoice.cpp,支持 CPU、CUDA、Metal 和 Vulkan 推理,不用装 Python 环境。语音合成这边,给一段 30 秒的参考录音就能克隆声音,输出 24kHz 的语音。

推荐理由:LocalAI 把微软 VibeVoice 的语音合成与长音频转写重写为纯 C++ 版本,支持 CPU、CUDA、Metal 和 Vulkan 推理,本地部署不再依赖 Python 环境。