跳到正文

#开源/仓库

今日 2 条

5月9日星期六

AI HOT 精选

Redis 作者用几千行 C 代码把 DeepSeek V4 Flash 塞进 MacBook,跑出 27 tok/s

Antirez 开源了一个叫 ds4 的推理引擎,专门给 DeepSeek V4 Flash 用。代码只有几千行 C,能在 128GB 内存的 MacBook Pro 上跑 100 万 token 上下文的模型。他用了三招:对 MoE 专家做不对称 2-bit 量化来压缩模型体积;把 KV Cache 搬到高速 SSD 上,绕开内存不够的问题。

推荐理由:Antirez 开源的 ds4 用几千行 C 代码,在 128GB 内存的 MacBook Pro 上跑通 DeepSeek V4 Flash 的百万 token 上下文,其 MoE 专家 2-bit 量化与 KV Cache 落盘 SSD 的做法,为本地部署大模型提供了可迁移的工程思路。

新智元 · 公众号

港中文开源 ArbiterOS:在模型动手前先拦一刀,高危操作拦截率拉到 92.95%

港中文 CURE 实验室把 ArbiterOS 开源了,这是一个给 AI 智能体(Agent)用的运行时治理内核。它的思路很直接:不让模型直接拿到执行权,而是在模型生成操作指令后、系统真正执行前,插一层拦截、解析、治理和观测。在 OpenClaw 的安全测试任务上,这套机制把高危步骤的拦截率从原来的 6.17% 提到了 92.95%。

推荐理由:港中文 CURE 实验室开源 ArbiterOS,在模型生成指令后、系统执行前加一层运行时治理,把 OpenClaw 测试中的高危步骤拦截率从 6.17% 提到 92.95%。

机器之心 · 公众号

港科大和社区开源了 StarVLA,一个框架把主流视觉-语言-动作模型串了起来

StarVLA 把 VLA(视觉-语言-动作模型)里常用的主干网络、动作输出头、训练策略和评测接口都做成了可插拔的模块,不用再为不同论文各搭一套代码。仓库在 GitHub 上已经拿到 2.2k 星,支持的基准包括 LIBERO、SimplerEnv、RoboTwin 2.0、RoboCasa-GR1 和 BEHAVIOR-1K。

推荐理由:港科大与社区开源 StarVLA,把 VLA 常用的主干网络、动作输出头和训练评测接口做成可插拔模块,省去为不同论文各搭一套代码的重复工作。

r/LocalLLaMA

单张 RTX 4090 跑 Qwen3.6-27B,262K 上下文冲到 80+ t/s

indrasmirror 用一张 RTX 4090 跑 Qwen3.6-27B-Heretic-v2,上下文拉到 262K token,搭配 TBQ4_0 格式的 KV 缓存和 MTP 推测解码(draft 3),生成速度从约 43 t/s 提到 80-87 t/s。MTP 草稿接受率大概 73%,说明模型对草稿的采纳比例不低,这是提速的关键。

推荐理由:indrasmirror 在单张 RTX 4090 上把 Qwen3.6-27B 的上下文拉到 262K,并用 MTP 推测解码把生成速度从约 43 t/s 提升到 80-87 t/s,草稿接受率约 73%。

5月8日星期五

Hacker News 首页

re_gent:给 AI 编程助手配一个 Git,能回滚、能查它为什么改文件

regent-vcs 开源了一个叫 re_gent 的工具,想给 AI 编程助手(目前只支持 Claude Code)加上类似 Git 的版本控制。它能记录 AI 为什么改某个文件、支持把整个对话过程回滚到之前的状态,还能用二分法定位 AI 的哪一步操作引入了问题。

推荐理由:regent-vcs 开源的 re_gent 为 Claude Code 加上类似 Git 的版本控制,记录 AI 改文件的原因并支持回滚对话,还用二分法定位是哪一步操作引入问题。

AI HOT 精选

Anthropic 把开源对齐测试工具 Petri 捐给了独立机构 Meridian Labs

Anthropic 把自家用来测模型有没有撒谎、拍马屁、配合危险请求的开源工具箱 Petri,转交给了非营利评测机构 Meridian Labs。这么做是为了让工具脱离 AI 公司,评测结果更中立、更让人信服。Petri 从 Claude Sonnet 4.5 起就参与内部对齐检查,英国 AI 安全研究所也用它来评估模型会不会破坏 AI 研究。

推荐理由:Anthropic 将内部用于检查模型撒谎、拍马屁等行为的对齐工具 Petri 交给非营利评测机构 Meridian Labs,工具由此脱离开发方,评测中立性获得组织层面的支撑。

AI HOT 精选

antirez 开源了 DeepSeek 4 Flash 的本地推理引擎,专跑在苹果芯片的 Metal 上

Redis 作者 antirez 在 GitHub 上放出了一个叫 ds4 的项目,是一个让 DeepSeek 4 Flash 模型在 Mac 上本地跑的推理引擎。它直接调用苹果的 Metal Performance Shaders 来降低延迟和内存占用,相当于给模型配了个更底层的加速驱动,而不是简单套个壳。

推荐理由:Redis 作者 antirez 发布 ds4 项目,让 DeepSeek 4 Flash 模型在 Mac 上本地运行,并直接调用苹果 Metal Performance Shaders 降低延迟与内存占用。

5月7日星期四

AI HOT 精选

商汤 SenseNova-U1 开源 8 步蒸馏 LoRA,扩散模型推理从 23 秒压到 2 秒

商汤把扩散模型常用的 100 步生成流程蒸馏到只剩 8 步,GPU 上跑一张图从 23 秒降到 2 秒,快了 11 倍。做法是训了一个 LoRA 权重,直接挂到模型上就能用,不用改原模型结构。配套给了 ComfyUI 工作流,覆盖文生图、改图和交错生成。正文没提具体画质对比和什么显卡跑的,这点先别太激动。

推荐理由:商汤开源 8 步蒸馏 LoRA,把扩散模型 100 步生成流程压缩到 8 步,单张图 GPU 推理从 23 秒降到 2 秒,并配套 ComfyUI 工作流,覆盖文生图、改图和交错生成。

r/LocalLLaMA

在单张 RTX 3090 Ti 上跑 Qwen3.5/3.6 的 NextN MTP 投机解码指南

Reddit 用户分享了一个 llama.cpp 实操指南,用单张 RTX 3090 Ti 跑 Qwen3.5 和 3.6 的 NextN MTP(多 token 预测,一种让模型一次猜好几个词来加速生成的技术)。目前需要打两个还没合并的 PR:#22400 和 #22673。

推荐理由:Reddit 用户给出在单张 RTX 3090 Ti 上运行 Qwen3.5 和 3.6 的 llama.cpp 实操指南,依赖两个尚未合并的 PR,涉及 NextN MTP 投机解码的配置方法。

AI HOT 精选

Open Slide 用 React 写 PPT,让 AI 直接生成和修改幻灯片代码

Open Slide 是一个开源项目,把 PPT 当成 React 组件来写,工作流专门为 AI agent 设计。它用 React 组件库做扩展,方便接入各种图表。项目自带可视化编辑器,你可以手动改,AI 也能直接读你的批注来协同修改内容。它还集成了 SVGL 库,里面有 1500 多个品牌 Logo,做技术演示时直接拖就行。

推荐理由:Open Slide 把 PPT 写成 React 组件,AI 能直接读批注改稿,并接入 1500 多个品牌 Logo,为技术演示提供了一条可编程的幻灯片工作流。

r/LocalLLaMA

Atlas 推理引擎开源,在 DGX Spark 上跑 Qwen3.6-35B-FP8 能稳定跑到每秒 100 多个 token

Avarok 把 Atlas 推理引擎开源了。它用 Rust 和 CUDA 写成,镜像只有约 2.5GB,冷启动不到两分钟。在一台 DGX Spark 上跑 Qwen3.5-35B,实测持续速度约 111 tok/s,作者说比 vLLM 快 3.0 到 3.3 倍。

推荐理由:Avarok 开源了用 Rust 和 CUDA 写的 Atlas 推理引擎,在 DGX Spark 上跑 Qwen3.5-35B 实测约 111 tok/s,作者称是 vLLM 的 3.0 到 3.3 倍。

5月6日星期三

r/LocalLLaMA

CopilotKit:一套 MIT 开源的 React 组件,帮你给 AI 应用搭聊天界面和生成式 UI

CopilotKit 是一套 MIT 协议开源的 React 组件库,专门用来给 agent 类应用搭前端。它把聊天、流式输出、工具调用、人机协同(HITL)和生成式 UI 这些常见需求都做成了现成的积木块。项目在 GitHub 上有 3 万颗星。

推荐理由:CopilotKit 把聊天、流式输出、工具调用和人机协同做成 MIT 开源的 React 组件,给 agent 应用搭前端时可直接复用这套积木块。

r/LocalLLaMA

Qwen 3.6 27B 用上 MTP 后推理速度提升 2.5 倍,48GB 显存可跑 26 万上下文

这篇帖子来自 Reddit 的 r/LocalLLaMA,作者分享了一个 llama.cpp 的 PR,为 Qwen 3.6 27B 模型添加了 MTP(多令牌预测)支持,实测推理速度提升了 2.5 倍。在 Mac M2 Max 96GB 上达到了 28 tok/s 的生成速度。

推荐理由:llama.cpp 的 PR 为 Qwen 3.6 27B 加入 MTP 支持,实测推理提速 2.5 倍,并在 48GB 显存下支持 26 万上下文,为本地 agentic coding 提供了可参考的配置方案。

机器之心 · 公众号

阿里开源 PromptEcho:用冻结的视觉语言模型给文生图训练打分,省掉额外训练成本

PromptEcho 的做法很直接:拿一个现成的、参数冻结的 Qwen3-VL-32B 模型,让它“读”一遍原始提示词,算出模型自己生成这些词的概率(交叉熵),然后把这个概率的负值当作连续奖励信号,喂给文生图模型做训练。好处是不用再单独训一个评分模型,省事。在 5000 张海报测试里,文字准确率从 68% 提到了 75%。

推荐理由:阿里开源 PromptEcho,用冻结的 Qwen3-VL-32B 直接生成连续奖励信号,省去单独训练评分模型,在 5000 张海报测试中把文字准确率从 68% 提到 75%。

机器之心 · 公众号

DeepSeek版Claude Code登顶GitHub热榜,8700星,一个叫鲸鱼哥的开发者用Rust做了个终端工具

这个叫DeepSeek TUI的工具在GitHub上拿了8700多颗星,是开发者Hunter Bown(鲸鱼哥)用Rust写的,让你在本地终端里直接调用DeepSeek V4干活。它能聊天、改文件、跑shell命令、管任务。

推荐理由:开发者Hunter Bown用Rust写的DeepSeek TUI在GitHub获8700多颗星,支持在本地终端调用DeepSeek V4聊天、改文件、跑shell命令,是个人项目热度与终端集成方式的一个样本。

机器之心 · 公众号

明略开源两套工具,让 Mac 跑本地模型和操控桌面

明略科技放出了两个开源项目:Cider 和 Mano-P 1.0,都是给苹果 M 系列芯片用的。Cider 是个推理加速引擎,在 M5 Pro 上跑 Qwen3-VL-2B 时,把生成第一个 token 前的等待时间缩短了 57% 到 61%。Mano-P 1.0 是个能操作电脑界面的模型,72B 版本在 OSWorld 测试里拿了 58.2 分。

推荐理由:明略科技开源 Cider 与 Mano-P 1.0,前者在 M5 Pro 上把 Qwen3-VL-2B 的首 token 等待缩短约六成,后者 72B 版本在 OSWorld 拿到 58.2 分。

5月5日星期二

r/LocalLLaMA

SenseNova-U1-8B-MoT 开源多模态架构引发讨论,去掉 VE 和 VAE 的单体设计是亮点还是噱头?

商汤开源了一个叫 SenseNova-U1-8B-MoT 的 8B 多模态模型,能理解图文也能直接生成图片。它最特别的地方是用了 NEO-Unify 架构,把传统多模态模型里常见的 VE(视觉编码器)和 VAE(变分自编码器)都去掉了,支持图文交错生成和高密度渲染。

推荐理由:商汤开源 8B 多模态模型 SenseNova-U1-8B-MoT,其 NEO-Unify 架构去掉视觉编码器和变分自编码器,把图文理解与图像生成放进同一模型,为多模态架构设计提供了一种不同取舍。

r/LocalLLaMA

微软 VibeVoice 语音合成与长音频转写被移植到纯 C++,推理不再需要 Python

LocalAI 把微软的 VibeVoice 模型用 ggml 重写成 C++ 版本,叫 vibevoice.cpp,支持 CPU、CUDA、Metal 和 Vulkan 推理,不用装 Python 环境。语音合成这边,给一段 30 秒的参考录音就能克隆声音,输出 24kHz 的语音。

推荐理由:LocalAI 把微软 VibeVoice 的语音合成与长音频转写重写为纯 C++ 版本,支持 CPU、CUDA、Metal 和 Vulkan 推理,本地部署不再依赖 Python 环境。

r/LocalLLaMA

FastDMS 把 KV 缓存压到 1/5~1/8,跑得比 vLLM BF16/FP8 还快

FastDMS 放出了一个 MIT 许可的实现,核心是把模型推理时占显存的 KV 缓存压到原来的 1/5 到 1/8。在 8K 上下文长度下,Llama-3.2-1B 用 6.4 倍压缩后困惑度是 9.200;Qwen3-8B 在压缩系数 c=1 时,KV 缓存从 1.406 GiB 直接降到 0.184 GiB。

推荐理由:FastDMS 开源了 MIT 许可的 KV 缓存压缩实现,在 8K 上下文下把 Llama-3.2-1B 的缓存压到 1/5 至 1/8,并给出困惑度与显存占用的具体数字。

5月4日星期一

r/LocalLLaMA

用 Hermes Agent 和 qwen3.6-35b 在本地跑深度研究,生成了 21 页报告

一位 Reddit 用户用 Hermes Agent 框架搭配 qwen3.6-35b-a3b 的 Q6_K 量化版,在单张 RTX 4060 上跑了 6 轮循环、超过 5 小时,生成了一份 21 页的研究报告。生成速度约每秒 28 个 token。仓库里放了提示词、脚本、中间产物和最终报告。

推荐理由:Reddit 用户用 Hermes Agent 搭配 qwen3.6-35b 量化版,在单张 RTX 4060 上跑 6 轮循环生成 21 页报告,仓库附提示词、脚本与中间产物。

量子位 · 公众号

DeepSeek-TUI 开源:一个用 Rust 写的终端版 DeepSeek 编程助手,GitHub 上拿了 2.3k 星

这是一个叫 DeepSeek-TUI 的终端工具,你可以把它理解成“DeepSeek 版的 Claude Code”,专门在命令行里帮你写代码、跑命令。项目用 Rust 开发,MIT 协议开源,目前主要对接 DeepSeek V4 模型,支持 100 万 token 的上下文窗口。

推荐理由:DeepSeek-TUI 用 Rust 写了一个终端里的编程助手,对接 DeepSeek V4 并支持 100 万 token 上下文,MIT 协议开源,适合想了解命令行 AI 编码工具实现方式的开发者。

r/LocalLLaMA

一个 4.5 亿参数的视觉模型在卫星上跑野火检测,瓶颈不是模型质量,是带宽

作者 PauLabartaBajo 搭了一套端到端的野火预防管线,把 4.5 亿参数的视觉语言模型 LFM2.5-VL 直接部署在卫星上做推理。核心约束是卫星下行带宽太窄,传不了大尺寸多光谱图像,所以方案反过来:在轨跑模型,只下传一份 JSON 格式的风险评估结果。

推荐理由:作者把 4.5 亿参数的视觉语言模型直接部署在卫星上做野火推理,只下传 JSON 风险评估结果,绕开了下行带宽对多光谱图像的传输限制。

5月3日星期日

r/LocalLLaMA

开源代理 rosetta-llm 让 Claude Code 能调用任意模型

DataNebula 开源了一个叫 rosetta-llm 的代理,它像一个翻译网关,让 Claude Code 可以跟不同厂商的模型对话。

推荐理由:DataNebula 开源的 rosetta-llm 充当翻译网关,让 Claude Code 能调用不同厂商的模型,为多模型混用提供了一种接入思路。

r/LocalLLaMA

Upskill 开源了一个技能注册表,让 AI 代理动手前先查“说明书”,已收录超 1 万个技能

Autoloops 把 Upskill 做成了开源项目,相当于给 AI 代理配了一本可检索的技能黄页,目前索引了超过 1 万个技能。代理在干活前会先来这里查一下有没有现成的工具或流程可用。搜索靠的是 Postgres 全文检索、1024 维向量匹配,再按收藏数、安装量和反馈做重排序,尽量把靠谱的技能往前排。

推荐理由:Autoloops 开源了 Upskill 技能注册表,索引超 1 万个技能,代理执行任务前可先检索现成工具或流程,搜索结合全文检索、向量匹配与收藏安装反馈重排序。

量子位 · 公众号

清华 AIR 开源具身智能仿真框架 GS-Playground,一块 4090 能同时跑 2048 个场景

清华 AIR DISCOVER 实验室和合作方开源了 GS-Playground,已被 RSS 2026 接收。这个框架把批量 3D 高斯泼溅渲染和并行物理引擎绑在一起,专门解决机器人训练时视觉仿真的算力瓶颈。在 RTX 4090 上,640×480 分辨率能跑到每秒一万帧,同时并行跑 2048 个场景。

推荐理由:清华 AIR 与合作方开源的 GS-Playground 把批量 3D 高斯泼溅渲染与并行物理引擎耦合,单张 RTX 4090 在 640×480 下达到每秒一万帧并同时跑 2048 个场景。

r/LocalLLaMA

Reddit 网友用纯 C++17 手搓了一个 83 万参数的 Transformer,不用 PyTorch 也不用 BLAS,单核 CPU 训练 76 分钟

一个叫 Suspicious_Gap1121 的 Reddit 用户放出了 Quadtrix.cpp,一个用 C++17 从零写的 GPT 风格模型,总共 83 万参数。模型结构是 4 层、4 个注意力头、宽度 200 维,一次能看 128 个字符的上下文。

推荐理由:Reddit 用户用 C++17 从零实现 83 万参数的 GPT 风格模型,手写全部反传,单核 CPU 训练 76 分钟,省去 PyTorch 和 BLAS 依赖。

5月2日星期六

r/LocalLLaMA

Semvec:把聊天记录压成固定大小的“语义状态”,上下文再长也不涨 token

一个开发者在 Reddit 上发了个叫 Semvec 的项目,思路是把对话历史从无限增长的文本流换成固定大小的语义向量,每次推理只传这个压缩后的状态。他给出的 48 轮基准测试里,token 用量大概砍掉了 76%,而且第 10 轮和第 10000 轮的输入开销一样大。

推荐理由:开发者把对话历史换成固定大小的语义向量,48 轮基准里 token 用量减少约 76%,第 10 轮与第 10000 轮的输入开销相同,长链 agent 的上下文成本问题由此多了一种压缩思路。

r/LocalLLaMA

有人在 Windows 上直接用 vLLM 跑 Qwen3.6-27B,单张 RTX 3090 跑到 72 tok/s

Reddit 用户 One_Slip1455 发了个原生 Windows 版 vLLM 启动器,不用 WSL 也不用 Docker。在一张 RTX 3090 上跑 Qwen3.6-27B(INT4 量化),短上下文能到 72 tok/s。

推荐理由:Reddit 用户发布原生 Windows 版 vLLM 启动器,无需 WSL 或 Docker,在单张 RTX 3090 上以 INT4 量化运行 Qwen3.6-27B,短上下文达到 72 tok/s。

量子位 · 公众号

腾讯混元开源 440MB 翻译模型,手机离线跑,自称翻译质量超谷歌

腾讯混元放出了一个叫 Hy-MT1.5-1.8B-1.25bit 的翻译模型,把原本 1.8B 参数的模型压到了 440MB,能在骁龙 888、8GB 内存的安卓手机上离线跑。它支持 33 种语言、1056 个翻译方向。压缩的关键是一种叫 Sherry 1.25 比特量化的技术,做法是每 4 个权重里,3 个用 1 比特存,1 个直接置零。

推荐理由:腾讯混元开源 1.8B 翻译模型,经 1.25 比特量化压到 440MB,可在骁龙 888 手机离线运行,覆盖 33 种语言和 1056 个翻译方向。

5月1日星期五

r/LocalLLaMA

PFlash:在 RTX 3090 上跑 128K 上下文,预填充比 llama.cpp 快 10 倍

PFlash 让 Qwen3.6-27B 的 Q4_K_M 量化模型在单张 RTX 3090 上处理 12.8 万 token 的输入时,首 token 延迟从 llama.cpp 冷启动的 248.4 秒压到 24.8 秒。做法是用一个 Qwen3-0.6B 小模型当“打分员”,挑出最重要的 5% 文本片段喂给大模型,省掉了大量无关计算。

推荐理由:PFlash 用 Qwen3-0.6B 小模型挑出 5% 关键片段喂给大模型,把 RTX 3090 上 12.8 万 token 输入的首 token 延迟从 248.4 秒降到 24.8 秒。

新智元 · 公众号

一个开发者用10天婚假做了个AI世界生成器,一句话就能生成会自己运转的小镇

这个叫WorldX的项目,你输入一句话,它大概5分钟就能生成一个完整的AI世界。背后是一套6步地图生成流程,每个世界消耗约3万到18万个token。里面的NPC有自己的两层记忆和双轴情绪,会按Tick循环自主行动。比较有意思的是它用叠加标签加色差定位来做确定性坐标,让角色能真正走到具体位置而不是大概描述。

推荐理由:开发者用10天婚假做出WorldX,输入一句话约5分钟生成完整AI世界,文中披露6步地图生成流程、token消耗区间和确定性坐标方案,可供做世界生成与NPC记忆的人参考。

量子位 · 公众号

北大和快手可灵开源 OpenWorldLib,一个框架想统一视频生成、3D、机器人控制和推理

正文因为微信环境异常被拦截了,实际内容没抓到。从现有标题和英文摘要看,北大 DCAI 和快手可灵开源了一个叫 OpenWorldLib 的统一世界模型框架,把视频生成、3D 建模、VLA 机器人控制、多模态推理四类任务塞进一套 Pipeline 里。Pipeline 里分了 Operator、推理、合成、表征和记忆几个模块,支持前向和流式执行。

推荐理由:北大 DCAI 与快手可灵开源 OpenWorldLib,把视频生成、3D 建模、VLA 机器人控制与多模态推理四类任务纳入同一套 Pipeline,并给出 Operator、推理、合成、表征和记忆的模块划分。

Hacker News 首页

Pu.sh:一个 400 行 shell 脚本搭起来的编程助手框架

Pu.sh 用大约 400 行 shell 脚本(只靠 sh、curl 和 awk)搭了一个编程助手的运行框架。它支持 Anthropic 和 OpenAI 的接口,内置 7 种工具,有对话上下文自动压缩、断点续跑和管道模式,还配了 90 个不调 API 的测试用例。没有图形界面、流式输出、图片处理、OAuth 登录,也不支持 Windows。

推荐理由:Pu.sh 用约 400 行 shell 脚本实现编程助手的完整运行框架,涵盖工具调用、上下文压缩与断点续跑,为想理解 agent 核心链路又不想引入复杂依赖的读者提供了一份极简可读的实现参考。

4月30日星期四

r/LocalLLaMA

inclusionAI 在 Hugging Face 开源了 Ling-2.6-1T,一个 1 万亿参数的模型

这个模型用了 MLA 和线性注意力,还加了一个叫“上下文过程冗余抑制”的技术,目的是降低思维链推理时的计算开销。帖子提到了 AIME26 和 SWE-bench Verified 两个基准,但正文没披露具体分数,所以实际表现还不清楚。另外,Reddit 原帖被网络屏蔽了,目前只能看到标题和简介,更多细节得去 Hugging Face 模型页翻。

推荐理由:inclusionAI 在 Hugging Face 开源万亿参数的 Ling-2.6-1T,采用 MLA 与线性注意力并加入上下文过程冗余抑制,为关注大模型推理优化的读者提供架构参考。

X · @dotey(宝玉)

Hermes Agent 的记忆系统拆解:它用四层设计避开了 OpenClaw 的坑

Hermes Agent 的记忆不是一套,而是四套:高度浓缩的提示词记忆(MEMORY.md 和 USER.md)、可搜索的 SQLite 历史会话存档、像程序记忆一样运作的技能管理,以及可选的 Honcho 深层用户建模。

推荐理由:Hermes Agent 的记忆系统由提示词记忆、SQLite 历史会话、技能管理和 Honcho 用户建模四层组成,拆解了它与 OpenClaw 在记忆设计上的取舍差异。

4月29日星期三

量子位 · 公众号

UCL 等团队开源 Avenir-Web,一个不用额外训练就让网页智能体干活更稳的框架,在 ONLINE-MIND2WEB 上跑到 53.7%

Avenir-Web 是 UCL、普林斯顿和爱丁堡大学一起开源的一个网页智能体框架,主打不训练、直接给模型套上就能用。它在 ONLINE-MIND2WEB 这个包含 136 个网站、300 个真实在线任务的测试里,成功率做到了 53.7%。

推荐理由:UCL、普林斯顿和爱丁堡团队开源的 Avenir-Web 无需额外训练即可接入模型,在包含 136 个网站、300 个真实任务的 ONLINE-MIND2WEB 上成功率达到 53.7%。

r/LocalLLaMA

商汤发布 SenseNova-U1:一个原生架构同时搞定看图理解和生图,不再靠外挂适配器

商汤放出了 SenseNova-U1 系列,主打“原生统一多模态”,意思是模型内部直接处理文字和图像,不用再像以前那样给语言模型外接一个图像适配器来翻译视觉信息。这次公开了 8B 和 A3B 两种 MoT(Mixture of Tokens)规格的权重,其中 A3B 的参数量更小,适合本地跑。

推荐理由:商汤开源 SenseNova-U1 系列,模型内部直接处理文字与图像,不再外接图像适配器,并公开 8B 和 A3B 两种 MoT 规格权重,其中 A3B 参数量更小、适合本地运行。

X · @dotey(宝玉)

微软开源语音模型 VibeVoice-ASR 实测:一小时播客 8 分 45 秒转完,但 32GB 内存的 Mac 跑不动

Simon Willison 在 128GB 内存的 M5 Max MacBook Pro 上跑了社区做的 4-bit 量化版 VibeVoice-ASR,模型大小 5.71GB。转写一小时播客用了 8 分 45 秒,prefill 阶段内存峰值冲到 61.5GB,生成阶段稳定在 18GB 左右,所以普通 32GB 笔电基本没戏。

推荐理由:Simon Willison 在 128GB 内存的 M5 Max 上实测微软开源的 VibeVoice-ASR,转写一小时播客耗时 8 分 45 秒,prefill 阶段内存峰值达 61.5GB,为本地部署提供了硬件门槛参考。

r/LocalLLaMA

小米放出 MiMo-V2.5:3100 亿总参数,每次只激活 150 亿的稀疏 MoE 模型

Reddit 上有人贴了小米 MiMo-V2.5 的 Hugging Face 链接,不是 Pro 版。架构是稀疏 MoE,总参数量 310B,每次推理只激活 15B 参数,相当于用 150 亿参数模型的计算量去撬动一个 3100 亿参数的知识容量。

推荐理由:小米在 Hugging Face 放出非 Pro 版 MiMo-V2.5,采用稀疏 MoE 架构,310B 总参数每次推理只激活 15B,以较小计算量调用大参数容量的设计思路。

X · @dotey(宝玉)

AI 终端 Warp 把客户端代码开源了,OpenAI 是创始赞助商

Warp 是一个用 Rust 写的现代终端,有超过 70 万开发者用,核心卖点是把 AI 塞进命令行,你用自然语言说想干嘛,它帮你生成命令。这次开源的是客户端代码,走 AGPL 协议,服务端还是闭源的。

推荐理由:Warp 将 Rust 编写的客户端代码以 AGPL 协议开源,服务端仍闭源,OpenAI 作为创始赞助商参与其中,为关注终端工具与 AI 命令行结合的开发者提供了可查看的实现。