跳到正文

开源生态

开源模型、框架与仓库动态:权重开放、社区项目爆火、开源与闭源的力量消长。

388 条精选相关主题模型发布Hugging FaceAI 编码

最新精选

第 281–300 条 · 共 388 条

5月15日星期五

AI HOT 精选

飞书命令行工具 lark-cli 45 天 GitHub 破万星,AI 操作每一步都能预览和审查

飞书开源了一个叫 lark-cli 的命令行工具,45 天在 GitHub 上拿到超过一万颗星,是国内办公套件里第一个破万星的开源项目。这个工具让 AI 能直接在命令行里建群、建文档,而且每一步操作都会先展示出来让你确认,不是那种在云端黑盒执行的 MCP 模式。主干代码已经合并了 10 位外部开发者的贡献,对比钉钉和企业微信同类项目的外部贡献是零。

推荐理由:飞书开源命令行工具 lark-cli,45 天在 GitHub 破万星,其每一步 AI 操作先展示再确认的机制,与云端黑盒执行的 MCP 模式形成对照。

量子位 · 公众号

160行代码就能跑通LeCun的JEPA世界模型

一个叫keon/jepa的开源教学库把LeCun提出的JEPA世界模型拆成了5个独立变体,每个都用单个PyTorch文件实现,最短160行,最长278行,只依赖PyTorch和torchvision。其中iJEPA在CIFAR-10上跑了100轮,线性探测准确率52.7%,不算高,但胜在代码够短、能跑通。

推荐理由:开源教学库keon/jepa把LeCun的JEPA世界模型拆成5个单文件PyTorch实现,最短160行,其中iJEPA在CIFAR-10上跑完100轮线性探测准确率52.7%。

5月14日星期四

r/LocalLLaMA

单卡跑通一句话生成电影级短片:FLUX.2 出角色,Wan2.2 做动画,带自动质检和 9 语配音

这个叫 StudioMI300 的开源流水线,把一句英文提示词变成 720p 短片,全程跑在一张 AMD Instinct MI300X 上。流程分 8 步:先用 FLUX.2 [klein] 生成角色关键帧,再用 Wan2.2-I2V 把静态图转成动画,中间加了一道视觉评分和自动重试的质检,最后配上音乐和 9 种语言的旁白。

推荐理由:StudioMI300 把一句提示词到 720p 短片的 8 步流程跑在一张 MI300X 上,其中视觉评分与自动重试环节用于控制成片质量。

AI HOT 精选

腾讯开源 Agent Memory:用“任务地图”和上下文卸载,让 Token 消耗降低 61%

腾讯云开源了 TencentDB Agent Memory,专门解决 AI Agent 在长任务里上下文窗口被快速撑爆的问题。核心思路分两步:一是用 Mermaid 流程图把任务执行过程画成一张可折叠、可展开的“任务地图”,让 Agent 随时知道自己在哪、哪些步骤有依赖。

推荐理由:腾讯云开源 TencentDB Agent Memory,用 Mermaid 流程图把任务执行过程画成可折叠的任务地图,并配合上下文卸载,在长任务中把 Token 消耗降低 61%。

量子位 · 公众号

摩尔线程把 SGLang 的 MUSA 后端合进了主线,还拉来核心开发者一起聊了聊

摩尔线程办了一场 SGLang × MUSA 线下交流会,宣布 MUSA 后端已经并入 SGLang 主分支。截至 5 月 12 日,他们一共提了 47 个 PR,其中 41 个被合并。不过正文因为环境验证问题没能加载出来,具体技术细节和现场讨论内容暂时看不到。

推荐理由:摩尔线程将 SGLang 的 MUSA 后端合入主分支,并累计提交 47 个 PR、其中 41 个被合并,为国产 GPU 参与主流推理框架生态提供了可参考的协作路径。

AI HOT 精选

OpenSquilla 用本地路由和缓存把大模型传输量砍掉九成以上

OpenSquilla 这个开源项目把模型路由决策放在本地跑,不花 token 就能判断问题难易:简单问题丢给便宜模型,复杂问题才上强模型。它靠增量发送和缓存命中把实际传输的 token 量压到原来的十分之一以下。记忆模块会在上下文快满时自动挑重点压缩,还支持混合检索。

推荐理由:OpenSquilla 把模型路由决策放在本地执行,不消耗 token 即可区分问题难易,并借增量发送与缓存命中将实际传输量压到十分之一以下。

r/LocalLLaMA

商汤发布 SenseNova-U1-A3B-MoT,一个模型搞定看图、推理和生成

商汤在 Hugging Face 上放出了 SenseNova-U1-A3B-MoT 模型,同时提供了 A3B MoT、8B MoT 和 0.4B LoRA 权重链接。按官方说法,这套模型用 NEO-unify 架构把多模态理解、推理和生成统一到一个模型家族里。

推荐理由:商汤在 Hugging Face 放出 SenseNova-U1-A3B-MoT 系列权重,用 NEO-unify 架构把多模态理解、推理和生成收进同一模型家族,并同时提供 0.4B LoRA 权重。

5月13日星期三

AI HOT 精选

开源 psql_bm25s:让 PostgreSQL 做 BM25 检索,比 pg_search 快 23 倍

团队把 psql_bm25s 开源了,它是一个 PostgreSQL 原生访问方法,直接在数据库里跑精确的 BM25 检索。在标准基准测试上,它比 pg_search 快大约 23 倍。这个速度提升意味着,在多智能体系统里,检索不再拖后腿,也不用额外烧钱,智能体查数据能快很多。正文没披露具体测试用的数据集、硬件配置和查询类型,所以这个 23 倍先打个折看。

推荐理由:团队开源了 PostgreSQL 原生访问方法 psql_bm25s,在标准基准测试上比 pg_search 快约 23 倍,为把 Postgres 同时用作主库和检索库的团队提供了一条减少外部依赖的路径。

r/LocalLLaMA

小米把 1 万亿参数的 MiMo-V2.5-Pro 开源了,但自己跑真的划算吗?

小米放出了 MiMo-V2.5-Pro,参数总量 1.02 万亿,但每次推理只激活 420 亿参数,上下文窗口能塞进 100 万个 token,用 MIT 许可证。作者拿它跑了 125 次 Claude Code 任务,走 API 总共花了 70.12 美元,处理了约 3.87 亿个 token,缓存命中率高达 96.3%。

推荐理由:小米开源 MiMo-V2.5-Pro,1.02 万亿参数、每次激活 420 亿,作者用 Claude Code 跑 125 次任务,3.87 亿 token 的 API 花费 70.12 美元,自建与调用的成本对比有了具体参照。

新智元 · 公众号

清华系开源 MiniCPM-V 4.6:1.3B 多模态模型,一张 4090 就能全量微调

面壁智能、清华和 OpenBMB 放出了 MiniCPM-V 4.6,一个 13 亿参数的多模态模型。它最大的卖点是能在一张 RTX 4090 显卡上完成全量微调,不用再靠低秩适配这类折中方案。模型提供了两种视觉 token 压缩模式:4 倍压缩追求精度,16 倍压缩追求速度,让开发者自己按场景选。

推荐理由:面壁智能、清华与 OpenBMB 开源 13 亿参数的 MiniCPM-V 4.6,单张 RTX 4090 即可全量微调,并提供 4 倍与 16 倍两种视觉 token 压缩模式。

r/LocalLLaMA

有人把 Transformer 语言模型塞进了原装 Game Boy Color 里跑

maddiedreese 把 Andrej Karpathy 的 TinyStories-260K 模型成功跑在了一台没改过硬件的 Game Boy Color 上。他用 INT8 量化权重、定点数运算,把模型和 KV 缓存塞进 MBC5 卡带的 bank-switched ROM 和 SRAM 里,全程不靠手机、电脑、Wi-Fi 或云端推理。

推荐理由:一个 Reddit 硬件 hack,把 TinyStories-260K 塞进原装 Game Boy Color,用 INT8 和定点数学跑推理,KV cache 放在卡带 SRAM 里。输出慢到没法用,而且基本是乱码,所以别当产品看。但能在这种老设备上把 transformer 跑起来,本身就挺酷,技术细节也给得实在,适合当一条有趣的行业花絮。

Hacker News 首页

Needle:一个 26M 参数的小模型,专门做工具调用,能在普通电脑上跑到每秒 1200 token

Cactus 开源了一个叫 Needle 的工具调用模型,参数量只有 2600 万,小到可以在消费级设备上跑。它的推理速度很快,预填充阶段每秒能处理 6000 个 token,生成阶段每秒 1200 个 token。这个模型是从 Gemini 的工具调用能力蒸馏出来的,相当于把大模型怎么调用 API、怎么选函数这套本事,压缩进了一个极小的模型里。

推荐理由:Cactus 把 Gemini 的工具调用能力蒸馏进一个 2600 万参数模型,预填充每秒 6000 token、生成每秒 1200 token,可在消费级设备本地运行。

r/LocalLLaMA

Needle:他们把 Gemini 的工具调用能力蒸馏进了一个 26M 小模型

Cactus Compute 开源了一个叫 Needle 的工具调用模型,参数量只有 2600 万。它用 Gemini 当老师,把怎么调用外部工具的能力蒸馏出来,塞进一个没有传统 MLP 层、靠注意力机制和门控结构的小模型里。在消费级设备上跑,预填充速度能到每秒 6000 个 token,解码速度每秒 1200 个 token。

推荐理由:Cactus Compute 把 Gemini 的工具调用能力蒸馏进一个 2600 万参数的小模型,并给出消费级设备上每秒 6000 个 token 的预填充速度,为端侧工具调用提供了一种轻量方案。

5月12日星期二

AI HOT 精选

开放模型生态如何滚起雪球

作者 Nathan Lambert 从中国 AI 圈几乎全员开源的现状出发,聊了聊开放模型生态真正的省钱逻辑。核心判断是:造前沿模型的大头成本不在最终训练,而在研发试错,这部分算力开销可能占到 80%。中国各家实验室通过详细技术报告和刻意分享,相当于帮同行排了雷,避免重复烧钱做实验,形成了一种靠信息共享降低未来研发成本的复合增长。

推荐理由:作者指出前沿模型研发试错算力可占八成成本,中国实验室通过技术报告共享排雷经验,让开放生态形成降低未来研发成本的复合增长。

AI HOT 精选

想让 AI 当个人管家?先得把你在淘宝、京东、美团上的消费记录弄出来

作者实测了五个主流消费平台的数据导出方法。淘宝自带导出功能;京东没有官方支持,但作者用 Codex 写了个 Chrome 插件,能一键导出订单,代码已开源在 GitHub;饿了么可以申请导出 Excel;美团外卖目前完全没办法导出;大众点评的收藏列表也能通过定制插件导出来。

推荐理由:开发者实测淘宝、京东、饿了么、美团外卖、大众点评五个平台的消费数据导出方式,其中京东无官方支持,他用 Codex 写了开源 Chrome 插件一键导出订单。

机器之心 · 公众号

字节开源 DreamLite:0.39B 参数模型在 iPhone 上 3 秒出图,不用联网

DreamLite 是字节跳动开源的一个统一扩散模型,参数量只有 3.9 亿,能在 iPhone 17 Pro 上直接跑,生成或编辑一张 1024×1024 的图大约 3 秒。它靠 DMD2 蒸馏技术把推理压缩到 4 步,全程在手机本地完成,不依赖云端。

推荐理由:字节跳动开源 3.9 亿参数的统一扩散模型 DreamLite,在 iPhone 17 Pro 上本地生成或编辑一张 1024×1024 的图约 3 秒,靠 DMD2 蒸馏把推理压到 4 步。

r/LocalLLaMA

Reddit 网友实测 288 次模型调用,把本地模型输出 JSON 时的各种翻车方式全整理了一遍,还写了个修复库

Reddit 用户 kexxty 用 OpenRouter 跑了 288 次结构化输出测试,覆盖 Llama 3、Mistral、Command R、DeepSeek、Qwen 等模型,发现本地模型和纯 API 模型在 JSON 上出的错其实差不多。他把这些失败归类后,写了一个叫 outputguard 的 Python 修复库,用 MIT 协议开源。

推荐理由:Reddit 用户 kexxty 跑了 288 次结构化输出测试,覆盖 Llama 3、Mistral、DeepSeek 等模型,把本地模型 JSON 出错方式归类后开源了修复库 outputguard。

5月11日星期一

AI HOT 精选

Anthropic 在 GitHub 开源了一套金融 AI 模板,直接给投研、投行、风控配好了 10 个智能体和 11 家数据商的连接器

这套模板把金融行业里常见的 AI 用法打包成了开箱即用的工作流,覆盖投研、投行、风控等核心环节。里面塞了 10 个端到端智能体、7 个垂直插件,还接好了 11 家主流金融数据商的 MCP 连接器,等于把模型跟 Bloomberg 这类数据源的通路提前打通了。部署方式从个人插件到企业 API 都支持,也能塞进 Microsoft 365 和私有云。

推荐理由:Anthropic 在 GitHub 开源金融 AI 全栈模板,打包 10 个智能体、7 个插件和 11 家数据商连接器,为金融 AI 落地提供可复用的工程起点。

5月10日星期日

r/LocalLLaMA

ByteBell 开源了一套代码索引方案:用 LLM 给每个文件生成语义信息存进图数据库,比向量、语法树和暴力塞上下文都管用

他们试了三种路线:向量相似度搜代码、用抽象语法树(AST)结构化匹配、以及直接把代码块塞进大窗口模型。最后发现,让 LLM 先给每个文件提炼出用途、摘要、业务背景、实体、类、函数、关键词和依赖关系,存到 Neo4j 图数据库里,再用全文搜索去查,效果最好。正文没披露具体评测指标和对比数据,这点先别太激动。

推荐理由:ByteBell 开源了一套代码索引方案,对比向量、语法树和直接塞上下文三种路线,最终采用 LLM 逐文件生成语义信息存入 Neo4j 图数据库,并用全文搜索查询。

r/LocalLLaMA

网友用一张 RTX PRO 6000 工作站显卡跑起了 DeepSeek V4 Pro

Reddit 用户 fairydreaming 发帖说,他在自己机器上跑通了 DeepSeek V4 Pro。用的是一块 RTX PRO 6000 Blackwell Max-Q 工作站显卡,搭配修改过的 llama.cpp CUDA 分支。模型文件是 Q4_K_M 量化版,体积 859GB。

推荐理由:Reddit 用户用一块 RTX PRO 6000 工作站显卡和修改版 llama.cpp 跑通 859GB 的 DeepSeek V4 Pro,为关注本地推理硬件门槛的读者提供了单卡运行大模型的具体配置参考。