跳到正文

#开源/仓库

今日 2 条

5月21日星期四

AI HOT 精选

腾讯开源 Hy-MT2 翻译模型,1.8B 小版量化后 440MB 就能在手机上跑,性能还超了微软商业 API

腾讯放出了 Hy-MT2 多语言翻译模型,支持 33 种语言互译。7B 和 30B-A3B 两个版本在开源模型里翻译质量最好,比很多参数大几十倍的模型还强。更实用的是 1.8B 轻量版,用 AngelSlim 1.25-bit 量化技术把体积压到 440MB,主流手机芯片就能本地跑,推理速度比上一代快 1.5 倍。

推荐理由:腾讯开源 Hy-MT2 翻译模型,1.8B 轻量版经 1.25-bit 量化后仅 440MB,可在主流手机芯片本地运行 33 种语言互译,为端侧离线翻译提供了可落地的体积方案。

5月20日星期三

r/LocalLLaMA

用 4 张老 RTX 2080 Ti 在本地跑 DeepSeek-V4,预填充跑到 255 token/s

一个 Reddit 用户用 4 张 RTX 2080 Ti 显卡(总预算不到 2500 美元)在本地跑起了 DeepSeek-V4-Flash 模型。模型总参数 2840 亿,每次推理激活 130 亿参数。他用了 W8A8 量化(把权重和激活值都压到 8 位精度)来省显存,还自己写了适配老 Turing 架构的 CUDA 算子。

推荐理由:一位 Reddit 用户用 4 张二手 RTX 2080 Ti,配合 W8A8 量化和自写 Turing CUDA 算子,在不到 2500 美元预算下本地跑起 284B 参数的 DeepSeek-V4-Flash,预填充约 255 token/s。

r/LocalLLaMA

开源项目 Codegraph 声称能把 Claude、Cursor 等编程助手的工具调用次数砍掉 94%

Codegraph 的做法是提前给代码建好一张知识图谱,把符号关系、调用链和代码结构都索引好。在 VS Code 的测试里,工具调用从 52 次降到了 3 次,运行时间从 1 分 37 秒缩短到 17 秒。不过正文没披露具体测试的代码规模和任务复杂度,这个 94% 的降幅能不能在别的项目里复现还不好说。

推荐理由:Codegraph 通过预建代码知识图谱索引符号关系与调用链,在 VS Code 测试中把工具调用从 52 次降到 3 次,运行时间从 1 分 37 秒缩至 17 秒。

r/LocalLLaMA

6GB 显卡跑本地会议纪要的下限测试:Qwen3.5 0.8B 用 57 秒出结果,Granite 4 350M 快但会瞎编

一位用户在 RTX 3060 笔记本(6GB 显存)上拿 VoiceFlow 1.6.0 测了两款小模型,看谁能在本地把一段 4 分钟的会议转成纪要。Qwen3.5 0.8B 在 16K 上下文窗口下花了 57 秒完成总结,结果可用。

推荐理由:用户在 6GB 显存的 RTX 3060 笔记本上实测两款小模型,Qwen3.5 0.8B 用 57 秒完成 4 分钟会议总结,Granite 4 350M 虽快却会编造内容。

AI HOT 精选

NVIDIA 开源 LongLive 2.0,用 4-bit 量化把长视频生成跑进实时

NVIDIA 把 LongLive 2.0 整套训练和推理代码都放出来了,主打 FP4 量化加并行加速,在 50 亿参数的模型上能跑到每秒 45.7 帧,比很多短视频方案还快。它支持真实视频训练、蒸馏、多镜头生成、序列并行、KV 缓存优化和异步解码部署,专门解决以前长视频生成要么慢到没法用、要么只能做几秒片段的毛病。

推荐理由:NVIDIA 将 LongLive 2.0 的训练与推理代码全部开源,在 50 亿参数模型上以 4-bit 量化实现每秒 45.7 帧,为长视频生成的低成本部署提供了可复用的工程路径。

5月19日星期二

Hacker News 首页

Forge 给开源小模型加了五层护栏,把智能体任务准确率从 53% 拉到 99%

Forge 是一个 Python 框架,专门给自部署的大模型做工具调用和多步骤智能体流程。它给 Ministral 8B 这个开源小模型套了五层护栏,在 18 个多步骤智能体场景里把任务成功率从 53% 直接提到 99.3%。作者说这背后有篇被 ACM CAIS ’26 录用的论文撑腰,覆盖了 97 种模型和后端组合,每个场景跑了 50 次。

推荐理由:Forge 用五层护栏把 Ministral 8B 在 18 个多步骤智能体场景的任务成功率从 53% 提到 99.3%,覆盖 97 种模型与后端组合,为自部署小模型做工具调用的团队提供了一套可迁移的护栏思路。

r/LocalLLaMA

字节跳动开源了一个 3B 参数模型,想用一个小体量搞定看图、看视频、生图和修图

字节跳动放出了一个叫 Lance 的开源模型,激活参数只有 3B,但试图把图像和视频的理解、生成、编辑都塞进一个模型里。帖子说它是从头训练的,用了分阶段的多任务训练配方,训练硬件是 128 张 A100 GPU。正文没披露训练时长、具体数据规模和各项任务的实测分数,所以实际效果和泛化能力还得等跑分和社区实测。

推荐理由:字节跳动开源 Lance 模型,用 3B 激活参数把图像视频的理解、生成与编辑放进同一个模型,并公开了分阶段多任务训练配方和 128 张 A100 的训练配置。

AI HOT 精选

地平线开源了 4 亿参数的机器人控制模型 HoloMotion-1,能跳舞、搬箱子,端侧跑到 300 帧

地平线机器人实验室把一个人形机器人全身控制模型 HoloMotion-1 开源了,参数规模 4 亿,他们管它叫“机器人小脑”。这个模型用了 MoE 稀疏激活和 KV-cache 推理,把单步推理开销压下来,在端侧能跑到约 300FPS,比常见的 50Hz 控制频率高出一大截。

推荐理由:地平线机器人实验室开源了 4 亿参数的人形机器人全身控制模型 HoloMotion-1,靠 MoE 稀疏激活和 KV-cache 把端侧推理做到约 300FPS,远高于常见的 50Hz 控制频率。

5月18日星期一

Hacker News 首页

InsForge:给编程 AI 配一个开源后端,一条命令就能部署、调试

InsForge 是一个 Apache 2.0 协议的开源后端平台,专门给编程类 AI(也就是 coding agent)用。它把数据库、用户认证、文件存储、算力托管和 AI 网关打包在一起,AI 写代码时可以直接调用这些现成模块,不用每次都从零搭后端。安装只要一行 CLI 命令,再配上它的 Skills 功能,AI 就能自己完成部署、运维和查错。

推荐理由:InsForge 把数据库、认证、存储和 AI 网关打包成开源后端,编程 AI 通过一行命令安装后即可自行部署、运维和查错,省去从零搭建的环节。

量子位 · 公众号

openJiuwen 开源 JiuwenSwarm,一个让多个 AI 智能体组队干活的协调框架

正文因为微信环境异常被屏蔽了,实际内容没抓到。从标题和已有英文摘要看,openJiuwen 社区发了一个叫 JiuwenSwarm 的开源框架,核心是让多个 AI 智能体像蜂群一样协作。框架包含四块:Agent Swarm(智能体集群)、Swarm Skills(集群技能)、Skills Hub(技能库)和自进化能力。

推荐理由:openJiuwen 社区开源了 JiuwenSwarm,用于协调多个 AI 智能体协作,框架包含智能体集群、集群技能、技能库和自进化四部分。

r/LocalLLaMA

用 4B 小模型搭了个编程助手,跑分冲到 87%,作者把方法全摊开了

作者用 Gemma 4 的 4B 参数模型做了一个叫 SmallCode 的编程 agent,在 100 道题的基准测试里解出了 87 道。核心不是模型本身,而是给模型配了一套复合工具:写完代码自动编译、跑 lint 检查,出错就根据报错信息改;同一个任务连续失败两次后,会自动把问题拆成更小的子任务再试。

推荐理由:作者用 4B 参数模型搭出编程 agent,在 100 道题中解出 87 道,做法是让模型自动编译、跑 lint 并按报错修改,同一任务失败两次后拆成更小子任务重试。

AI HOT 精选

开源工具 api-relay-audit 能揪出 AI API 中转站有没有偷工减料

这个工具专门查中转站三类小动作:改写工具调用指令、用报错信息泄露模型身份、偷偷截断上下文。它给出的是可复现的三态结果(有/无/不确定),附带透明日志,比 hvoy.ai 和 cctest.ai 这类工具更可信。作者把检测方法、对比结果和速查表都公开了,工具本身也开源了。

推荐理由:开源工具 api-relay-audit 把中转站改写工具调用、借报错泄露模型身份、截断上下文这三类动作拆成可复现的三态检测,并公开检测方法与对比结果。

5月17日星期日

Hacker News 首页

Semble:给 AI 编程助手用的代码搜索工具,比 grep 省 98% 的 token

MinishLab 开源了 Semble,一个专为 AI 编程 agent 设计的代码搜索工具。它把轻量级语义嵌入(Model2Vec)、传统关键词匹配(BM25)和融合排序(RRF)串在一起,最后再用重排序模型精排结果。在 63 个代码仓库的测试里,它的搜索质量达到 NDCG@10 0.854,每次查询在 CPU 上大约只要 1.5 毫秒。

推荐理由:MinishLab 开源的 Semble 把轻量语义嵌入、BM25 与重排序串成一条检索链,在 63 个代码仓库上测得 NDCG@10 0.854,单次查询 CPU 耗时约 1.5 毫秒。

AI HOT 精选

开源模型井喷:Gemma 4、DeepSeek V4、Kimi K2.6 等集体发布,CAISI 评估称开源落后闭源

这个月开源模型扎堆更新,DeepSeek V4、Gemma 4、Kimi K2.6、MiMo 2.5、GLM-5.1 全来了。

推荐理由:DeepSeek V4、Gemma 4、Kimi K2.6 等五款开源模型在同一月集中发布新版本,为关注开源模型迭代节奏与版本选型的人提供了一份集中清单。

AI HOT 精选

AntLingAGI 开源万亿级推理模型 Ring-2.6-1T,专为智能体工作流设计,5 月底前在 OpenRouter 打二五折

AntLingAGI 把 Ring-2.6-1T 开源了,同时上线了 OpenRouter 平台。这个模型参数量达到万亿级别,不是单纯回答问题,而是冲着让模型进业务流程干活去的:规划步骤、调用工具、维持长上下文、跑完复杂任务。训练用了 Async RL 和 IcePop 两种方法,正文没展开解释具体怎么做的。

推荐理由:AntLingAGI 开源万亿参数模型 Ring-2.6-1T 并上线 OpenRouter,面向规划步骤、调用工具、维持长上下文的智能体工作流,5 月底前在该平台打二五折。

5月16日星期六

Hacker News 首页

SANA-WM:一个 26 亿参数的开源世界模型,能根据单张图片和镜头轨迹生成 1 分钟 720p 可控视频

NVIDIA 放出了一个叫 SANA-WM 的开源模型,参数规模 26 亿,主打的是用一张图加一条镜头移动路线,直接生成长达一分钟的 720p 视频。它把长视频生成拆成两步:先用一个混合线性注意力的主干网络跑出长序列粗稿,再用一个 170 亿参数的精修模型去改善纹理、动作和后半段的画质。

推荐理由:NVIDIA 开源 26 亿参数的 SANA-WM,用单张图片加镜头轨迹生成一分钟 720p 视频,其两阶段生成流程展示了长视频画质与动作一致性的处理思路。

AI HOT 精选

OpenClaw 团队跑着 100 个 AI 实例干活,完全不看 token 账单

OpenClaw 项目组把 AI 用量拉满,常驻约 100 个 Codex 实例,把代码审查、安全扫描、issue 去重归类、测试环境复现并录屏验证、从会议里自动建任务、垃圾评论过滤和性能回退监控全交给它们跑。他们用 clawpatch.ai 把项目拆成功能单元做审查,还接了 Vercel DeepSec 做安全分析。

推荐理由:OpenClaw 团队常驻约 100 个 Codex 实例,把代码审查、安全扫描、issue 归类、测试复现和性能回退监控交给 AI 批量执行,展示了高 token 消耗下多实例分工的一种落地方式。

5月15日星期五

AI HOT 精选

X 把“为你推荐”的算法开源了,用的还是 Grok 同款 Transformer

X 在 GitHub 上公开了“For You”信息流的推荐管道,代码、预训练模型和内容理解服务都给了。核心是一套叫 Phoenix 的 Transformer 模型,基于 Grok 架构,负责给候选帖子打分。它会看用户最近跟谁互动,同时预测点赞、回复、转发这些行为的概率,揉成一个相关性分数。

推荐理由:X 在 GitHub 公开了 For You 信息流的推荐管道,代码、预训练模型和内容理解服务一并给出,核心是基于 Grok 架构的 Phoenix 模型为候选帖子打分。

AI HOT 精选

飞书命令行工具 lark-cli 45 天 GitHub 破万星,AI 操作每一步都能预览和审查

飞书开源了一个叫 lark-cli 的命令行工具,45 天在 GitHub 上拿到超过一万颗星,是国内办公套件里第一个破万星的开源项目。这个工具让 AI 能直接在命令行里建群、建文档,而且每一步操作都会先展示出来让你确认,不是那种在云端黑盒执行的 MCP 模式。主干代码已经合并了 10 位外部开发者的贡献,对比钉钉和企业微信同类项目的外部贡献是零。

推荐理由:飞书开源命令行工具 lark-cli,45 天在 GitHub 破万星,其每一步 AI 操作先展示再确认的机制,与云端黑盒执行的 MCP 模式形成对照。

量子位 · 公众号

160行代码就能跑通LeCun的JEPA世界模型

一个叫keon/jepa的开源教学库把LeCun提出的JEPA世界模型拆成了5个独立变体,每个都用单个PyTorch文件实现,最短160行,最长278行,只依赖PyTorch和torchvision。其中iJEPA在CIFAR-10上跑了100轮,线性探测准确率52.7%,不算高,但胜在代码够短、能跑通。

推荐理由:开源教学库keon/jepa把LeCun的JEPA世界模型拆成5个单文件PyTorch实现,最短160行,其中iJEPA在CIFAR-10上跑完100轮线性探测准确率52.7%。

5月14日星期四

r/LocalLLaMA

单卡跑通一句话生成电影级短片:FLUX.2 出角色,Wan2.2 做动画,带自动质检和 9 语配音

这个叫 StudioMI300 的开源流水线,把一句英文提示词变成 720p 短片,全程跑在一张 AMD Instinct MI300X 上。流程分 8 步:先用 FLUX.2 [klein] 生成角色关键帧,再用 Wan2.2-I2V 把静态图转成动画,中间加了一道视觉评分和自动重试的质检,最后配上音乐和 9 种语言的旁白。

推荐理由:StudioMI300 把一句提示词到 720p 短片的 8 步流程跑在一张 MI300X 上,其中视觉评分与自动重试环节用于控制成片质量。

AI HOT 精选

腾讯开源 Agent Memory:用“任务地图”和上下文卸载,让 Token 消耗降低 61%

腾讯云开源了 TencentDB Agent Memory,专门解决 AI Agent 在长任务里上下文窗口被快速撑爆的问题。核心思路分两步:一是用 Mermaid 流程图把任务执行过程画成一张可折叠、可展开的“任务地图”,让 Agent 随时知道自己在哪、哪些步骤有依赖。

推荐理由:腾讯云开源 TencentDB Agent Memory,用 Mermaid 流程图把任务执行过程画成可折叠的任务地图,并配合上下文卸载,在长任务中把 Token 消耗降低 61%。

量子位 · 公众号

摩尔线程把 SGLang 的 MUSA 后端合进了主线,还拉来核心开发者一起聊了聊

摩尔线程办了一场 SGLang × MUSA 线下交流会,宣布 MUSA 后端已经并入 SGLang 主分支。截至 5 月 12 日,他们一共提了 47 个 PR,其中 41 个被合并。不过正文因为环境验证问题没能加载出来,具体技术细节和现场讨论内容暂时看不到。

推荐理由:摩尔线程将 SGLang 的 MUSA 后端合入主分支,并累计提交 47 个 PR、其中 41 个被合并,为国产 GPU 参与主流推理框架生态提供了可参考的协作路径。

AI HOT 精选

OpenSquilla 用本地路由和缓存把大模型传输量砍掉九成以上

OpenSquilla 这个开源项目把模型路由决策放在本地跑,不花 token 就能判断问题难易:简单问题丢给便宜模型,复杂问题才上强模型。它靠增量发送和缓存命中把实际传输的 token 量压到原来的十分之一以下。记忆模块会在上下文快满时自动挑重点压缩,还支持混合检索。

推荐理由:OpenSquilla 把模型路由决策放在本地执行,不消耗 token 即可区分问题难易,并借增量发送与缓存命中将实际传输量压到十分之一以下。

r/LocalLLaMA

商汤发布 SenseNova-U1-A3B-MoT,一个模型搞定看图、推理和生成

商汤在 Hugging Face 上放出了 SenseNova-U1-A3B-MoT 模型,同时提供了 A3B MoT、8B MoT 和 0.4B LoRA 权重链接。按官方说法,这套模型用 NEO-unify 架构把多模态理解、推理和生成统一到一个模型家族里。

推荐理由:商汤在 Hugging Face 放出 SenseNova-U1-A3B-MoT 系列权重,用 NEO-unify 架构把多模态理解、推理和生成收进同一模型家族,并同时提供 0.4B LoRA 权重。

5月13日星期三

AI HOT 精选

开源 psql_bm25s:让 PostgreSQL 做 BM25 检索,比 pg_search 快 23 倍

团队把 psql_bm25s 开源了,它是一个 PostgreSQL 原生访问方法,直接在数据库里跑精确的 BM25 检索。在标准基准测试上,它比 pg_search 快大约 23 倍。这个速度提升意味着,在多智能体系统里,检索不再拖后腿,也不用额外烧钱,智能体查数据能快很多。正文没披露具体测试用的数据集、硬件配置和查询类型,所以这个 23 倍先打个折看。

推荐理由:团队开源了 PostgreSQL 原生访问方法 psql_bm25s,在标准基准测试上比 pg_search 快约 23 倍,为把 Postgres 同时用作主库和检索库的团队提供了一条减少外部依赖的路径。

r/LocalLLaMA

小米把 1 万亿参数的 MiMo-V2.5-Pro 开源了,但自己跑真的划算吗?

小米放出了 MiMo-V2.5-Pro,参数总量 1.02 万亿,但每次推理只激活 420 亿参数,上下文窗口能塞进 100 万个 token,用 MIT 许可证。作者拿它跑了 125 次 Claude Code 任务,走 API 总共花了 70.12 美元,处理了约 3.87 亿个 token,缓存命中率高达 96.3%。

推荐理由:小米开源 MiMo-V2.5-Pro,1.02 万亿参数、每次激活 420 亿,作者用 Claude Code 跑 125 次任务,3.87 亿 token 的 API 花费 70.12 美元,自建与调用的成本对比有了具体参照。

新智元 · 公众号

清华系开源 MiniCPM-V 4.6:1.3B 多模态模型,一张 4090 就能全量微调

面壁智能、清华和 OpenBMB 放出了 MiniCPM-V 4.6,一个 13 亿参数的多模态模型。它最大的卖点是能在一张 RTX 4090 显卡上完成全量微调,不用再靠低秩适配这类折中方案。模型提供了两种视觉 token 压缩模式:4 倍压缩追求精度,16 倍压缩追求速度,让开发者自己按场景选。

推荐理由:面壁智能、清华与 OpenBMB 开源 13 亿参数的 MiniCPM-V 4.6,单张 RTX 4090 即可全量微调,并提供 4 倍与 16 倍两种视觉 token 压缩模式。

r/LocalLLaMA

有人把 Transformer 语言模型塞进了原装 Game Boy Color 里跑

maddiedreese 把 Andrej Karpathy 的 TinyStories-260K 模型成功跑在了一台没改过硬件的 Game Boy Color 上。他用 INT8 量化权重、定点数运算,把模型和 KV 缓存塞进 MBC5 卡带的 bank-switched ROM 和 SRAM 里,全程不靠手机、电脑、Wi-Fi 或云端推理。

推荐理由:一个 Reddit 硬件 hack,把 TinyStories-260K 塞进原装 Game Boy Color,用 INT8 和定点数学跑推理,KV cache 放在卡带 SRAM 里。输出慢到没法用,而且基本是乱码,所以别当产品看。但能在这种老设备上把 transformer 跑起来,本身就挺酷,技术细节也给得实在,适合当一条有趣的行业花絮。

Hacker News 首页

Needle:一个 26M 参数的小模型,专门做工具调用,能在普通电脑上跑到每秒 1200 token

Cactus 开源了一个叫 Needle 的工具调用模型,参数量只有 2600 万,小到可以在消费级设备上跑。它的推理速度很快,预填充阶段每秒能处理 6000 个 token,生成阶段每秒 1200 个 token。这个模型是从 Gemini 的工具调用能力蒸馏出来的,相当于把大模型怎么调用 API、怎么选函数这套本事,压缩进了一个极小的模型里。

推荐理由:Cactus 把 Gemini 的工具调用能力蒸馏进一个 2600 万参数模型,预填充每秒 6000 token、生成每秒 1200 token,可在消费级设备本地运行。

r/LocalLLaMA

Needle:他们把 Gemini 的工具调用能力蒸馏进了一个 26M 小模型

Cactus Compute 开源了一个叫 Needle 的工具调用模型,参数量只有 2600 万。它用 Gemini 当老师,把怎么调用外部工具的能力蒸馏出来,塞进一个没有传统 MLP 层、靠注意力机制和门控结构的小模型里。在消费级设备上跑,预填充速度能到每秒 6000 个 token,解码速度每秒 1200 个 token。

推荐理由:Cactus Compute 把 Gemini 的工具调用能力蒸馏进一个 2600 万参数的小模型,并给出消费级设备上每秒 6000 个 token 的预填充速度,为端侧工具调用提供了一种轻量方案。

5月12日星期二

AI HOT 精选

开放模型生态如何滚起雪球

作者 Nathan Lambert 从中国 AI 圈几乎全员开源的现状出发,聊了聊开放模型生态真正的省钱逻辑。核心判断是:造前沿模型的大头成本不在最终训练,而在研发试错,这部分算力开销可能占到 80%。中国各家实验室通过详细技术报告和刻意分享,相当于帮同行排了雷,避免重复烧钱做实验,形成了一种靠信息共享降低未来研发成本的复合增长。

推荐理由:作者指出前沿模型研发试错算力可占八成成本,中国实验室通过技术报告共享排雷经验,让开放生态形成降低未来研发成本的复合增长。

AI HOT 精选

想让 AI 当个人管家?先得把你在淘宝、京东、美团上的消费记录弄出来

作者实测了五个主流消费平台的数据导出方法。淘宝自带导出功能;京东没有官方支持,但作者用 Codex 写了个 Chrome 插件,能一键导出订单,代码已开源在 GitHub;饿了么可以申请导出 Excel;美团外卖目前完全没办法导出;大众点评的收藏列表也能通过定制插件导出来。

推荐理由:开发者实测淘宝、京东、饿了么、美团外卖、大众点评五个平台的消费数据导出方式,其中京东无官方支持,他用 Codex 写了开源 Chrome 插件一键导出订单。

机器之心 · 公众号

字节开源 DreamLite:0.39B 参数模型在 iPhone 上 3 秒出图,不用联网

DreamLite 是字节跳动开源的一个统一扩散模型,参数量只有 3.9 亿,能在 iPhone 17 Pro 上直接跑,生成或编辑一张 1024×1024 的图大约 3 秒。它靠 DMD2 蒸馏技术把推理压缩到 4 步,全程在手机本地完成,不依赖云端。

推荐理由:字节跳动开源 3.9 亿参数的统一扩散模型 DreamLite,在 iPhone 17 Pro 上本地生成或编辑一张 1024×1024 的图约 3 秒,靠 DMD2 蒸馏把推理压到 4 步。

r/LocalLLaMA

Reddit 网友实测 288 次模型调用,把本地模型输出 JSON 时的各种翻车方式全整理了一遍,还写了个修复库

Reddit 用户 kexxty 用 OpenRouter 跑了 288 次结构化输出测试,覆盖 Llama 3、Mistral、Command R、DeepSeek、Qwen 等模型,发现本地模型和纯 API 模型在 JSON 上出的错其实差不多。他把这些失败归类后,写了一个叫 outputguard 的 Python 修复库,用 MIT 协议开源。

推荐理由:Reddit 用户 kexxty 跑了 288 次结构化输出测试,覆盖 Llama 3、Mistral、DeepSeek 等模型,把本地模型 JSON 出错方式归类后开源了修复库 outputguard。

5月11日星期一

AI HOT 精选

Anthropic 在 GitHub 开源了一套金融 AI 模板,直接给投研、投行、风控配好了 10 个智能体和 11 家数据商的连接器

这套模板把金融行业里常见的 AI 用法打包成了开箱即用的工作流,覆盖投研、投行、风控等核心环节。里面塞了 10 个端到端智能体、7 个垂直插件,还接好了 11 家主流金融数据商的 MCP 连接器,等于把模型跟 Bloomberg 这类数据源的通路提前打通了。部署方式从个人插件到企业 API 都支持,也能塞进 Microsoft 365 和私有云。

推荐理由:Anthropic 在 GitHub 开源金融 AI 全栈模板,打包 10 个智能体、7 个插件和 11 家数据商连接器,为金融 AI 落地提供可复用的工程起点。

5月10日星期日

r/LocalLLaMA

ByteBell 开源了一套代码索引方案:用 LLM 给每个文件生成语义信息存进图数据库,比向量、语法树和暴力塞上下文都管用

他们试了三种路线:向量相似度搜代码、用抽象语法树(AST)结构化匹配、以及直接把代码块塞进大窗口模型。最后发现,让 LLM 先给每个文件提炼出用途、摘要、业务背景、实体、类、函数、关键词和依赖关系,存到 Neo4j 图数据库里,再用全文搜索去查,效果最好。正文没披露具体评测指标和对比数据,这点先别太激动。

推荐理由:ByteBell 开源了一套代码索引方案,对比向量、语法树和直接塞上下文三种路线,最终采用 LLM 逐文件生成语义信息存入 Neo4j 图数据库,并用全文搜索查询。

r/LocalLLaMA

网友用一张 RTX PRO 6000 工作站显卡跑起了 DeepSeek V4 Pro

Reddit 用户 fairydreaming 发帖说,他在自己机器上跑通了 DeepSeek V4 Pro。用的是一块 RTX PRO 6000 Blackwell Max-Q 工作站显卡,搭配修改过的 llama.cpp CUDA 分支。模型文件是 Q4_K_M 量化版,体积 859GB。

推荐理由:Reddit 用户用一块 RTX PRO 6000 工作站显卡和修改版 llama.cpp 跑通 859GB 的 DeepSeek V4 Pro,为关注本地推理硬件门槛的读者提供了单卡运行大模型的具体配置参考。

r/LocalLLaMA

BeeLlama.cpp:用 DFlash 和 TurboQuant 让 Qwen 3.6 27B 在单张 3090 上跑 20 万上下文,速度翻倍

Anbeeld 发了一个 llama.cpp 的分支 BeeLlama.cpp,主要加了 DFlash(一种省显存的注意力机制)和 TurboQuant(更快的量化方案),还支持推理和视觉任务。

推荐理由:Anbeeld 发布 llama.cpp 分支 BeeLlama.cpp,加入 DFlash 省显存注意力与 TurboQuant 量化,让 Qwen 3.6 27B 在单张 3090 上支持 20 万上下文并提速 2 至 3 倍。

5月9日星期六

AI HOT 精选

YC 老板 Garry Tan 开源了自己的 AI 系统 GBrain,五个月读了 20 多本书,管着 10 万页知识

Garry Tan 把 GBrain 放上了 GitHub,这是他给自己搭的一套个人 AI 操作系统,想做成能持续增值的“第二大脑”。系统按任务拆成几个模块:Book Mirror 负责深度处理书籍,Meeting Prep 自动做会前预习,五个月啃完 20 多本书,结构化知识库超过 10 万页,还在涨。

推荐理由:Garry Tan 把自用的 GBrain 开源,五个月处理 20 多本书、积累超 10 万页结构化知识,为想用模型管理个人资料的人提供了一套可参考的模块拆分方式。