跳到正文

#RAG

今日 0 条

10月21日星期三

10月7日星期三

Google DeepMind

Google DeepMind 发布 EmbeddingGemma 2,支持端侧多模态嵌入向量

Google DeepMind 发布 EmbeddingGemma 2,基于 Gemma 4 架构,将文本、代码、图像、视频和音频映射到统一嵌入向量空间。模型拥有 740 million 参数,采用 Apache 2.0 许可证,支持 8K token 上下文窗口及完全离线的跨模态搜索与 RAG;纯文本任务仅需 270M 参数,输出向量可从 768 维缩减至 128 维。

推荐理由:EmbeddingGemma 2 将跨模态检索放到本地设备运行,让文本、图像、音频和视频检索无需将数据传至云端。

5月24日星期日

r/LocalLLaMA

视觉模型直接读 PDF vs 先 OCR 再问答:一次长文档实测

作者用 Claude Sonnet 4.5 跑了 MMLongBench-Doc 里的 30 份带图、带表格的 PDF,共 171 道题,对比两种路线:让模型直接看 PDF 画面,和先用 OCR 把文档转成文字再喂给模型。直接看 PDF 的准确率只有 52.0%,在六套方案里排第五,每次查询成本 0.2552 美元。

推荐理由:作者用 Claude Sonnet 4.5 在 MMLongBench-Doc 的 30 份带图表 PDF 上对比直接读画面与先 OCR 再问答,直接读的准确率为 52.0%,单次查询成本 0.2552 美元。

5月15日星期五

r/LocalLLaMA

实测外挂资料库客服机器人:最贵的模型表现最差,真正管用的是这几招

作者搭了一个客服用的外挂资料库(RAG)问答机器人,用模型当裁判打分,把质量分从 6.62 拉到了 7.88,同时单次会话成本从 $0.002420 砍到 $0.000509,降了将近八成。最反直觉的发现是:最贵的模型反而是表现最差的。

推荐理由:作者用模型当裁判调优客服 RAG 机器人,质量分从 6.62 升到 7.88,单次会话成本降近八成,最贵的模型反而表现最差。

AI HOT 精选

IBM 开源多语言嵌入模型 R2:不到 1 亿参数,32K 上下文,检索跑分在同级里最高

IBM 在 Hugging Face 上发了两个新的多语言嵌入模型,都走 Apache 2.0 协议。小号 9700 万参数,在 MTEB 多语言检索上拿了 60.3 分,正文说这是目前所有开源同尺寸模型里最高的。大号 3.11 亿参数,得分 65.2,在 5 亿参数以下的开放模型里排第二。

推荐理由:IBM 在 Hugging Face 开源两个 Apache 2.0 多语言嵌入模型,9700 万参数的小号在 MTEB 多语言检索上拿到 60.3 分,为轻量级多语言检索方案提供了新的同级参照。

5月14日星期四

AI HOT 精选

OpenSquilla 用本地路由和缓存把大模型传输量砍掉九成以上

OpenSquilla 这个开源项目把模型路由决策放在本地跑,不花 token 就能判断问题难易:简单问题丢给便宜模型,复杂问题才上强模型。它靠增量发送和缓存命中把实际传输的 token 量压到原来的十分之一以下。记忆模块会在上下文快满时自动挑重点压缩,还支持混合检索。

推荐理由:OpenSquilla 把模型路由决策放在本地执行,不消耗 token 即可区分问题难易,并借增量发送与缓存命中将实际传输量压到十分之一以下。

5月6日星期三

r/LocalLLaMA

一个用公司内部数据测 RAG 的开放基准,模拟了 9 种数据源和 10 类检索失败模式

EnterpriseRAG-Bench 放出了一个 50 万文档的语料库,专门用来测 RAG 在公司内部数据上的表现。它模拟了 Redwood Inference 的 9 种数据源,并围绕 10 种检索失败模式设计了 500 个问题。基线测试显示,BM25 在整体上优于向量检索,而基于 agent/bash 的检索方式虽然完整度最高,但成本和延迟也明显更高。

推荐理由:EnterpriseRAG-Bench 用 50 万文档语料和 500 个问题测企业内网 RAG,覆盖 9 种数据源与 10 类检索失败模式,基线中 BM25 整体优于向量检索。