# UEmbed：一个模型同时输出稀疏和稠密两种多模态向量

> 原标题：UEmbed：统一稀疏与稠密的多模态嵌入模型

- 来源：AI HOT 精选
- 发布时间：2026-08-03T00:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/48531
- 原文：https://arxiv.org/abs/2608.02583

## 摘要

UEmbed 用一个纯解码器模型，在一次前向推理里同时吐出两种向量：稀疏向量（像关键词匹配，但能学到语义）和稠密向量（纯语义压缩）。做法是在输入末尾加 N 个可学习的特殊 token，把整个词表切成 N 份，每个 token 只负责预测自己那份词表上的权重，最后拼成一个完整的稀疏向量。论文发了 2B、4B、9B 三个尺寸，都用公开数据训练。

## 推荐理由

UEmbed 让一个纯解码器模型在一次前向推理中同时输出稀疏和稠密两种多模态向量，并公开了 2B、4B、9B 三个尺寸的训练方案。

## 锐评

一次前向同时出稀疏和稠密两种向量，这个方向对做 RAG 的挺实在。现在检索基本是稠密一路、关键词一路，两套索引两套模型，维护成本摆在那。UEmbed 把词表切成 N 份、每个特殊 token 只预测自己那份权重，这个做法比再训一个稀疏模型省事。2B、4B、9B 三个尺寸都用公开数据训练，这点我信。9B 基准分好看归好看，推理延迟没给，检索这种要压 P99 的场景，模型大一倍账单就跟着涨，先按尺寸看性价比。
