UEmbed：一个模型同时输出稀疏和稠密两种多模态向量

UEmbed：统一稀疏与稠密的多模态嵌入模型

UEmbed 用一个纯解码器模型，在一次前向推理里同时吐出两种向量：稀疏向量（像关键词匹配，但能学到语义）和稠密向量（纯语义压缩）。做法是在输入末尾加 N 个可学习的特殊 token，把整个词表切成 N 份，每个 token 只负责预测自己那份词表上的权重，最后拼成一个完整的稀疏向量。论文发了 2B、4B、9B 三个尺寸，都用公开数据训练。9B 版在 ...

推荐理由：这篇把稀疏和稠密嵌入塞进一个解码器模型，一次前向就出两种向量，对搜索和外挂资料库场景是实打实的简化。9B 模型基准分好看，但正文没披露推理延迟和实际部署情况，这点先别太激动——没落地数据，我只能打个折，给 featured 而不是 must-write。