# Perplexity 开源 Unigram 分词器，CPU 占用降了五六倍

> 原标题：Perplexity开源Unigram分词器降低CPU占用

- 来源：AI HOT 精选
- 发布时间：2026-05-27T15:55:14.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/28749
- 原文：https://x.com/perplexity_ai/status/2059664738087469511

## 摘要

Perplexity 把自家重写的 Unigram 分词器开源了，放在 pplx-garden 仓库里。这个分词器主要解决一个实际问题：现在小型的重排序模型和嵌入模型在 GPU 上跑一次只要几毫秒，但 CPU 分词那一步反而成了拖后腿的环节。他们这次重构后，CPU 占用直接降了 5 到 6 倍，等于把分词这步的延迟砍掉一大截，让整体响应更快。

## 推荐理由

Perplexity 开源了重写的 Unigram 分词器，把重排序和嵌入模型流程中 CPU 分词这一步的占用降低 5 到 6 倍，让分词不再拖慢整体响应。

## 锐评

5 到 6 倍这个数先当参考，Perplexity 自己重构自己测，没有第三方跑过。但分词拖后腿这件事是真的，重排序和嵌入模型在 GPU 上几毫秒出结果，前面 CPU 分词反而占了大头，跑 RAG 的都知道这个瓶颈有多烦。他们愿意把这块开源出来，省下的算力就是省下的钱，尤其对自建搜索管线的团队。我的评价是代码先拉下来看实现，数字能不能复现另说，方向是对的。
