Perplexity 开源 Unigram 分词器，CPU 占用降了五六倍

Perplexity开源Unigram分词器降低CPU占用

Perplexity 把自家重写的 Unigram 分词器开源了，放在 pplx-garden 仓库里。这个分词器主要解决一个实际问题：现在小型的重排序模型和嵌入模型在 GPU 上跑一次只要几毫秒，但 CPU 分词那一步反而成了拖后腿的环节。他们这次重构后，CPU 占用直接降了 5 到 6 倍，等于把分词这步的延迟砍掉一大截，让整体响应更快。正文没提具...

推荐理由：我会先打个折：正文没给独立基准测试、代码仓库细节和实际部署规模，所以 5-6 倍这个数字先别太激动。但分词器确实是重排序和嵌入模型里容易被忽略的 CPU 消耗大户，Perplexity 把这块开源出来，对跑生产 RAG 和搜索管线的团队来说，省下来的算力就是省下来的钱。