Perplexity 开源 Unigram 分词器,CPU 占用降了五六倍
Perplexity开源Unigram分词器降低CPU占用
Perplexity 把自家重写的 Unigram 分词器开源了,放在 pplx-garden 仓库里。这个分词器主要解决一个实际问题:现在小型的重排序模型和嵌入模型在 GPU 上跑一次只要几毫秒,但 CPU 分词那一步反而成了拖后腿的环节。他们这次重构后,CPU 占用直接降了 5 到 6 倍,等于把分词这步的延迟砍掉一大截,让整体响应更快。
推荐理由:Perplexity 开源了重写的 Unigram 分词器,把重排序和嵌入模型流程中 CPU 分词这一步的占用降低 5 到 6 倍,让分词不再拖慢整体响应。