# HuggingFace 发布 tokenizers v1：编码、解码与规模化实测

> 原标题：tokenizers v1: encode, decode and scaling, measured

- 来源：Hugging Face 博客
- 发布时间：2026-09-21T00:00:00.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/59384
- 原文：https://huggingface.co/blog/tokenizers-v1

## 摘要

HuggingFace 正式推出 tokenizers v1，主打编码、解码和规模化场景下的性能测量。正文没披露具体改进点或基准数据，所以暂时只能知道这是个新版本，重点在速度和扩展性上。