HuggingFace 发布 tokenizers v1：编码、解码与规模化实测

tokenizers v1: encode, decode and scaling, measured

HuggingFace 正式推出 tokenizers v1，主打编码、解码和规模化场景下的性能测量。正文没披露具体改进点或基准数据，所以暂时只能知道这是个新版本，重点在速度和扩展性上。