有人写了个编译器,把 Python 代码转成更省 token 的格式喂给模型
I built a compiler that rewrites Python into a model-facing representation
作者开源了一个叫 Vulpine 的编译器,能把 Python 源码转成一种专门给代码模型看的紧凑表示。在约 1.3 万个留出测试文件上,token 用量平均减少了 14%,而且 99.8% 的情况下能无损还原回原本的抽象语法树结构。代码已经挂在 GitHub 上。不过正文没披露具体测试了哪些模型、省下的 token 对生成质量有没有影响,这点先别太激动。
推荐理由:作者开源的 Vulpine 编译器把 Python 源码转成面向代码模型的紧凑表示,在约 1.3 万个留出测试文件上平均省下 14% 的 token,且 99.8% 的情况能无损还原抽象语法树。