把 gzip 当语言模型用？作者用压缩算法生成莎士比亚文本
Can gzip be a language model?
Nathan Barry 把 gzip 背后的 DEFLATE 压缩算法改成了一个语言模型，完全不依赖神经网络。核心逻辑是：压缩就是预测——一段文本如果能被压得更小，说明模型“更预期”它出现。他让 gzip 在字节序列上做 beam search，找出最容易被压缩的续写，结果生成了看起来像莎士比亚、但语义不通的文本。代码只有纯 Python，依赖 zl...
Can gzip be a language model?
Nathan Barry 把 gzip 背后的 DEFLATE 压缩算法改成了一个语言模型，完全不依赖神经网络。核心逻辑是：压缩就是预测——一段文本如果能被压得更小，说明模型“更预期”它出现。他让 gzip 在字节序列上做 beam search，找出最容易被压缩的续写，结果生成了看起来像莎士比亚、但语义不通的文本。代码只有纯 Python，依赖 zl...