Scaling Hierarchical Networks

Cartesia公布改进版层次网络H-Net的扩展实验，通过端到端动态分块替代固定分词，并报告语言建模效率提升。严格匹配的一阶段H-Net在验证损失上的计算效率为BPE Transformer的1.28x；两阶段H-Net约用~1T tokens达到SmolLM3约~11T tokens时的最终平均评测分数，两者每字节计算量差异在2%以内，但参数量和训练阶段设置不同。