Cartesia公布H-Net扩展与字节级学习研究

10月29日，Cartesia公布改进版层次网络H-Net的扩展实验，以端到端动态分块替代固定分词，并报告语言建模效率提升。在严格匹配的实验中，一阶段H-Net在验证损失上的计算效率为BPE Transformer的1.28倍。两阶段H-Net则用约1万亿tokens，达到SmolLM3训练约11万亿tokens时的最终平均评测分数。两者每字节计算量差异在2%以内，但参数量和训练阶段设置不同，因此这一结果需与严格匹配的一阶段实验区分。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。