跳到正文
AI HOT 精选

蚂蚁周俊:万亿模型跑15分钟烧掉一辆特斯拉,他们用“Token密度”把长文本成本从指数压到线性

蚂蚁集团周俊AICon演讲:从Token数量到Token密度,万亿参数模型效率优先

蚂蚁集团副总裁周俊在AICon上算了一笔账:万亿参数模型每跑15分钟,算力成本就抵得上一辆特斯拉。团队不再拼Token数量,转而提高“Token密度”。他们用7份Lightning Attention加1份MLA搭了一套混合线性注意力架构,把256K长上下文的计算开销从指数级拉回到线性级,省下的算力可以留给推理环节。

推荐理由:蚂蚁团队通过混合线性注意力降低长上下文计算开销,把提高Token密度作为向推理环节释放算力的具体路径。

读原文 ↗导出 Markdown