跳到正文
AI HOT 精选

面壁智能开源 ForgeTrain,一个完全由 AI 写的预训练框架,8 小时追平 Megatron-LM

面壁智能发布AI全自动预训练框架ForgeTrain,8小时追平Megatron-LM

面壁智能放出了一个叫 ForgeTrain 的预训练框架,代码全由 AI 生成,人工一行没改。它能针对特定模型和硬件从零自动生成训练代码,8 小时内性能追平 Megatron-LM,跑 1.5 到 2 天后稳定反超,FLOPS 利用率高出 8% 到 10%。已经在 MiniCPM4-0.5B 和 8B 上跑过,支持 H100 和昇腾 NPU。整个流程靠...

推荐理由:面壁智能放出一个全 AI 生成的预训练框架,8 小时追平 Megatron-LM,1.5 天后反超且 FLOPS 利用率高 8%–10%,指标够硬。我会先打个折,因为目前只在自家 MiniCPM 上验证过,跨模型泛化能力还没数据,所以分数没给更高。

读原文 ↗导出 Markdown