面壁智能开源 ForgeTrain,一个完全由 AI 写的预训练框架,8 小时追平 Megatron-LM
面壁智能发布AI全自动预训练框架ForgeTrain,8小时追平Megatron-LM
面壁智能放出了一个叫 ForgeTrain 的预训练框架,代码全由 AI 生成,人工一行没改。它能针对特定模型和硬件从零自动生成训练代码,8 小时内性能追平 Megatron-LM,跑 1.5 到 2 天后稳定反超,FLOPS 利用率高出 8% 到 10%。已经在 MiniCPM4-0.5B 和 8B 上跑过,支持 H100 和昇腾 NPU。
推荐理由:面壁智能开源全由AI生成代码的预训练框架,报告其在MiniCPM测试中的FLOPS利用率比Megatron-LM高8%至10%。