一个在5090上训练的小Transformer,花67美分在ARC-AGI-1上拿了44%
44% on ARC-AGI-1 in 67 cents
Mithil Vakde 用 5090 从零训练一个小 Transformer 1.5 小时,在 ARC-AGI-1 公开评测上取得 44%,成本 67 美分,ARC-2 上为 7%。
推荐理由:Mithil Vakde 用单张 5090 从零训练小 Transformer 1.5 小时,在 ARC-AGI-1 公开评测上取得 44%,成本 67 美分,其按任务学习嵌入与 3D RoPE 的做法可复现。