跳到正文
Latent Space

想进顶尖 AI 实验室做预训练?先学会写一个比官方库还快的 GPU 内核

[AINews] How to land a job at a frontier lab (on Pretraining)

Vlad Feinberg 写了一篇求职笔记,把进前沿实验室的门槛讲得很直白:核心能力是底层性能调优,也就是能动手改内核(kernel),让模型训练真的跑得动。他给了一道具体的面试题——先推导 Chinchilla 缩放定律,并比较它在稠密模型和 MoE(混合专家)架构下的区别。

推荐理由:Vlad Feinberg 的求职笔记指出,进前沿实验室做预训练的核心能力是底层性能调优,并给出推导 Chinchilla 缩放定律、比较稠密模型与 MoE 架构差异的面试题。

读原文 ↗导出 Markdown