从零构建 C++/CUDA 推理引擎：6 小时视频与 85 页手写笔记讲透 LLM Inference

Hours of YouTube and 85 handtyped pages of notes on LLM Inference – Start here

一套从第一性原理讲解 LLM 推理的教程发布，用 C++17 和 CUDA 从零构建小型推理引擎，配套 6 小时以上视频和 85 页手写笔记。项目已支持 Llama 3.2 1B Instruct 的完整前向流程，包括 BF16 权重加载、RMSNorm、RoPE、GQA、SwiGLU MLP、KV cache 与连续批处理，上下文固定 2,048 token，KV 池默认 128 MiB。