# 从零构建 C++/CUDA 推理引擎：6 小时视频与 85 页手写笔记讲透 LLM Inference

> 原标题：Hours of YouTube and 85 handtyped pages of notes on LLM Inference – Start here

- 来源：Hacker News 首页
- 发布时间：2026-11-09T11:36:55.000Z
- AX AI 日报：https://ai-daily.ax0x.ai/items/cue8ucwcpl1gadzumdkqf77a4
- 原文：https://github.com/samir-sarwar/samir-vllm

## 摘要

一套从第一性原理讲解 LLM 推理的教程发布，用 C++17 和 CUDA 从零构建小型推理引擎，配套 6 小时以上视频和 85 页手写笔记。项目已支持 Llama 3.2 1B Instruct 的完整前向流程，包括 BF16 权重加载、RMSNorm、RoPE、GQA、SwiGLU MLP、KV cache 与连续批处理，上下文固定 2,048 token，KV 池默认 128 MiB。