本章导读 学习导航

基础与原理

约 11 分钟本章 1 / 3 篇

查看本页目录4

这里讲模型的结构、训练方法、评估与推理。每个主题从例子讲起，再展开推导和实现。

刚开始学：沿着下面的入门顺序读，先弄懂一次计算。
已有基础：在问题索引或章节目录里找需要的内容。
想动手做：配合文中的小实验，再到工程实践看完整系统。

不确定该选哪一部分，可以先看阅读路线；主要为面试复习，直接去面试准备。

近期补充（2026-10）：

前沿观察：新增的第四部分。世界模型和递归自我改进（RSI）两组已审阅；测试时计算（test-time compute）、用 RL 训练 agent、机制可解释性三组是待审核草稿。
两个新板块，都是待审核草稿：AI 基础设施（AI infra），从芯片、GPU、CUDA 讲到框架和集群；感知、机器人与自动驾驶。
2026-10-16 又加了三组待审核草稿：Scaling law 与超参数，开训前怎样定模型大小、数据量和学习率（LR）；扩散语言模型（dLLM），放在前沿观察里；量化，放在 AI 基础设施里。
强化学习（reinforcement learning, RL）补了三篇：学什么样的模型、规划和学习怎样互相喂、离线策略评估（OPE）的估计量。

待审核草稿的开头有提示框，侧栏标「（待审核）」；引用其中的事实前，请回到文中链接的一手资料核对。

从基础开始

向量、loss 和梯度还不熟，可以先读从线性模型到神经网络。下面的第 1–3 步是模型计算与训练的基础，第 5 步讲评估；后训练（post-training）和推理优化可以稍后再看。阅读时可以配合 PyTorch 小实验。

带着问题来，可以这样读

从左边找到接近你的问题，按中间一栏选读。右边列出了阅读时值得留意的细节。

你想弄明白什么	相关阅读	重点看什么
FSDP、vLLM、SGLang 都听过，却分不清关系	训练框架 → 推理引擎	训练状态、请求调度与算子分别由谁负责
想知道模型怎么成为一个完整产品	ML 系统全貌 → 数据到模型 → 上线与反馈	输入输出、版本、失败处理与团队交接
公式懂了，训练代码还是写不对	张量与存储 → 自动求导 → 训练循环	参数有没有更新，验证 loss 的分母对不对
想微调（fine-tuning），先准备什么	预训练数据流程 → SFT → LoRA / QLoRA	标签、loss mask、数据切分与显存
新架构名字很多，分不清差别	组件阅读地图 → 模型报告精读	改的是序列、缓存、专家，还是网络深度
图片接上了，模型真的看了吗	图文如何配对 → 视觉特征进入 LLM → VLM 微调与评估	换掉图片里的事实，答案会不会跟着变
RL 公式会推，实验却不稳定	价值估计与 GAE → PPO clipping → 实验排错	reward、advantage、更新幅度各出了什么变化
检索（retrieval）分数涨了，回答却没有更好	双塔检索 → 混合检索与重排 → 指标稳健性	固定候选（candidate）池后，哪些样本真的改善了
换 embedding 模型，需要改哪些地方？	Qwen Embedding 与 BGE-M3 → 向量索引	输入与 pooling 怎么对齐，什么时候要重建索引
`nvidia-smi` 显示 100%，生成还是很慢	AI 基础设施 → GPU 架构 → 性能：roofline 与 MFU	每从显存搬 1 字节做几次运算，瓶颈在带宽还是算力（待审核草稿）
车和机器人怎样从像素走到动作	感知与几何 → 自动驾驶 → 机器人学习	每一步交给下一步的是什么（待审核草稿）
“世界模型”“自我改进”到底指什么	前沿 → 世界模型 → 递归自我改进	同一个词说的是哪件事，证据走到了哪一步

相关练习集中在面试准备：ML / LLM 问答、ML Coding、Python 和 LeetCode。系统设计与项目拆解放在工程实践。本页保留原理讲解和配套小实验。

只对一个方向感兴趣，需要补哪些基础？

方向	先会这些就能开始	第一轮可以先跳过
多模态	向量相似度、attention、交叉熵（cross-entropy）	分布式训练、完整 RL 推导
SFT / 偏好学习（preference learning）	next-token loss、梯度、数据切分	从头预训练（pre-training）、MoE 部署
RL / 后训练	概率期望、log-prob、基本求导	机器人控制；需要时再补连续动作方法
推理与部署	decoder 前向、张量形状、KV cache	奖励（reward）模型和偏好优化
检索 / RAG / Agent	embedding、检索指标、基本 API 调用	全部模型家族与训练配方
Python / 算法	函数、循环、列表与字典	大模型知识；这条路线可以单独读