不用按目录从头读到尾。先想想你现在卡在哪儿：是看不懂模型里的计算，还是不知道该怎么训练、怎么判断结果？从那个问题开始就好。

这页主要介绍基础和模型部分的读法。想练代码、看训练方法或做系统设计，可以去学习导航找对应入口。

先选一条路线

你现在想做什么 建议从哪儿读 读到什么程度再往下走
第一次系统学语言模型（language model, LM） 学习地图 → 核心机制 → 从零实现 能画出 token 到 logits 的过程，知道每一步的输入和输出
训练不收敛，或只在训练集上好 训练诊断 → 激活与初始化 → 优化器 能分清实现、优化与泛化问题，再设计一个小对照
看懂图片和文字怎么一起学 向量与相似度 → CLIP → 视觉语言模型 能区分配对打分和生成回答，画出两者的数据与梯度路径
看懂新模型 模型家族阅读练习 → 各家族精读 能说清具体版本改了什么，以及哪项实验支持这个解释
做训练或 Post-training 反馈怎么变成目标 → 训练方法 → 评估 能解释标签意味着什么、loss 在奖励（reward）什么、怎样发现副作用
做记忆、检索（retrieval）或 Agent 记忆的写入与更新 → 检索 → Agents 能追踪一次请求用了哪些证据，出错后能找到责任环节
准备技术面 ML 问答与手写 → 不熟的章节 → 动手跑一个例子 不看笔记也能讲一个例子、一个限制，以及怎么验证

看懂一个模块，还要看懂它接在哪里

下面这张图可以帮你检查有没有漏掉某个环节，不必照着它搭系统。

flowchart TD
    A["数据与反馈：看到了什么"] --> B["训练目标：希望学到什么"]
    B --> C["模型与表征：信息怎样被计算"]
    C --> D["检索 / 记忆 / 工具：如何完成任务"]
    D --> E["评估：哪里有效，哪里出错"]
    E -. 检查标签和覆盖 .-> A
    E -. 检查目标和约束 .-> B

比如用户不满意，可能不是模型太小，而是读到了过期记忆；分数上升，也可能只是测试集换了更容易的候选（candidate）。往前后各多看一步，往往比立刻换模型更有用。

一章可以分三步读，不用一次做完

01 · 看懂先跟着一个例子走

输入是什么？经过什么计算？输出交给谁？暂时不懂的公式可以先圈出来。

02 · 拆开再算一次，或写个小实验

检查张量形状、分母、mask 和假设。只改一个条件，看看结果会怎样变。

03 · 回忆试着用自己的话讲一遍

挑一个例子，说清楚为什么这么做、换个条件会怎样。不确定的地方，再回正文找答案。

不必背原文。能说明前提、讲清推理，再举一个自己的例子，就已经很好了。

笔记之间怎么接起来

  • 基础 → 模型家族：先知道 attention 在算什么，再比较 GQA 等设计为什么要改它。
  • 数据 → 训练 → 评估：点击、点赞这类行为标签，往往只是真实目标的近似。改了训练信号，也要检查旧指标还能不能量出想要的改进。
  • 记忆 → 检索 → Agent：存过的信息不一定适合当前任务；检索到一条指令，也不代表系统就有权限执行它。
  • 原理 → 实践 → 论文：用小实验检查理解，再看真实公开项目里的约束，最后回论文查证结论的范围。

如果你也想补一篇

不必一次写成教程。先写“我哪里没懂”，给一个能算清或跑通的小例子，再补解释和限制。公开证据、自己的推测、还没验证的想法，请分开写。

有遗漏就提 issue，想一起改可以看参与方式。我们宁可一篇讲清楚，也不急着把每个目录都填满。

本页术语 4
语言模型 language model, LM
对文本序列建模，用上下文预测或生成后续内容
奖励 reward
RL 里指导策略更新的标量信号
检索 retrieval
从外部语料里找出相关内容
候选 candidate
召回阶段捞出来、等待精排挑选的内容