这一部分不急着推完每个公式，先回答三个问题：它在算什么，为什么这样算，还有什么没解决。

读完以后，试着拿一句话当输入，说说它经过了哪些计算。能把这个过程讲出来，就不只是记住几个名词了。

  1. 文本切分（Tokenization）：把文字切成小单元，编号后再映射成模型能计算的向量。
  2. 循环神经网络：RNN 与 LSTM：边读边更新一份状态；LSTM 用门控（gating）决定保留和忘掉哪些信息。
  3. 序列到序列（Seq2Seq）：先理解输入，再逐步生成输出；注意力让模型每一步都能回看相关输入。
  4. 多头注意力、残差连接 与 归一化：先拆开 Transformer 的零件——attention 怎样在位置之间读信息，残差和归一化怎样让深层网络训练得动。
  5. 原始 Transformer：不再逐步传递一个状态，改用注意力让不同位置交换信息。
  6. 理解 Transformer 后，按任务选一条：先看 BERT 怎样利用前后文恢复被遮住的词、再微调（fine-tuning）做分类；或者直接看 Decoder-only 怎样从前缀一步步生成。
flowchart LR
    A["离散输入<br/>Token"] --> B["循环状态<br/>RNN / LSTM"]
    B --> C["条件生成<br/>Seq2Seq"]
    C --> D["并行注意力<br/>Transformer"]
    D --> E["理解已有文本<br/>BERT"]
    D --> F["从前缀继续生成<br/>Decoder-only"]

理解主线以后，可以去 进阶拆解 补数学；如果更喜欢先运行代码，也可以直接进入 从零实现实验。

不太熟的基础，先在这里补

  • 向量与相似度：输入 embedding、hidden state 和检索（retrieval）向量有什么区别，点积（inner product）为什么不等于余弦。
  • FFN 与 SwiGLU：attention 之后怎样变换特征，门控的梯度和参数预算怎样算。
  • 一次训练怎么走：把 token、mask、loss 和参数更新连成一次完整计算。
  • CLIP 图文对齐：用一个 3 × 3 的例子，看看这些基础怎样用到图片和文字上。
本页术语 4
门控 gating
用可学习权重控制信息写入、保留或输出
微调 fine-tuning
在预训练权重上继续训练以适配具体任务
检索 retrieval
从外部语料里找出相关内容
点积 inner product
两个向量对应分量相乘再求和，双塔的打分方式