归一化：BatchNorm、LayerNorm 与 RMSNorm

拿向量 [1, 3] 看归一化会比较直观。暂时忽略 epsilon 和可学习参数：LayerNorm 先减均值 2，再除以标准差 1，得到 [-1, 1]；RMSNorm 不减均值，而是除以均方根 √5。两者都改变尺度，却没有做同一件事。下面再把这笔计算放回一批序列里，看清到底沿哪个轴统计。

核心区别：归一化轴不同

BatchNorm 沿着「一批样本」求统计量，LayerNorm 沿着「一个样本自己的特征」求。

先看统计轴，再看 running statistics 与 train / eval 模式，才能判断变长、batch size 为 1 和自回归生成时的行为。只看轴还不够，统计状态和 train / eval 模式也会改变结果。

图中每行是一条 feature vector。放到 [B,T,d] 序列里，逐 token 归一化对应 LayerNorm(d) / RMSNorm(d)；写成 (T,d) 就会把时间维也算进去。是不是逐 token，要看 normalized_shape，不能只看层的名字。 LayerNorm 和 RMSNorm 的接口都允许归一化多个末尾维度。

三个公式

BatchNorm（对每个特征 $j$，在批次维上统计）：

$$\mu_j = \frac{1}{N}\sum_{i=1}^{N} x_{ij}, \qquad \sigma_j^2 = \frac{1}{N}\sum_{i=1}^{N}(x_{ij}-\mu_j)^2$$

$$\hat{x}_{ij} = \frac{x_{ij}-\mu_j}{\sqrt{\sigma_j^2+\epsilon}}, \qquad y_{ij} = \gamma_j \hat x_{ij} + \beta_j$$

LayerNorm（对每个样本 $i$，在特征维上统计）：

$$\mu_i = \frac{1}{d}\sum_{j=1}^{d} x_{ij}, \qquad \sigma_i^2 = \frac{1}{d}\sum_{j=1}^{d}(x_{ij}-\mu_i)^2, \qquad y_{ij} = \gamma_j\,\frac{x_{ij}-\mu_i}{\sqrt{\sigma_i^2+\epsilon}} + \beta_j$$

RMSNorm（按均方根缩放，常见写法只保留可学习增益 $\gamma$）：

$$y_{ij} = \gamma_j\,\frac{x_{ij}}{\sqrt{\frac{1}{d}\sum_{k} x_{ik}^2+\epsilon}}$$

这些写法中的 $\gamma$，以及使用时的 $\beta$，都是按特征维学习的，长度为 $d$。BatchNorm 与 LayerNorm 要先分清统计轴；LayerNorm 与 RMSNorm 则沿同一特征轴，但分母分别来自方差（variance）和原始二阶矩。RMSNorm 不是“假设均值已经等于 0 的 LayerNorm”。

把开头的 [1, 3] 整体加 10，得到 [11, 13]。忽略 epsilon，LayerNorm 仍输出 [-1, 1]；RMSNorm 的分母从 $\sqrt{5}$ 变成 $\sqrt{145}$，输出当然也变了。它没有去掉这次平移。至于 Norm 放在子层前还是后，那是 Pre-Norm / Post-Norm 的另一个选择，不能与使用哪种归一化公式混为一谈。RMSNorm 原论文讨论的正是去掉 re-centering 后的尺度归一化。

同一批数据，train 和 eval 为什么不一样？

上面的 BatchNorm 公式用二维输入举例；在 [N,C,L] 上，BatchNorm1d 对每个 channel 沿 N,L 统计。默认训练用当前输入的统计量，eval 用积累下来的 running statistics；track_running_stats=False 时 eval 也用当前输入。它们是统计状态，不是由优化器学习的 gamma / beta。PyTorch 2.14 文档明确区分了这些行为（2026-10 核对）。

先别急着归因于“训练和测试的数据分布不同”。就算喂同一批 [1,3]，结果也可能不同。 令 eps=0、不加 affine，并用 momentum=1 让 running statistics 直接采用这一批的值：

这里有两个分母：训练前向用 $v_b=\sum(x-\mu)^2/m$；更新 running variance 用 $v_u=\sum(x-\mu)^2/(m-1)$。$m$ 是每个 channel 参与统计的值数。若 momentum=a，更新为 $v_{\rm run}\leftarrow(1-a)v_{\rm run}+av_u$，均值也按同样的加权方式更新。这不是优化器的 momentum。原始 BN 论文 §3.1也区分了训练统计量与推理时的估计量。

import torch

def batchnorm_train_eval_example():
    inputs = torch.tensor([[1.0], [3.0]])
    norm = torch.nn.BatchNorm1d(1, eps=0, momentum=1, affine=False)
    training = norm(inputs)
    stored_variance = norm.running_var.clone()
    norm.eval()
    evaluation = norm(inputs)
    return training, evaluation, stored_variance

training, evaluation, stored_variance = batchnorm_train_eval_example()
print(training.flatten().tolist())
print(evaluation.flatten().tolist(), stored_variance.item())

梯度累积，并没有把 BN 的 batch 变大

一次喂 [0,2,10,12]，均值是 6；拆成 [0,2] 和 [10,12] 两次前向，每次均值分别是 1 和 11。梯度可以攒到一起再更新，已经发生的两次归一化却不会合成一次。BN 的 running statistics 也是每次前向更新，不是等到 optimizer.step() 才更新。

从 running mean 为 0、running variance 为 1 开始，用 momentum=0.1：

第一行的样本方差是 $104/3$；第二行每批都是 2，但更新了两次。输入的归一化结果、后续 loss 和梯度也可能不同。因此不能把“有效 batch size 一样”当成带 BN 训练等价的证明。

还有一个常见混淆：torch.no_grad() 关闭梯度记录，不会切换 BN 模式；训练模式下仍会更新 running statistics。要用已有统计量做验证，通常是 .eval() 加 no_grad()，分别控制两件事。Autograd 文档

四个概念：先会答，再深挖

需要先补输入特征的 min–max 与 Z-score，可以看预处理和网络 Norm 的区别。

Post-LN（2017 原版）             Pre-LN（现代常见）
x = LN(x + Attn(x))             x = x + Attn(LN(x))
x = LN(x + FFN(x))              x = x + FFN(LN(x))
                                 ...
                                 x = LN(x)   ← final LN

现代 LLM 还在哪儿加 norm：QK-norm 与前后两次 norm

Pre-LN 管住了送进子层的 $x$，但 attention 里还有一个会自己涨起来的量：logit $q\cdot k/\sqrt{d_k}$。$x$ 被归一化了，$q=xW_Q$、$k=xW_K$ 的长度却还跟着投影权重走。

看一个小例子。这里只比较分数差，先省略 $\sqrt{d_k}$ 这个固定常数。$q=[2,1]$，两个 key 是 $[1,0]$ 和 $[0,1]$，分数是 2 和 1，softmax 约为 [0.731, 0.269]。训练中如果 $W_Q$、$W_K$ 各自整体变大 3 倍，$q=[6,3]$，key 变成 $[3,0]$ 和 $[0,3]$，分数是 18 和 9。分数差从 1 变成 9，softmax 约为 [0.99988, 0.00012]，几乎是 one-hot，经 softmax 传回分数的梯度也变得很小（推导见多头注意力）。ViT-22B 报告过这种情况：attention logit 变得极大，注意力熵接近 0，训练几千步后 loss 发散。

QK-norm 在点积（inner product）之前，对每个 head 的 $q$ 和 $k$ 各做一次 RMSNorm（各带一组可学习的 gain）：

$$ \hat q=\operatorname{RMSNorm}(q),\qquad \hat k=\operatorname{RMSNorm}(k),\qquad s=\frac{\hat q\cdot\hat k}{\sqrt{d_k}}. $$

前面讲过，忽略 epsilon 时 RMSNorm 对整体缩放不变：$[6,3]$ 和 $[2,1]$ 归一化后相同，所以权重整体放大 3 倍不再改变分数。gain 为 1 时 $\|\hat q\|=\|\hat k\|=\sqrt{d_k}$，于是 $|s|\le\sqrt{d_k}$；$d_k=128$ 时上界约 11.3。这阻止了投影范数整体放大带来的 logit 膨胀，但不代表分数只能靠 gain 变大：即使 gain 固定，q、k 的方向更接近也会抬高分数；学习 gain 还可以改变上界。这两种变化都没有“一定很慢”的保证。RoPE 是旋转，不改变向量长度，所以这个上界和 norm 放在 RoPE 前后无关；Gemma 3 的 Transformers 实现放在 RoPE 之前。

Qwen3 技术报告写明去掉 Qwen2 的 QKV bias、引入 QK-Norm，是为了训练稳定；Gemma 3 技术报告 §2 用 QK-norm 替换了 Gemma 2 的 soft-capping。soft-capping 用 $c\tanh(s/c)$ 把分数压在 $(-c,c)$ 里，是事后截住；QK-norm 从源头限制 $q$、$k$ 的长度。

前后两次 norm。 Gemma 3 在每个子层的前后各放一个 RMSNorm：

$$ h=x+\operatorname{Norm}_{\text{post}}\big(\operatorname{Attn}(\operatorname{Norm}_{\text{pre}}(x))\big), $$

FFN 也一样。这里的 post-norm 只作用在分支输出上，加回残差之后不再归一化，所以主干仍保留上面 Pre-LN 的 identity path。它和 2017 年那种把“残差加和”整体归一化的 Post-LN 名字相同、位置不同，可以理解为限制每个子层写回残差流的更新尺度。

怎样选择归一化方法

一句判据：只要「同一个输入在不同批次里应该得到同一个输出」是硬要求，就不要让 normalization 使用 batch statistics。

现代大模型常进一步选择 RMSNorm。少做均值中心化可以简化计算，但实际速度和同步次数还取决于融合 kernel 与张量切分，不能只数公式里的求和号。

动手验证

../code/norm_compare.py 用同一批激活比较统计轴，再检查三个不同情况：[1,C] 的 BatchNorm 训练前向会报错；eval 使用 running statistics 可以运行；[1,C,L] 在 L>1 时也能训练，但统计会跨时间。不要把这三件事都概括成“小 batch 不能用”。

图由 ../code/make_norm_figures.py 生成。

自检

继续阅读

归一化让每层输入的尺度可控；深度能训练，还要靠残差连接。两篇都读过后，接着看 FFN 与 SwiGLU，再把零件拼成原版 Transformer。

30 秒建立 mental model

Normalization 不是为了让所有表示永久保持“均值 0、方差 1”，而是为了控制送进每个子层的数值尺度，并让深网络更容易优化。