面试基础题：大半在问同一件事

$$\mathcal{L}_{\text{MSE}} = (p-y)^2 \qquad \mathcal{L}_{\text{BCE}} = -\big[y\log p + (1-y)\log(1-p)\big]$$

这题真正问的是梯度，不是让你默写公式。 关键事实：$\sigma'(z) = p(1-p)$。

$$\frac{\partial \mathcal{L}_{\text{MSE}}}{\partial z} = 2(p-y)\cdot p(1-p) \qquad\qquad \frac{\partial \mathcal{L}_{\text{BCE}}}{\partial z} = p - y$$

BCE 那边，$\sigma'$ 被约掉了：

$$\frac{\partial \mathcal{L}_{\text{BCE}}}{\partial p} = \frac{p-y}{p(1-p)} \;\Longrightarrow\; \frac{\partial \mathcal{L}}{\partial z} = \frac{p-y}{p(1-p)}\cdot p(1-p) = p-y$$

后果：$y=1$ 而模型极自信地说 0（$z\to-\infty$，$p\to0$）时——

• MSE 梯度 $\approx 2(0-1)\cdot 0\cdot 1 = 0$。预测偏差最大时梯度反而消失，模型学不动。
• BCE 梯度 $= -1$。预测偏差最大时仍能保留有效梯度。

再深一层：logistic regression 里 BCE 关于权重是凸的，MSE + sigmoid 不是。

别把优化和校准（calibration）混为一谈：对二分类概率，平方误差对应 Brier score，也是 proper scoring rule。它和 BCE 在理想总体目标下都偏好真实条件概率，但有限数据和受限模型并不保证校准。这里比较的是梯度，而不是谁“有资格”预测概率。

工程上：永远用 binary_cross_entropy_with_logits。先算 $p$ 再取 log，$p$ 下溢到 0 就 $-\infty$。稳定形式：

$$\mathcal{L} = \max(z,0) - zy + \log\big(1+e^{-|z|}\big)$$

先说：普通 RNN 难学长距离关系，一个原因是梯度要沿时间反复传递。

$$\frac{\partial h_t}{\partial h_{t-k}} = J_t J_{t-1}\cdots J_{t-k+1},\qquad J_t=\operatorname{diag}\big(\tanh'(a_t)\big)W_h$$

上式是状态对状态的 Jacobian；反向传播乘的是这些矩阵的转置。虽然每一步共享 $W_h$，激活值（activations）不同，$J_t$ 也会不同。如果所有 $\|J_t\|_2$ 都不超过某个 $c<1$，这条路径的梯度就会随距离衰减。某一步的范数大于 1 则不等于一定爆炸，还要看方向和后续乘积。

梯度裁剪能限制一次更新的幅度，不能把已经消失的信号找回来，也不能代替对训练不稳定原因的排查。

LSTM 的修法：加一条 cell state，更新是加法的。

$$c_t = f_t \odot c_{t-1} + i_t \odot g_t, \qquad h_t = o_t \odot \tanh(c_t)$$

把门值暂时固定，沿 cell state 的直接通路有 $\partial c_t/\partial c_{t-1}=\operatorname{diag}(f_t)$。这条通路只做逐元素缩放；$f_t$ 接近 1 时，更容易保留长距离信号。但总导数还包含门值对历史状态的依赖，不能据此说 LSTM 完全解决了梯度消失（vanishing gradient）。

一句话：LSTM 把「每步乘一个矩阵」换成了「门控（gating）的加法累积」。

细节：sigmoid 把门值限制在 0 到 1，tanh 让候选（candidate）值有正有负。这符合门和内容各自的作用，也会影响梯度；饱和问题并没有凭空消失。

两个能拔高的连接：

• 可以把 cell state 和残差流放在一起理解，但不能当成同一个结构。 两者都有加法通路；LSTM 沿时间用门控制记忆，残差连接（residual connection）通常沿深度保留恒等项。
• Transformer 的优势不只有一个。 训练时可以并行处理序列位置，attention 缩短了可见位置之间的信息路径，也让模型按内容访问历史。LSTM 缓解了长依赖问题，但并没有消除它；自回归 Transformer 的生成也仍然逐 token 进行。

为什么要归一化：让子层接收到的数值尺度更可控，通常更容易训练深层模型。它和初始化、残差缩放、优化器一起起作用，不代表所有没有归一化的网络都训不动。

为什么 Transformer 常用 LayerNorm，而不是 BatchNorm？

1. 对变长序列，如果统计轴包含 padding 又没有排除它，BN 的统计量会受影响；
2. BN 依赖 batch 大小与组成，默认在推理时改用 running statistics；自回归解码（autoregressive decoding）的负载与训练不同，需要特别处理；
3. 若把时间轴纳入训练时的 BN 统计，未来 token 会影响前面的位置，因果 attention mask 并不能阻止这种泄漏；
4. 按特征维做的 token-wise LN 不混合 batch 或时间位置，归一化本身在训练和推理使用相同统计规则。这里不是说整个模型两种模式完全相同。

放哪里——两种都要能写：

Post-LN（2017 原版）           Pre-LN（现代）
x = LN(x + Attn(x))          x = x + Attn(LN(x))
x = LN(x + FFN(x))           x = x + FFN(LN(x))
                             ...
                             x = LN(x)   ← 常见的 final LN

为什么常用 Pre-LN：它在残差主干保留恒等项，梯度不必每层都先穿过 LN，所以对 warmup 的依赖更低；但这不保证所有模型都能取消 warmup。Jacobian 推导和 Xiong 等人的结论适用到哪里，见归一化第 3 问。

实现时检查：Pre-LN 的最终残差输出通常还会经过一次归一化，再进入输出头。这是常见训练配方，不是数学上唯一可行的做法；复现时要跟具体模型的配置一致。

再往下：RMSNorm 不减均值，通常也没有加性 bias，只按 RMS 缩放并学习增益。它说明某些模型不做中心化也能训得很好，不说明中心化在所有场景都没有作用。参见 LayerNorm 分析 与 RMSNorm。

先说：它让「一次前向并行训练 $T$ 个位置」等价于「一个位置一个位置地训」。

自回归目标是 $\prod_t p(x_t\mid x_{<t})$。常见实现里，位置 $t$ 输入 $x_t$，预测 $x_{t+1}$；看见自己没有问题，看见未来的 $x_{t+1}$ 才会泄漏答案。causal mask 允许看当前位置和过去，不允许看未来，让训练时的条件信息与生成时一致。

所以掩码不是为了让模型更强，是为了让训练和推理是同一个模型。 没有它你得跑 $T$ 次前向。

放在骨架图的第 ② 步：缩放点积（inner product）之后、softmax 之前。

mask   = np.triu(np.ones((T, T), dtype=bool), k=1)   # 严格上三角 = 禁止
scores = np.where(mask, -np.inf, scores)             # 加 -inf，不是置零

为什么必须在 softmax 之前（追问重点）：加 $-\infty$ 后 $e^{-\infty}=0$，softmax 在剩余位置上重新归一化，数学上等价于「那些位置不存在」。

在 softmax 之后置零则破坏归一化——每行不再和为 1，而且破得不均匀：位置 1 只能看自己，被删掉的质量最多，输出被缩得最狠。等于给每个位置乘了一个意义不明的衰减系数。用两个分数算一遍，见多头注意力。

工程细节：全被屏蔽的行没有合法的概率分布。直接对全 -inf 行做 softmax 会产生 NaN；换成有限负数可能得到均匀分布，也不是正确答案，而且 -1e9 超出了 fp16 的有限范围。应明确处理无有效 key 的 query，检查所用 attention API 的全掩码行为，并让 padding 不参与后续 loss。softmax 后屏蔽再正确归一化在数学上可以等价，但只置零不行。

BERT 为什么不需要：它不是自回归的，训练目标是 MLM，双向可见是设计而不是漏洞。

会，而且影响很大。 先把两个被混用的概念分开：

卷积自带的是平移等变（equivariance），不是不变（invariance）：

$$f(T_x(I)) = T_x\big(f(I)\big)$$

输入平移，特征图跟着平移同样的量。不变性（输出完全不变）是后面 pooling 给的，而且只是近似的、局部的。

旋转：既不等变也不不变。 卷积核朝向固定，一条 45° 的边和一条 135° 的边激活的是完全不同的滤波器，网络没有任何结构上的理由把它们当成同一个东西。

为什么这个不对称是结构性的：平移等变来自权重共享 + 局部性，是算子白送的；旋转等变不在算子里。所以只有两条路：

1. 用数据买：旋转增广。网络学出一组冗余滤波器、每个朝向一份。代价是花模型容量买不变性，且只覆盖增广过的角度范围。
2. 改算子：Group-equivariant CNN、Steerable CNN、Harmonic Networks；或 Spatial Transformer——让网络先学会把输入摆正。

一句话收：平移等变是卷积自带的，旋转等变或不变要付钱，付法是数据或者算子。

能让对话变有意思的一条：连平移不变性都没有大家以为的那么好——带 stride 的下采样会引入混叠，输入平移一个像素预测就可能翻。解法是抗混叠的模糊下采样。

快速记忆

大多数 Transformer 八股都在追四件事：shape 是否闭合、信息是否因果、梯度是否能传、训练与推理是否一致。

面试回答

我会先写清输入输出 shape，再说明信息沿哪条轴流动；随后检查 causal mask 或数据边界有没有泄漏，检查 residual path 和 normalization 对梯度的影响，最后比较 training、prefill 与 decode 是否执行等价计算。