Scaling：复习题

dense Transformer 每个训练 token 前向约 $2N$ FLOPs（每个权重一次乘加），反向约是前向的两倍，合计 $6N$，乘以 token 数 $D$。它略去了随上下文增长的 attention 项；Kaplan 的 $N$ 不含 embedding，Chinchilla 的含。预算等于 GPU 数 × 峰值 × 模型浮点利用率（MFU）× 时间：$64\times989.4$ TFLOPS（BF16 dense）$\times0.4\times3.95\times10^{5}$ 秒 $\approx10^{22}$ FLOPs。按每参数 20 个 token，$N=\sqrt{C/120}\approx9.1\times10^{9}$，$D\approx1.8\times10^{11}$。用 sparse 峰值算会把预算高估一倍。

Kaplan（2020）得到 $N_{\rm opt}\propto C^{0.73}$，Chinchilla（2022）得到 0.46–0.50。Chinchilla 指出 Kaplan 所有 run 用同一个固定长度的 cosine，中途截取时学习率（LR）还没退下来，loss 偏高，低估了少数据的效果，而且模型偏小；Pearce 和 Song 指出只数非 embedding 参数、在小规模上拟合会把指数推高；Porian 等在 OpenWebText2 上从 0.864 出发，依次修正最后一层的计算、warmup、cosine 和随规模调的超参数（含 AdamW $\beta_2$），降到 0.518，并发现不做学习率衰减也能得到 Chinchilla 的结果。

来自 Chinchilla 方法 1 的表 3（如 10 亿参数配 202 亿 token）。条件：MassiveText，数据大体只看一遍；$N$ 含 embedding，token 按他们的 tokenizer 计；cosine 衰减 10 倍并对准训练长度。方法 3 的原始拟合偏向更小的模型，Besiroglu 等重拟后也回到约 20；DeepSeek LLM 发现数据质量会把指数从 0.450 移到 0.578。最优点附近很平：用重拟曲面算，$10^{22}$ FLOPs 下模型做成最优的一半或两倍，loss 只高约 0.01，多花 15%–26% 算力即可追平。

IsoFLOP：3–5 个小预算，每个训 5–10 个大小，schedule 对准训练长度，对 loss–$\log N$ 拟抛物线取谷底，再在 log–log 坐标里对谷底拟直线。教学数字 $(10^{18},9\times10^7)$ 到 $(10^{21},2.9\times10^9)$ 的斜率约 0.50，外推到 $10^{22}$ 得约 92 亿参数。指数差 ±0.04，外推 10 倍只差约 10%，外推 1000 倍就从 700 亿变到 1210 亿。风险：前沿会弯（Chinchilla 附录 E），定律在某处必然失效（Kaplan §6.3），种子噪声约 0.02，loss 平滑不代表下游指标平滑。GPT-4、DeepSeek LLM、Llama 3 的成功预测都是自报。

Chinchilla 只最小化训练算力。Sardana 等固定目标 loss，最小化 $6ND_{\rm tr}+2ND_{\rm inf}$：推理越多，模型越该小、数据越该多。用重拟曲面、以 $10^{22}$ FLOPs 最优模型的 loss 为目标，$D_{\rm inf}=10^{12}$ 时最优约 46 亿参数、4470 亿 token，训练多花 24%，总账省 23%。Sardana 等也发现用常规比例拟合会高估极端比例下的数据收益，所以推理量很大时的节省是乐观上限。Llama 3 报告自报较小的模型训练得远超算力最优，在同样推理预算下更好；405B 则接近它自己拟合的算力最优（402B、16.55T）。

Muennighoff 等把重复折算成有效数据：$D'=U_D+U_DR_D^*(1-e^{-R_D/R_D^*})$，$R_D^*\approx15.4$。1000 亿不重复 token 训 4 遍，有效约 3726 亿（93%）；16 遍约 1.06T（66%）；上限约 16.4 倍。论文结论是固定算力下重复约 4 遍和新数据几乎一样（8.7B 模型 4 个 epoch 的验证 loss 只高约 0.5%），之后收益迅速变小。多余参数的衰减常数 $R_N^*\approx5.3$ 更小，所以数据受限时多跑几遍比加大模型划算。

McCandlish 等：$S=S_{\min}(1+B_{\rm crit}/B)$，$E=E_{\min}(1+B/B_{\rm crit})$，$B_{\rm crit}=E_{\min}/S_{\min}$，约等于梯度噪声尺度。教学数字 $B_{\rm crit}=2$M：batch 从 4M 加到 16M 只省 25% 的步数，却多看 3 倍数据。它随 loss 下降变大（Kaplan：loss 降约 13% 翻一倍），近期工作发现主要随数据量增长（Zhang 等：固定数据只放大模型，指数只有 0.087）。换算：SGD 用线性规则；Adam 用平方根规则（学习率乘 $\sqrt\kappa$，$1-\beta$ 乘 $\kappa$），只适用于噪声主导的小 batch 区间。也可以用 DeepSeek LLM 的拟合当起点：$10^{22}$ FLOPs 时约 $5.5\times10^{-4}$、4.6M token。

标准参数化（SP）下最优学习率随宽度移动（TP5 的 MLP 上宽度 256 到 8192 移动约一个数量级）。Adam 第一步更新约为 $-\eta\,{\rm sign}(g)$，和输入 $x$ 对齐，于是 $(\Delta Wx)_i\approx\eta\,n\,\mathbb E|x|$：$x=\pm1$、$\eta=0.01$ 时宽 512 变化 5.12，宽 4096 变化 40.96。µP 让隐藏层和输出层的 Adam 学习率 $\propto1/\text{fan\_in}$，输出层初始化方差（variance） $1/\text{fan\_in}^2$，attention 用 $1/d$，于是宽 4096 的隐藏层学习率取 0.00125。不能迁移的：dropout、weight decay 等正则化（regularization）；深度、batch、训练长度只有经验验证，Transformer 的多层块在深度上有根本限制（TP6）。Everett 等发现设对逐层学习率的 SP 也能迁移。