内容覆盖：有哪些，还缺什么？

Chrome 已读完参考的 7 节正文并查看主要公式，确认指 Kimi K3。新增换序算例、因果 mask、矩阵更新、有序乘积、数值边界与缓存测试；按两篇原报告区分机制、消融（ablation）和作者解释。未复现模型训练或 kernel 性能。

不加位置编码（NoPE），模型还能分清先后吗？ · Gated DeltaNet：先忘一点，再按误差更新记忆

已读 Kimi K3 LatentMoE 参考全文和公式；对照原报告补 3 种宽度、投影成本、完整宽度 router、SiTU / RMSNorm 和下一步分位数均衡。原创 CPU 算例不是模型训练或通信性能复现。

MoE：细粒度专家与共享专家（shared expert） · LatentMoE：专家一定要和主干一样宽吗？

原参考正文与推导已读；补缩放 / 平移算例、完整独立假设、相关反例及 attention 与 CE 梯度区别，并用穷举与 autograd 核对。

多头注意力（MHA）：从公式到实现

参考正文、结构图和 attention 公式已读。按原论文与代码补齐输入、post-LN block、3 种 mask、MLM / NSP、任务 head 和检索边界；原创算例与 loss 检查不等于预训练（pre-training）复现。

BERT：一句话怎样变成一组表示？

参考正文、结构图和 softmax 公式已读；补 router 与 expert 参数区别、top-k 不等于随机抽样，以及 sparse FFN 的架构适用范围。已有分发、回填和梯度测试；不照搬更快或微调（fine-tuning）更差的泛化结论。

MoE：router 怎样选 expert · MoE：负载均衡

参考全文与公式已读；扩充真实 token 概率、加权 NLL、滑窗去重和 shift 后计数；原创 CPU 例子不代表真实模型评测。

BLEU、ROUGE、编辑距离与困惑度（perplexity）：分数到底在比较什么？

原文、结构图和公式已读。补位置相关矩阵推导、二维旋转反例、共享一次 softmax 与组合维度缩放；核对展开 / latent 的输出和梯度。问题是固定投影吸收受阻，不是 RoPE 失效或两者完全不兼容。

MLA 与稀疏注意力：少存一点，还是少看一点？

已读六组概念及拷贝代码至评论入口，未执行或转载参考代码。原创例子覆盖身份与可变性、参数收集、any/all、状态组织、浅深拷贝，补重新绑定、memo、短路消耗和默认值边界；核对 Python 官方文档。

技术面：刷题用得上的 Python 语法 · Python：变量、拷贝与函数调用

这是算法路线的汇总入口，不是一道待补题。参考分类页已读，新增 6 对方法笔记；保留本站原有算法路线，不复刻对方的整份题单。

LeetCode：把方法练熟，不只记题

这是 PyTorch 与基础知识的汇总入口，具体内容分布在多篇笔记。27 篇参考正文已读；未采用的原图公式与参考代码不算已经验证。

PyTorch：把公式写成能训练的代码

参考分组路由说明及代码已读至末尾，未执行或转载面试题。原创实现连通 dispatch、expert 计算、加权回填，并用 dense oracle 与梯度检查核对；补分组评分、候选（candidate）不足和负 logits 的边界。仅 CPU 教学实现，未验证多卡通信性能。

MoE：router 怎样选 expert · MoE：负载均衡

三节正文与代码已读至末尾，并查看稳定和 online 公式。补原论文算法 2/3 的扫描计数，区分内存访问与 CPU/GPU 传输；完整概率仍需输出阶段。未执行参考代码或复现 GPU 性能。

手写 ML 模块：7 个值得练习的实现 · FlashAttention 和 PagedAttention，分别省了什么？

参考正文和公式已读。补 KT 分母、两条序列的 1.8 / 1.0 算例、可导概率路径、padding 与 packing 范围；纠正硬计数平方差能直接训练 router 的缺失前提，区分 V3 原 affinity 统计与 bias 分发。CPU 数值与梯度通过，不等于训练结果复现。

MoE：负载均衡

全文与六条总结已读，未逐图审计。本站按相同宽度、总参数和计算预算分别比较，不沿用显存必然相同或专家必然按领域分工的概括；已有系统代价讲解。

MoE：为什么要让模型变稀疏 · MoE：训练和推理的系统代价

已读 Qwen 至 Qwen3-2507 正文与总结；按官方发布页补早期时间线，不采用参考中的日期和通用 KV 节省比例。具体 checkpoint、模板、训练与后续型号分别对照，未复跑家族 benchmark。

Qwen 1–2.5：哪些改了架构，哪些改了训练？ · Qwen 精读：一个家族，多种规模与推理模式

定义、试除、平方根证明和两段代码已读至末尾，未运行参考代码。本站原创内容覆盖闭/开区间、isqrt、筛法不变量（invariant）、分段起点与因子分解；不把循环次数当成质数个数。

质数判断与筛法：查一个数，还是查一整段？

正文、两条公式与 BCE 代码已读；未执行参考代码。新增稳定 CE/BCE、soft target、mask、归约及梯度的原创讲解和 CPU 测试。

交叉熵（CE）：从一个预测到训练里的 loss

Chrome 已读完正文和公式。对照教材 §3.13，区分单次 surprisal 与分布熵，补稀有事件、CE 分解图、不同目标下 CE 不可直接比较的算例；不沿用参考的单次事件熵说法。

蒸馏：学生到底向老师学什么？ · KL 的三种估计：数值接近，梯度未必相同

完整 52 行示例已读，包含滚动后才加载的结尾；未执行或复制参考代码。核对 Q/K/V、mask 含义、缩放、dropout 和输出投影；修正本站正文 softmax 与完整脚本不一致的精度及输入检查。

多头注意力（MHA）：从公式到实现 · 手写 ML 模块：7 个值得练习的实现

完整 82 行代码已读；参考把局部 seq 与全局 seq_length 混用，本站不采用。新增不同长度连续调用对照，并对两语正文执行 softmax 边界检查；不以一次输出 shape 正确代替实现验证。

多头注意力（MHA）：从公式到实现

34 行相邻配对代码与说明已读，未运行参考代码。本站另讲 split-half 权重重排、真实位置与缓存；已有旋转和缓存数值检查，不将一种配对约定当作所有 checkpoint 通用。

Transformer 架构 · RoPE 与长上下文：能塞进去，就能读懂吗？

已读完整正文、位数与指数说明及结尾总结；本站用舍入和权重更新算例区分范围与精度。不沿用纯截断转换、范围完全相同或速度必然更快的概括，未测试 CUDA 性能。

精度与显存：为什么换成 BF16 还会 OOM？

四节正文已读，查看标准化公式、LN 轴图与表格，BN 图未逐格核算。对照 PyTorch 2.8，本站明确标准差、N/L 统计轴、normalized_shape、running statistics 和 train/eval；不把输入预处理与网络 BN 混用。

归一化：BatchNorm、LayerNorm 与 RMSNorm

已读全文与 2 张图，纠正 padding mask 负责填充的说法；补严格上三角、对角线、padding / causal 组合与 cross-attention 的范围。

Vanilla Transformer · 多头注意力（MHA）：从公式到实现 · BERT：一句话怎样变成一组表示？

已读正文与 BERT / ERNIE / 自回归图。直接比较可见信息、并行训练与逐步生成、MLM / next-token 目标，并据 2019 原论文补短语和实体遮盖；不把架构与目标等同。

BERT：一句话怎样变成一组表示？ · Decoder-only：自回归生成

全文 4 节已读。按 ULMFiT、ELMo、BERT 和 Transformer 原论文纠正 LSTM 不能预训练、单凭架构判断泛化等概括，补计算路径、分类 / 续写例子和长度限制。

RNN 与 LSTM · BERT：一句话怎样变成一组表示？

补共同字节边界、比例分配、路径概率与文本概率反例；对照 2026-06 方法与 2026-10 分析。原创 CPU 检查，不声称复现论文训练。

蒸馏：学生到底向老师学什么？

复读全文；补组内奖励（reward）差异概率、3 步 GAE、片段续值与权重算例，回查 GLM-5.2 官方说明。不同长度不使 GRPO 自动失效；Critic 不是因果归因，未运行模型训练。

接到 LLM：哪些 RL 直觉能搬过去？

全文与 DFT 讨论已读；新增 checkpoint、奖励有效性及等预算试验。DFT 回查原论文并验证 detach 梯度，不设通用 loss 阈值。

SFT：一条对话怎样变成训练信号

Chrome 读完四节正文、代码和公式，未执行参考代码。补标量重算、选择性保存及完整 softmax backward 反例；区分前向值、非叶子梯度和磁盘恢复，不采用 FlashAttention 无需保存任何状态的说法。CPU 检查不是 GPU 显存测试。

精度与显存：为什么换成 BF16 还会 OOM？ · 多头注意力（MHA）：从公式到实现 · 保存成功了，为什么还接不上训练

参考正文与公式已读。补前缀来源、全分布 / 采样监督、固定前缀梯度与轨迹梯度区别，纠正 reverse KL 的绝对化说法；没有完整训练复现。

蒸馏：学生到底向老师学什么？

正文已读；补逐位置 shift / mask、上下文梯度、工具消息与 EOS/PAD 区别。说明 assistant-only 是训练约定，不是普遍规定。

SFT：一条对话怎样变成训练信号

正文与轨迹公式已读。重写 completion / turn / episode / fragment、记录字段、工具 mask、终止 / 截断、行为概率及异步预算；示例不是 GPU 性能复现。

后训练的基础设施：采样、数值、上下文 · RL 实验与排错：先确认学对了，再看学得快不快

参考正文与关键公式已读；本站补零 loss、非零梯度及一次更新的可运行例子，区分组内中心化、长度聚合、局部批次和 Reference。未复现完整模型训练。

PPO、GRPO 与 DPO：反馈怎样变成一次更新

参考正文与三组公式已读。明确方向、采样与支持集，新增双语单样本图、方差（variance）反例和三种直接 loss 的梯度核算；对照 DeepSeekMath 与 2025 梯度分析，不把数值无偏等同于梯度正确，也不建议直接替换训练器（trainer）目标。

KL 的三种估计：数值接近，梯度未必相同

Chrome 已读完正文、更新公式和 PPO/DPO 段落。对照 PyTorch 2.8 补 SGD 可选动量、梯度先于 moments 的更新顺序和 100 参数状态对照；保留 dtype、LoRA、懒初始化与分片（sharding）账，不采用训练/推理的固定倍数。

精度与显存：为什么换成 BF16 还会 OOM？

已读参考全文；补请求追踪、oracle 对照、训练 target、部署差异和回归测试。例子与代码为原创教学设定，未执行真实模型实验；不采用全参必优或单个错例证明基座上限的结论。

实验怎么比较，模型怎么替换 · 放回任务里：RAG、Agent 和 Memory 应该评什么？

正文读至结尾并查看两张层级图。对照 CUDA 官方硬件与内存模型，区分 SM 计算和片上存储，不采用参考的固定容量或“在 SRAM 内计算”说法；已有 CPU–设备流程、异步安全与流水线算例继续保留，未运行 CUDA 性能实验。

从 batch 到训练循环：能跑，还不等于在学习 · FlashAttention 和 PagedAttention，分别省了什么？

参考正文、三步更新公式、14 行代码及分布式结尾已读；代码未执行。对照 Moonlight v1 §2.3 补分片前后计算不等价的原创算例，区分通信与正交化计算、动量分片与 gather；不照搬总显存减半、严格正交或无延迟的泛化结论，未运行多卡训练。

Muon：怎样更新一张矩阵？ · 从 SGD 到 AdamW：一次更新到底改了什么？

正文读至结尾；新增 accept–reject 包络、条件分布、best-of-N、题目覆盖与训练记录的原创算例及测试。没有复现真实模型训练。

拒绝采样（rejection sampling）：多生成几份，再把哪些留下？

参考正文、advantage 公式与角色图已读完。对照原论文，补同一策略多回答而非模型团队、Reference 条件分布而非训练数据，以及外层刷新；保留四回答算例、Critic 与采样成本，不把奖励模型当所有 GRPO 的必需项。

GRPO、DPO、RLVR：它们到底改了哪一环？ · PPO、GRPO 与 DPO：反馈怎样变成一次更新 · 接到 LLM：哪些 RL 直觉能搬过去？

Chrome 恢复后已读五节正文至末尾，查看主要目标公式。原论文与原创梯度检查区分 Dual-clip、CISPO、SAPO；不采用参考中 CISPO 的误拼、固定默认阈值、硬更新边界或 GSPO 独家使用的概括。未复现模型训练。

PPO clipping：为什么不能一直往上加？ · 同样是 clipping，为什么梯度不一样？ · DAPO：采样、长度和 clipping，为什么会改变训练？ · GSPO 与 ASPO：同一条回答，梯度该怎么分？

参考正文、clamp 代码和公式已读；本站独立验证 4 种符号 / ratio 组合，并区分单项梯度、KL / entropy 与共享参数更新。参考代码未运行。

PPO clipping：为什么不能一直往上加？ · GSPO 与 ASPO：同一条回答，梯度该怎么分？

五组算法正文与总结读至末尾，查看 PPO 奖励、return、策略 / 价值损失；未逐图审计。本站区分角色与显存、同 prompt 组内统计与 batch 归一化、裁剪与硬约束、规则奖励与防 hacking；补 DPO 相对概率反例，不复制另一套总览。

PPO、GRPO 与 DPO：反馈怎样变成一次更新 · DAPO：采样、长度和 clipping，为什么会改变训练？ · GSPO 与 ASPO：同一条回答，梯度该怎么分？

正文及末尾奖励公式已读；新增高低熵与真实质量的独立对照、排序验证器反例与保留评估。参考图中性能百分比未逐图核对，不沿用。

对齐税（alignment tax）：模型变好了，哪些能力还要回头检查？ · 可验证奖励（RLVR）：测试通过了，任务就做对了吗？

参考正文及末尾第 3 阶段奖励公式、长度曲线已读至评论入口；补完之前锁屏中断的部分。本站区分手动模式、模型停止与外部路由，保留 AutoThink / RouteLLM 一手核对及第 2 阶段奖励修正，不声称复现训练或 benchmark。

Agent 选模型：API、自部署与路由（routing） · Qwen 精读：一个家族，多种规模与推理模式 · Looped Transformer：每个 token 该转几圈

正文与 103 行示例读完，未运行参考代码，图片未全部逐图审计。新增熵口径、聚合、二元导数、固定前缀对照；按原论文纠正 KL-Cov 的 old/Reference 与绝对差近似。

对齐税（alignment tax）：模型变好了，哪些能力还要回头检查？ · KL 的三种估计：数值接近，梯度未必相同

三节正文与末尾概率比算例已读；不把一条序列的权重大小当成方差或不收敛证明。本站已有独立的完整两步分布、单样本无偏性与方差区分、支持条件及 prefix 修正；局部 surrogate 不冒充整轨迹 IS。

On-policy、off-policy：旧回答还能拿来训练吗？ · GSPO 与 ASPO：同一条回答，梯度该怎么分？

参考正文已读，嵌入公式未逐图审计；对照原论文 Algorithm 1，补组采样、固定 old 分母、Reference 刷新与异步复用取舍。重要性加权不自动把旧数据变成 on-policy。

On-policy、off-policy：旧回答还能拿来训练吗？ · PPO、GRPO 与 DPO：反馈怎样变成一次更新

明确 dense TP8 / DP8 / DP2×TP4 的 8 卡权重账、请求分工与共享 EP 例外；仅教学算例，没有 8 卡性能复现。

多卡训练：数据、参数和计算，到底怎么分？

读完原参考 9 步及末尾性能分析；新增请求全链路、分块预算、输出与取消，核对固定 vLLM commit。未运行完整服务或性能基准。

一次 LLM 请求，怎样变成屏幕上的回答？

两节正文与主要公式已读至末尾。对照 V3 §2.2 与 DFlash §4，区分独立 heads、串行 MTP 的移位输入和并行草拟；补两种拼接轴与 shape 例子。未执行参考代码或复现 GPU 性能。

DFlash：草拟（draft）、验证与加速 · MTP：多预测几个 token，究竟多学了什么？

补层边界字节与 12 GiB/s 假设带宽下限，区分 prefill / decode、单请求顺序依赖与 microbatch 并行，不预设 PP 最优。

多卡训练：数据、参数和计算，到底怎么分？

正文与逐步流程已读至总结；未单独逐项审计嵌入结构图。本站区分 draft/target KV、拒绝修正与全接受的额外 token，已有随机采样、缓存回滚和成本算例。固定官方实现与论文已核对；未复现 GPU 性能。

DFlash：草拟（draft）、验证与加速

已补双请求引用表，并按固定 vLLM commit 区分缓存 / 非缓存队列、释放引用和撤销映射；不声称 TTL 或显存即时归还。

FlashAttention 和 PagedAttention，分别省了什么？

固定 vLLM 与 SGLang commits，补 7-token 前缀在 page size 1 / 4 下的对照；保留 backend、混合状态与吞吐未实测边界。

FlashAttention 和 PagedAttention，分别省了什么？

已有完整假设预算、变长分页、共享物理块及 TP / PP / DP 放置算例与测试。原参考正文已读，但其图片公式仍未逐图核验；GPU 峰值未测。

KV cache：少算了什么，又多存了什么？

原参考表格正文读完；新增两 rank 的拼接、求和、目标 rank 与 ReduceScatter 对照，核对 NCCL 语义。

张量并行（TP）：两张卡怎样算同一层？ · 多卡训练：数据、参数和计算，到底怎么分？

原参考全文、表格与换算公式已看；补权重、KV、工作区和余量预算，纠正只按权重判断可部署及 GB/GiB 混用。所有容量数字为假设算例。

KV cache：少算了什么，又多存了什么？

原参考正文及 2 张图已读；新专题逐步追踪 attention / FFN 的前向与反向，区分 2+2 基线（baseline）、纯推理和 SP，不把次数当网络包数。

张量并行（TP）：两张卡怎样算同一层？ · 多卡训练：数据、参数和计算，到底怎么分？

原参考全文已读；新增两种布局图、最后有效位置代码与 mask / position / loss 的区别，对照 Transformers 固定 commit；没有运行真实生成模型。

Decoder-only：自回归生成

原参考正文和 2 张图已读；新增两层 FFN 数值、shape、非线性反例、输入梯度与 CPU 等价测试，固定 Megatron 实现版本。

张量并行（TP）：两张卡怎样算同一层？ · 多卡训练：数据、参数和计算，到底怎么分？

Chrome 已读 Stage 1–3 正文和显存构成图。对照 ZeRO §7 补四卡 ring 的 12/12/18 MiB 发送量算例，明确精度、释放与聚合假设；相同字节不保证相同耗时，未执行多卡 benchmark。

多卡训练：数据、参数和计算，到底怎么分？

已读参考正文及 EOS 结构图；对照两份原报告补训练配方、合成数据与自蒸馏，区分 embedding 和 reranker 目标。不采用整个 BGE 家族只做 MLM 或新模型必然更强的概括；未运行模型训练或 GPU 基准。

Qwen3 Embedding 与 BGE-M3 怎么选？

参考正文已读至评论入口，无代码或图片待审；补调用流程、分层加载算例和权限测试设计，核对 MCP 2026-07-28 与 Skills 规范。未运行真实 server，不声称协议或说明保证安全。

Agent 怎样用工具：Function calling、MCP 与 Skills · Agents：几种常见结构

已读至代码输出与评论入口，公式逐屏核对；参考代码未运行。补 TF 约定、归一化复制反例与零 IDF 平局，说明同分时的输出顺序不能证明更相关，b=0 也不能验证长度修正。

TF-IDF 与 BM25：关键词检索到底怎么算分？

已读参考正文与主要公式至评论入口。保留候选索引 CE / 独立 BCE 区分，新增监督来源、单位向量反例与 alignment / uniformity 前提；不照搬二分类、必须人工标签或保证均匀的说法。

双塔检索（dual encoder）：为什么把查询和文档分开算？ · CLIP 怎样把图片和文字对上