跳到正文
AGI 学习笔记
首页基础与原理面试准备工程实践编年史求职
EN
EN / 中

English or 中文

Use 中文 / EN above to switch the same note.

点上方的 中文 / EN,切换同一篇笔记。

面试准备
按目标找路线 →
  • 学习导航3 篇
      • 基础目录与导读
      • 按目标找路线
      • 覆盖与待补
  • 01 · 理解模型
  • 大模型基础21 篇
    • ›学习路线4
      • 学习地图
      • 怎么读与怎么复习
      • Transformer 架构
      • Transformer 交互图解
    • ›01 · 输入与序列7
      • 从线性到神经网络
      • Tokenization
      • 分词(tokenization)算法详解
      • 向量(embedding)与相似度
      • RNN 与 LSTM
      • Seq2Seq
      • BPTT 与门控
    • ›02 · 搭起 Transformer8
      • 总览
      • 多头注意力(MHA)
      • 残差连接
      • 归一化
      • FFN 与 SwiGLU
      • Vanilla Transformer
      • BERT
      • Decoder-only
      • 从零实现实验
      • 组件阅读地图
  • 架构与模型家族26 篇
    • ›模型报告精读9
      • 模型家族精读
      • 带着问题读模型
      • GPT 精读
      • Llama 精读
      • Qwen 1–2.5
      • Qwen 精读
      • DeepSeek 精读
      • DeepSeek-V4:压缩与训练
      • Gemma 精读
    • ›架构组件:门控、记忆与深度4
      • Gated Attention
      • Gated DeltaNet
      • Engram
      • Attention Residuals
    • ›MoE:专家与路由7
      • 总览
      • Router 与 top-k
      • 负载均衡
      • 细粒度与共享专家
      • LatentMoE:缩窄专家路径
      • 系统代价
      • 复习题
    • ›Looped:深度与参数共享6
      • 总览
      • 为什么有助于推理
      • 自适应深度
      • Huginn · Ouro · MoR
      • 代价与局限
      • 复习题
  • 多模态学习12 篇
      • 多模态学习
      • ViT:图片变成 token
      • CLIP 图文对齐
      • SigLIP 与 SigLIP 2
      • 图片怎样进入 LLM
      • BLIP 与 Q-Former
      • LLaVA 与 DeepSeek-VL
      • Qwen-VL:分辨率与位置
      • Omni:流式音视频
      • OCR 与上下文压缩
      • Qwen-Image:生成与编辑
      • VLM 微调与检查
  • 02 · 训练与检验
  • 预训练与训练工程18 篇
    • ›先补训练基础4
      • 泛化与训练诊断
      • 激活与初始化
      • SGD 到 AdamW
      • Muon
    • ›01 · 目标、数据与更新5
      • 训练路线导读
      • 语言模型目标
      • 预训练的数据与流程
      • 一次训练怎么走
      • 多 token 预测(MTP)
    • ›02 · 精度、显存与并行4
      • 精度与训练显存
      • 多卡训练怎么分
      • 张量并行(TP):跟着算一层
      • DDP、FSDP2 与训练框架
    • ›03 · Scaling law 与超参数(待审核)5
      • 总览
      • 给定算力:模型多大、数据多少
      • 为什么训练得比 Chinchilla 久
      • 学习率(LR)、batch size 与 schedule
      • 复习题
  • 强化学习22 篇
    • ›学习路线2
      • 从这里开始
      • Q-learning、PPO 与 DPO
    • ›01 · 基础推导6
      • MDP 与 Bellman
      • MC、TD 与边界
      • Policy Gradient
      • Actor–Critic 与 GAE
      • Natural Gradient 与 TRPO
      • Fitted Q 与收敛边界
    • ›02 · 核心算法7
      • DQN 与 Double DQN
      • DDPG → TD3
      • SAC 与最大熵
      • Model-based RL
      • 学什么样的模型
      • 规划与 LQR
      • 规划与学习互相喂
    • ›03 · 数据与实验7
      • 模仿与奖励
      • Offline RL 与 OPE
      • OPE 估计器
      • 探索与层级
      • 实验与排错
      • 接到 LLM 与 Agents
      • 为什么 RL 还是难训
  • Post-training27 篇
    • ›01 · 示范、微调与蒸馏7
      • 总览
      • SFT
      • 拒绝采样与数据筛选
      • 微调与 LoRA
      • Prompt / Prefix / Adapter
      • LoRA 与 QLoRA
      • 蒸馏:答案与分布
    • ›02 · 偏好、奖励与目标7
      • 偏好与奖励模型
      • PPO 之后
      • DAPO:采样与权重
      • Clipping 与梯度
      • GSPO 与 ASPO
      • SAO 与异步训练
      • 可验证奖励
    • ›03 · RLHF 的训练过程10
      • 总览
      • RL 映射到语言模型
      • Value 与 Advantage
      • On / off-policy
      • 三个阶段 · 四个模型
      • Reference 与 Critic
      • KL 的三种估计
      • PPO clipping
      • 后来:GRPO · DPO · RLVR
      • 评估与复习题
    • ›04 · 实验与能力保持3
      • 训练基础设施
      • 同一个基座
      • 对齐税
  • 评估15 篇
    • ›评估基础7
      • 总览
      • 分层评估
      • BLEU、ROUGE、编辑距离与困惑度
      • Benchmark 与长上下文测试
      • 对照实验与切片
      • 指标靠得住吗
      • 评估接到线上(待审核)
    • ›LLM-as-a-Judge8
      • 总览
      • 评分标准怎么写
      • 打分方式
      • 概率加权分数
      • 偏差与稳健流程
      • 人工校准与阈值
      • RAG、Agent 与 Memory
      • 跑一个最小流程
  • 03 · 推理与应用
  • 生成、长上下文与推理10 篇
    • ›01 · 生成与缓存6
      • 推理路线导读
      • 解码策略
      • KV cache 与推理成本
      • 一次请求怎样跑完
      • vLLM 与 SGLang
      • DFlash
    • ›02 · 长上下文与高效注意力4
      • RoPE 与长上下文
      • NoPE 与顺序信息
      • FlashAttention 与分页(PagedAttention)
      • MLA 与稀疏注意力
  • 数据、记忆与检索12 篇
    • ›数据与反馈3
      • 数据与反馈
      • 数据在教什么
      • 反馈怎么变成目标
    • ›表征与记忆2
      • 表征与记忆
      • 写入、更新与遗忘
    • ›搜索与检索7
      • 搜索与检索
      • TF-IDF 与 BM25
      • 双塔(dual encoder):表示与目标
      • Qwen Embedding 与 BGE-M3
      • 向量索引:IVF、PQ 与 HNSW
      • 混合检索与重排
      • RAG:证据与评估
  • Agents9 篇
      • 总览
      • Prompt、ICL 与 CoT
      • 常见结构
      • 一个还是多个 agent(待审核)
      • 工具、MCP 与 Skills
      • Deep Research:问题与证据
      • 不同场景
      • 模型选择与路由
      • 复习题
  • AI 系统与体验6 篇
    • ›系统4
      • 总览
      • Agent 可观测性
      • 人工参与
      • LLM 辅助决策(待审核)
      • 模型体验
      • Personal AGI
  • AI 基础设施(待审核)16 篇
    • ›从芯片到产品10
      • 总览:一次请求的链路
      • 芯片怎么造出来
      • CPU 架构
      • GPU 架构
      • 英伟达各代 GPU
      • CUDA
      • 性能:roofline 与 MFU
      • 框架这一层
      • Kubernetes 与 GPU 集群
      • 复习题
    • ›量化(待审核)6
      • 总览
      • 格式与误差
      • 只压权重与训练后量化(PTQ)
      • FP8 与 KV cache 量化
      • 怎样测出丢了多少
      • 复习题
  • 感知、机器人与自动驾驶(待审核)14 篇
      • 从这里开始
    • ›感知与几何6
      • 总览
      • 三维点怎样变成像素
      • 状态估计与跟踪
      • 检测与分割
      • 几何基础模型
      • 三维重建(NeRF、3DGS)
    • ›自动驾驶4
      • 总览
      • 鸟瞰图(BEV)与占用
      • 预测与规划
      • 端到端与闭环评测
    • ›机器人学习3
      • 总览
      • 从示范中学动作
      • VLA 与仿真到现实
  • 04 · 前沿观察
  • 前沿31 篇
      • 从这里开始
    • ›世界模型7
      • 总览
      • 在想象里学
      • 预测表示:JEPA
      • 能交互的视频
      • 机器人与自动驾驶
      • 它真的懂世界吗
      • 复习题
    • ›递归自我改进(RSI)5
      • 总览
      • 生成、验证、再训练
      • 改代码不改权重
      • 怎么量 AI 加速 AI
      • 复习题
    • ›测试时计算(待审核)5
      • 总览
      • 多采样、投票与验证器
      • 长思维链怎样训练
      • 怎么比较、怎么读数字
      • 复习题
    • ›Agentic RL(待审核)4
      • 总览
      • 环境与奖励
      • 信用分配与训练系统
      • 复习题
    • ›机制可解释性(待审核)5
      • 总览
      • 特征、叠加与探针
      • 稀疏自编码器(SAE)
      • 电路、归因与干预
      • 复习题
    • ›扩散语言模型(dLLM,待审核)4
      • 总览
      • 掩码扩散在训练什么
      • 解码步数、缓存与速度
      • 复习题
  • 开始准备9 篇
      • 准备首页
      • 快速复习
      • 起步路线
      • 按计划学习
      • RE / MLE 面试
      • 代码理解
      • 五组短练习
      • Python 语法
      • 变量、拷贝与函数
  • ML / LLM 基础问答5 篇
      • 基础问答导读
      • 基础题
      • ML 数学
      • Transformer 追问
      • 考前速查
  • ML Coding8 篇
    • ›PyTorch:从张量到训练6
      • PyTorch 阅读路线
      • 张量(tensor)与存储
      • 运算与维度
      • 交叉熵(CE)与 Loss
      • 自动求导(autograd)
      • 从 batch 到训练循环
    • ›从公式到代码2
      • 从代码开始
      • 白板手写
  • LeetCode 方法15 篇
      • LeetCode 方法地图
      • 复杂度与工具
      • Hash map 与前缀和
      • 双指针、窗口与二分
      • 字符串匹配 · KMP
      • DFS / BFS 图解
      • 二叉搜索树 · BST
      • 栈、堆与链表
      • 单调队列
      • 回溯与 DP
      • 背包与凑钱
      • 序列 DP · LCS / LIS
      • 状态机 DP
      • 排序、区间与贪心
      • 质数判断与筛法
  • 实践导读
      • 从这里开始
  • 完整 ML 系统3 篇
      • 1 · 全貌与团队分工
      • 2 · 数据、训练与产物
      • 3 · 上线、排错与反馈
  • 小项目入门5 篇
      • 从这里开始
      • 1 · 本站与 CI/CD
      • 2 · 阅读清单全栈练习
      • 3 · 评估报告与 CI
      • 4 · 接下来做什么
  • 系统设计5 篇
      • 从需求到设计
      • 信息流推荐
      • RAG 知识库
      • 带记忆的助手
      • 阅读与取舍
  • 推荐系统拆解10 篇
      • 系列导读
      • 00 · 架构全貌
      • 01 · 一次请求
      • 02 · 多路召回
      • 03 · 排序与多样性
      • 04 · 今天的推荐系统
      • 05 · 指标与实验
      • 06 · 为什么是双塔
      • 07 · 组件怎么选
      • 08 · 工程落地
  • RAG 知识库3 篇
      • 项目导读
      • 文档与检索
      • 证据与评估
  • 后训练实验7 篇
      • 项目导读
      • 1 · SFT 与框架选择
      • 2 · 数据到 batch
      • 3 · 数据与目标
      • 4 · 多卡与训练成本
      • 5 · 保存与恢复
      • 6 · 实验与发布
  • 技术发展2 篇
      • 技术树 · 全景
      • 技术编年史 · RL
  • 求职与规划7 篇
      • 先读这一页
      • 准备什么
      • 25-26 intern 求职
      • 26-27 new grad 求职 🚧
      • 一次面试复盘
      • 心态
      • 别被指标锁死
本章导读 复习入口

面试准备

约 1 分钟本章 1 / 9 篇

这里整理了 ML / LLM 基础问答、代码练习、算法和系统设计资料。按需要挑一块读,不用从头学起。

按需要选一块

按目标岗位找重点 ↗
01 / 原理ML / LLM 基础问答把机制、前提和取舍说清楚 02 / 实现ML Coding张量、训练循环、Attention 与测试 03 / 算法Python 与 LeetCode语言基础、复杂度与解题方法 04 / 排错代码理解读已有实现,找问题,再验证修改 05 / 设计系统设计从需求开始,比较方案和失败处理 06 / 项目项目与经历自己的贡献、证据和没做好的地方

这里用公开知识和自拟练习,不收集公司的非公开面试题。它也不是一份必须全部完成的清单。

快速复习按计划学习完整知识库全站路线工程实践求职经历与心态

这一页哪里可以更好?

信息过时概念有误没讲清楚建议补充页面问题

引用

先在正文里选中一段,会自动带上引用。

会在新标签页打开 GitHub 的 issue 表单,你在那边确认后才会公开。需要 GitHub 账号,别写个人信息。

已在新标签页打开 GitHub,在那边确认提交就好。谢谢!

改这一页 ↗ 写一篇新笔记 ↗ 本页讨论 怎么参与

面试准备 · 审核联系: @tianyi-zhang-02

最后更新 2026-10-14 · 查看源文件
本页目录

搜索笔记

    ↑ ↓ 选择 · Enter 打开 · Esc 关闭仅在站内搜索