《大模型算法与系统工程》体系课：训练、对齐、推理

推理系统篇 59 个实战项目（51 个可复现、8 个案例解读）、算法篇 16 个章末产出
项目附工程文档：代码、实验日志、结构化数据与中间产物

八股、力扣和机考只能证明基础；面试拉开差距的是对项目细节的深挖：数据从哪来、为什么这么做、结果怎么验证，这些在文档里每一步都有记录。

清北中科大等重点院校硕博 × 头部大厂在职算法 / Infra 团队 | 北大博导学术把关

面向已有深度学习基础、目标是大厂算法或推理 Infra 岗的本硕博与在职工程师

查看完整目录下载工程文档样例（PDF，66 页）

43 章算法篇 17 章、推理系统篇 26 章 51 个可复现项目另有 8 个案例解读，合计 59 个 698 份运行日志随推理系统篇各章文档交付 12 个项目的实测结论为“该优化或改动不成立”

算法与 Infra 合在一套体系里讲

算法篇讲训练、对齐与多模态
推理系统篇从 GPU 执行模型讲到 Kubernetes 上线

讲师与团队成员全部一线在职

主讲是 500 强大模型高级算法专家、MiniCPM 系列开源核心贡献者（GitHub 合计 30k+★），负责团队算法与 Infra 岗位的技术面，见 03

工程文档样例可下载

第 25 章工程文档 66 页：环境、命令、实测结果与结论全部在内，见 02

01 岗位要求与课程对应

272 份大模型岗位 JD 的高频要求，逐项对应到课程章节与项目

岗位

JD 高频要求

课程对应

推理/Infra 岗　153 份，56%

量化、vLLM/SGLang、CUDA、算子、调度

推理系统篇 26 章

训练/微调岗　89 份，33%

多模态、SFT、预训练、强化学习、对齐

算法篇 17 章

未归类　30 份，11%

两边都占，或两边都不明显

两篇均有对应

两类岗位的前十项要求只有三项重合，各自筛人；项目方向不明确的简历两边都不占优势。课程两篇分别对应两类岗位。

下表左列为 JD 高频要求与提及占比，右列为课程对应章节与项目，章号可点；“算”为算法篇，“推”为推理系统篇。

JD 常见要求

课程对应

多模态　50.4%，训练岗 71.9%

算 15–16 章多模态基础与生成模型，16.5 Qwen3-VL 精读与微调；推 23 章 MLLM 推理优化

性能调优、性能分析与瓶颈定位　41.9% / 18.4%

推 1 章 kernel 时长榜与压测平台（项目 1.1）；推 2 章 GPU 执行模型与 Roofline；推 24–25 章 TTFT/TPOT/P99 口径、nsys/ncu/torch.profiler 分工

Agent、RAG　37.9% / 19.9%

算 13 章召回、重排与 RAFT；算 14 章 Agent 训练、工程实现与评测

量化、CUDA、算子　28.7% / 26.8% / 22.1%，推理岗均超 35%

推 15 章 GPTQ/AWQ/SmoothQuant/FP8 与 KV Cache 量化；推 2.6 Triton 与 GPU 编程模型；推 5 章 Flash Attention 与 Decode 算子；推 20 章 torch.compile/TorchInductor 与 TensorRT

强化学习、预训练、SFT、RLHF、对齐　27.6% / 21.0% / 19.9% / 14.7% / 14.7%

算 3–4 章 SFT 与高效微调；算 5–6 章分布式训练、Megatron 预训练与 FP8；算 7–10 章 RL 基础、RLHF 与 DPO、RLVR/GRPO 与 VERL、蒸馏

vLLM、SGLang、推理引擎　26.8% / 19.9% / 19.1%，推理岗 43.1% / 34.0% / 31.4%

推 4–7 章 KV Cache 与 MLA、Flash Attention、PagedAttention、Continuous Batching；推 13–19 章投机解码、前缀缓存、调度、分离式架构、vLLM 与 SGLang 参数详解；课程锁定 vLLM 0.26.0/SGLang 0.5.16

分布式训练、Megatron、DeepSpeed、通信　25.4% / 19.5% / 18.0% / 16.5%

算 5 章 5D 并行选型与单机 8xH100 实测（跨节点 IB/RoCE 为原理演示）；推 8–12 章 DDP/ZeRO/FSDP、TP、PP、EP 与通信原语

调度、线上稳定性、大规模集群　20.2% / 24.6% / 14.3%

推 17 章调度与抢占；推 18 章分离式推理架构；推 26 章容器化、Kubernetes、多租户隔离与扩缩容（项目 26.2、26.3 为方案设计，交付配置文件与验收方案）；TTFT/TPOT 双门槛 SLA 下的参数搜索（推 3 章项目 3.3）

原理理解　31.2%

算 2.3.4 DeepSeek-V3 Attention 逐行精读；算 9.5 VERL 源码精读；推 19 章 Nano-vLLM 源码剖析

数据：2026 年自 BOSS 直聘采集北、上、深、杭四城头部大厂与独角兽公司的大模型算法与 Infra 岗 JD，去重后 272 份：推理/Infra 侧 153 份、训练/微调侧 89 份，另有 30 份两边都占或都不明显，未归类。

02 工程文档样例

第 25 章 Profiling 与 Runtime 调度：项目 25.2 的四步

以项目 25.2（对 vLLM / SGLang 服务做 Nsight 端到端 Profiling）为例，它要回答：服务吞吐上不去时，瓶颈在算力还是在显存带宽，该调哪一个调度参数（第 1 页）。文档第八节写明它的必做核心是四步（PDF 第 36 页）；下面按这四步摘录文档里的命令、数据与结论，括号内是 PDF 页码；两张 Nsight 界面截图取自这一章的课程视频。完整文档 66 页、含三个项目，本节末可下载。

压出一个可复现的基线（第 24–25 页）

先有一个同口径的数，后面改一处才有参照。

环境1xH100 80G，Qwen2.5-7B-Instruct 负载输入 1024 / 输出 128，并发 32，256 条请求 vLLM 基线2604.7 tok/s，TTFT P99 838.9 ms SGLang 基线2515.2 tok/s，TTFT P99 801.2 ms 不作基线缩水负载（prompts=32 / conc=8 / in512）的结果，与基线口径不同，不能混比

给常驻服务设定采集窗口，采一次 nsys（第 24–27 页）

常驻服务不能从头采到尾：服务不退出，报告会大到不可用。

怎么采--capture-range=cudaProfilerApi，只采稳态窗口 出什么cuda_gpu_kern_sum，累计耗时排前几名的 kernel 顺序不能反先用 nsys 找出累计耗时最高的几个 kernel，再用 ncu 只对这几个采

nsys 全量 trace：27.5% Kernels 与 72.5% Memory — nsys 全量 trace（vLLM，1xH100 80G）：[All Streams] 展开后 27.5% Kernels、72.5% Memory。这一段绿色是权重加载的 HtoD 拷贝，悬停的那一段 135,790,592 bytes、771.23 MiB/s，不是推理阶段的访存。全量采集会把加载阶段一起录进报告，所以这一步要设采集窗口。

用 ncu 只对前几名 kernel 采四个 Section（第 28、33–35 页）

下钻到硬件计数器，看它卡在算力还是访存。

四个 SectionSpeedOfLight、Occupancy、WarpStateStats、LaunchStats 主 GEMM 实测Memory 大约 86%，Compute 只有 12%，两个引擎几乎一致 判读落在访存受限区间：瓶颈不在算力，在等待 HBM 把权重和 KV 读入

按耗时排前 8 个 kernel 的显存吞吐与算力吞吐 — vLLM 侧 ncu 导出 ncu_baseline.csv 按耗时取前 8 个 kernel（第 33 页）。按第 34 页的阈值读：主 GEMM 显存吞吐 85.8%，超过 80%，判为访存受限；第 2 个 79.0%，在 60%–80% 之间，要结合耗时占比判断；其余 6 个两项都低于 60%，下一步看 Occupancy 与 WarpStateStats。

Nsight Compute：SGLang 侧的逐 kernel 原表 — SGLang 侧的 ncu 报告（ncu_sglang.ncu-rep）：同名 GEMM nvjet_tst_192x32 耗时 96.03 µs，Memory 85.86%，Compute 11.72%，与上图 vLLM 侧的 96.10 µs、85.8%、11.7% 基本一致。

# 第 25 章文档第 29 页原文 # vLLM 侧：单批 latency，关掉 CUDA Graph 以便逐 kernel 采 source "$CH25_ROOT/.venv-vllm/bin/activate" ncu --target-processes all \ --kernel-name "regex:nvjet|FlashAttnFwd" \ --launch-skip 2500 --launch-count 24 \ --section SpeedOfLight --section Occupancy \ --section WarpStateStats --section LaunchStats \ -o "$CH25_ROOT/profile/ncu_baseline" \ vllm bench latency --model "$CH25_ROOT/models/Qwen2.5-7B-Instruct" \ --input-len 1024 --output-len 8 --batch-size 32 \ --num-iters-warmup 2 --num-iters 5 --enforce-eager

--launch-skip 2500跳过预热阶段的 launch --launch-count 24限制采集次数 正则与 --output-len 8按本章实测栈的 kernel 名重新给出的可用写法，不是实测当时的原始命令（第 29 页）

上面两组 ncu 数据都来自离线单批复现（第 28 页）：vLLM 侧用 vllm bench latency，SGLang 侧用 bench_one_batch，均为 batch 32、输入 1024。文档写明没有挂在常驻服务上采的原因：ncu 的 kernel 重放与请求调度互相干扰，采集窗口难以稳定。

按四象限判读后改一处，同口径复测（第 34–36 页）

判据在动手之前写下来。

只改一处单步 token 预算 8192 → 16384（vLLM 调 --max-num-batched-tokens，SGLang 调 --chunked-prefill-size，两者作用相近但语义不等价） 压测命令与第一步逐字相同 判据（预先登记）目标 kernel 的目标指标朝预期方向走，且端到端吞吐提升、TTFT P99 劣化不超过 10%，两条同时成立才算数

指标	基线（8192）	复测（16384）
vLLM 输出吞吐	2604.7 tok/s	2585.8 tok/s（−0.7%）
vLLM TTFT P99	838.9 ms	886.3 ms（+5.7%）
SGLang 输出吞吐	2515.2 tok/s	2380.2 tok/s（−5.4%）
SGLang TTFT P99	801.2 ms	1249.8 ms（+56.0%）

按判据两边都不采纳：主路径已经受限于访存带宽，再加大单步预算，只会让一步里同时做的 prefill 条数变多、单步变长，排在同一步里的 decode 和后面等待的请求都被拉长。

这一章的实测环境为 vLLM 0.17.0 / SGLang 0.5.6（第 1 页），早于课程锁定的 0.26.0 / 0.5.16（第 3 页）。

本项目属可复现项目：学员自己跑通后，可写进简历。推理系统篇 59 个项目每个末尾另附 5 道面试深挖题与参考答法，共 295 道；每道先写考察点，再给参考答法。本节可下载的第 25 章样例里有其中 15 道，答法完整。

第 13 章投机解码：项目 13.1 摘录

项目 13.1：在 SGLang 上启用投机解码，测出它快多少、什么条件下不再快。

环境TP1 用 1xH100，TP2 用 2xH100（80G），各一组 引擎SGLang 0.5.6，Qwen3-8B 做 target、Qwen3-0.6B 做 draft

压测前先锁定口径，sglang.bench_serving 有三处要注意：

--seed、--random-output-len默认分别是 1（不是 0）和 1024；不写死的话，换个人跑就不是同一组请求 --sharegpt-output-len 256把输出长度固定下来；否则每条请求的输出长度不一，接受长度还能比，吞吐没法比 --disable-ignore-eos客户端只有这个反向开关，默认 ignore_eos 为真，与 vllm bench serve 相反

五档实测，只有一档为正

档位	不开投机（tok/s）	开投机（tok/s）	spec/base
WildChat holdout
单卡　并发 8	1066.63 ± 4.71	1310.99 ± 20.53	1.229×
双卡 TP2　并发 8	1509.67 ± 34.17	1473.45 ± 89.45	0.976×
单卡　并发 32　历史观测	3718.6	2523.5	0.68×
业务 39 通客服对话
单卡　并发 8	1014.2	905.8	0.89×
单卡　并发 32	2469.9	1235.9	0.50×

第 1、2 行 2026-09-13 重新采集的四组：同一份 80 条输入清单、固定输出 256、无 profiler，每组连跑三次，表中为三次均值 ± 样本标准差。
第 2 行 1473.45 ± 89.45 与 1509.67 ± 34.17 两个区间重叠，文档判为没有稳定正收益，也不判为回退。
第 3 行 2026-09-05 那一轮，三路放在不同 GPU 上并行测；文档里标为历史观测，不作上线依据。
第 4、5 行 换成另一个数据集：39 通业务客服对话，扫四档草稿长度，接受长度从 2.14 升到 3.16，吞吐始终低于基线。
第 5 行 取的是缩小草稿树之后的 1235.9，不缩小时为 1117.7；本档未采 nsys，归因靠扫描曲线，不靠 kernel 分桶。

五档里只有第一行 1.229× 为正。投机解码减少的是目标模型的前向次数，前提是算力有富余；并发把算力占满之后，开投机反而降低吞吐。

第 13 章文档表 6-A：三次原值、均值与算式 — 表 6-A 在文档里的原样：三次 trial 的吞吐原值全部列出；下半部分是四个比值的算式与结论：投机加卡 1.124×、基线加卡 1.415×、单卡开投机 1.229×、双卡开投机 0.976×。

nsys 时间线：draft、verify、draft extend 三段 — 图中第一个 decode cycle（bs=8）18.503 ms，其中 verify 11.887 ms。draft、verify、draft extend 三段是用 NVTX 自己加的标签，不加标签，nsys 里只能看到一整块。

启动命令：PYTHONPATH 注入 NVTX 标签 — 标签怎么加上的：高亮那一行把 PYTHONPATH 指向 scripts/nsys_tp，Python 启动时会自动执行这个目录里的 sitecustomize.py，由它给 SGLang 的 EAGLEWorker.draft、verify 等方法包上 NVTX range。上面那张图里的三段彩条来自这一行。

完整文档：第 25 章 Profiling 与 Runtime 调度，66 页

覆盖项目 25.1/25.2/25.3：环境与版本锁定、每个项目的基线、剖析、改动与复测、排错表。点击图片可放大。

第 25 章工程文档第 1 页：实测环境与三个项目 — 第 1 页：实测环境、三个项目各自回答的问题

第 25 章工程文档第 24 页：25.2 vLLM 基线与复测数据表 — 第 24 页：25.2 vLLM 基线与复测数据表

推理系统篇课件文件夹截图 — 推理系统篇 26 章，每章一个文件夹，结构与第 25 章相同

教材文稿一页：第 16 章正文、代码与插图 — 教材文稿一页：算法篇第 16 章，正文、代码与插图在同一页

文档写明了这份材料的边界：

文档里给出（第 2 页）方法、完整命令、可直接运行的脚本，以及本章实测跑出来的读数 随课程发放（第 2 页）各项目第九节反复引用的那些原始产物本身（.nsys-rep、.ncu-rep、chrome trace、各步的 JSON 与人写的读数笔记），体积较大，不包含在这份文档里 跑完才有（第 65 页）分段的算子表；自己的 GPU 占空比与 launch 密度；完整的 ncu_baseline.csv；开图与关图两组的 Available KV cache memory；自己那份 capture_scan.txt

第 25 章随文档交付　脚本 9、报告 5、结构化数据 22、日志 36、profile 产物 6

下载工程文档样例（PDF，66 页）

课程目录 PDF

每个项目写明目标、实测结果与结论成立的条件，可下载

第 25 章工程文档

目录里 25.1–25.3 三个项目的完整过程，环境、命令、数据与结论逐项对应

12 个不成立的结论

目录图例写明：59 个项目中，12 个的实测结论是该优化或改动不成立

主讲的开源贡献

GitHub：OpenBMB/MiniCPM、OpenBMB/MiniCPM-V

03 讲师团队

你能学到什么，取决于教你的人今天还在做什么

大模型半年一个版本。你在这里学到的，是大厂今天正在用的技术、面试官今天正在考的问题。讲师白天在岗位上写代码调模型，晚上把一手经验整理成课程。

博导

课程学术顾问

北京大学计算机学院博导，负责课程内容的学术审核

C++/CUDA 扎实且有科研兴趣的学员，可协助对接北大课题组的科研实习与硕博申请（有竞赛/研究经验者优先）

刘

刘老师（主讲导师）

500 强大模型高级算法专家，重点院校硕士
MiniCPM 系列开源核心贡献者（GitHub 合计 30k+★）
曾任一线大模型团队开源技术负责人
大模型全栈，理论与工程均有生产级项目经验，相关项目获央视报道
负责团队算法与 Infra 岗位的技术面

负责主讲授课

白

白老师

北大计算机硕士，现任某大厂算法专家
8 年 NLP 经验，专注大模型底层研发，知乎 AI 领域分享者

课程内容建设、答疑支持

李

李老师

中科大硕士，大厂 AI Infra 专家

课程内容建设、答疑支持

王

王老师

清华本科、北大博士，顶会论文作者
一线在职 AI/大模型专家，专注大模型核心算法与底层研发

课程内容建设、答疑支持

就业

就业导师

10 年以上招聘行业经验，曾在 51job、BOSS 直聘、Randstad 任管理岗
长期与头部互联网公司合作，有内推渠道

简历诊断、面试辅导、招聘内推

04 课程内容与交付

《大模型算法与系统工程》：从训练、对齐到推理系统上线

基础与架构

训练、微调与预训练

对齐与评测

应用方向

瓶颈定位与单卡优化

分布式与解码加速

引擎部署与上线

按岗位实际工作顺序组织，只讲工业界在用的技术和做法。

算法篇 17 章

训练、对齐与多模态

架构

Transformer、MoE、MLA、主流开源模型精读

训练

SFT、LoRA、分布式训练与预训练

对齐

RLHF、RLVR/GRPO、知识蒸馏、长思维链

应用

模型评测、RAG、Agent、多模态

推理系统篇 26 章

推理系统工程

GPU 与算子

执行模型、Roofline、Flash Attention、PagedAttention

服务引擎

KV Cache、Continuous Batching、前缀缓存、调度、投机解码、量化

分布式

TP/PP/EP、通信原语、PD 分离

上线

框架源码、Graph Compiler、压测与 Profiling、Kubernetes 部署

目录已覆盖的工业界当前主线（节号可点）

算法篇

DeepSeek-V3/V4 架构：MLA、DSA、mHC、CSA+HCA、Muon　2.2–2.5 线性注意力与混合架构（Qwen3-Next）　2.6 DeepSeek-V3 的 FP8 精度方案　6.5 GRPO/DAPO/GSPO　9.1–9.3 在线策略蒸馏　10.2 长思维链的训练与推理协同　11 Deep ReSearch　13.10 Coding Agent/MCP/Skills　14.7–14.9 Qwen3-VL 精读　16.5 原生多模态　16.8

推理系统篇

EAGLE3/MTP 投机解码　13.8–13.9 FP8/FP4/NVFP4 与 MX 格式　15.8–15.10 RadixAttention　16 PD 分离与 Mooncake　18 Nano-vLLM 源码　19.2 XGrammar 约束解码　22 MLLM 的 E/P/D 三阶段分离　23 DualPipe 与无辅助损失负载均衡　11.6

每章配教材文稿

录播视频课与教材文稿并行，随课交付

推理系统篇 59 个实战项目

51 个可复现、8 个案例解读；每章 1–3 个，每个项目明确目标、实测结果与结论成立的条件。算法篇第 1–16 章各配一个章末产出，5 个旗舰项目在第 17 章逐个精讲

每个项目配一份工程文档

代码、实验日志、数据构造流程、实验结果、实验结论与中间产物随文档交付；推理系统篇每个项目另附 5 道面试深挖题。没有多卡环境的照文档读完全部过程，有卡的按文档步骤复现

59 个项目与 16 个章末产出的分类

推理系统篇　59 个实战项目

按性质

可复现 51（自己能跑通，可写进简历）、案例解读 8（读懂工业界做法与取舍，不以复现为目标）

按形态

实操 46、从零实现 9、方案设计 3、源码精读 1

按投入

必跑 10、建议跑 31、读透即可 18

必跑的门槛

纯 CPU 2、2x4090 6、需 ncu 权限 2

按结论

12 个项目的实测结论是该优化或改动不成立

算法篇　111 节里 58 个动手任务，另有 16 个章末产出

按形态

从零实现 38（不调库，自己写出来）、实操 19、源码精读 1；另有原理演示 1（只讲原理、不给实测数）

章末产出

16 个，一章一个；参考实现、配置与完整日志随各章文档交付

另标出

4 个小节：3 个可复现、1 个案例解读（已脱敏）

合计

58 + 1 + 16 + 4 = 79

最低硬件

16 个章末产出里，纯 CPU 能做完 3 个，1x4090（≥24G）累计 13 个，1xH100（80G）累计 15 个；余下 1 个随 8xH100 完整日志交付

旗舰精讲

其中 5 个在第 17 章逐个精讲

三个代表项目与一个章末产出：环境、实测与结论

25.2　对 vLLM / SGLang 服务做 Nsight 端到端 Profiling

环境1xH100 80G，Qwen2.5-7B-Instruct 引擎vLLM 0.17.0 / SGLang 0.5.6 负载输入 1024 / 输出 128，并发 32，256 条请求 实测两引擎主 GEMM 均访存受限：显存吞吐约 86%、算力约 12% 结论单步 token 预算 8192 → 16384，按预先登记的判据两边都不采纳

13.1　在 SGLang 中启用投机解码并验证接受率与加速比

环境TP1 用 1xH100，TP2 用 2xH100（80G），各一组 引擎SGLang 0.5.6，Qwen3-8B 做 target、Qwen3-0.6B 做 draft 负载同一份 80 条输入清单，并发 8，固定输出 256，每组连跑三次 实测单卡 1310.99 ± 20.53 tok/s，1.229× 结论五档里只有 WildChat 单卡并发 8 为正；双卡 0.976× 区间重叠，没有稳定收益

2.3　自定义 Triton 融合算子开发

环境1xH100 80G，Nsight Compute 逐 kernel 实测 改动bias + SiLU 两个 kernel 融合为一个 实测kernel 耗时 41.18 → 22.37 µs；DRAM 读写量降 48.65%，理论预期 50% 附加验证Online Softmax 与 torch.softmax 的数值误差 1.86e-09 结论收益来自减少 HBM 访存，不是提升算力；先验证数值一致，再比耗时

4.4　LoRA 秩：显存与质量的帕累托曲线（算法篇章末产出）

环境1xH100 80G，Qwen2.5-1.5B，2 epoch 框架transformers + peft 扫描r = 4 / 8 / 16 / 32 / 64 五档各跑完整流程 实测可训练参数 4.6M → 73.9M（×16），峰值显存 7.16 → 8.33 GB（+16%） 结论槽位准确率 0.417 → 0.833；显存不是选秩的主要约束

四个项目里只有 2.3 给出了同口径的实测提速：25.2 的改动判定为不成立，13.1 五档里只有一档为正，4.4 给出的是选型结论。三个来自推理系统篇、一个来自算法篇，字段取自各章工程文档。

推理系统篇第 2 章的两个项目：2.1 vLLM/SGLang Kernel 性能基准套件、2.3 自定义 Triton 融合算子开发

Roofline：四个典型算子的算术强度都低于硬件的算力带宽比 — 硬件的算力带宽比是 295.2 FLOP/Byte。decode 阶段 GEMV 的算术强度是 1.0，性能上界 3.3 TFLOPS，只有峰值的 0.34%，这个上界由算术强度决定，与实现无关。增大 batch 能把点往右移：BS=32 的 GEMM 算术强度 31.5，上界升到 105.6 TFLOPS，占峰值的 10.67%。

算子融合前后：kernel 耗时、DRAM 读写量与 kernel 数 — bias 与 SiLU 融合为一个 kernel：GPU kernel 耗时 41.2 → 22.4 µs，DRAM 读写量 95.3 → 48.9 MB，kernel 数 2 → 1。先验证融合前后输出一致（最大误差 3.97e-03，allclose(atol=1e-2) 通过），再比耗时。图上的 −45.7% 是 GPU kernel 耗时；脚注里的脚本墙钟是 52.0 → 25.9 µs，两者口径不同。

算法篇第 4、9 章的两张实测图

LoRA 秩：显存与质量的帕累托曲线，五档 r 的参数量、显存与准确率 — 章末产出 4.4 把 LoRA 的秩 r 从 4 扫到 64：可训练参数 4.6M → 73.9M（×16），峰值显存 7.16 → 8.33 GB（+16%），槽位准确率 0.417 → 0.833。图下脚注写明：峰值显存是本次 1xH100（80G）的实测，4090 上需复测；准确率用的是 n=30 的自建留出集，不是公开基准。

GRPO 96 步的熵崩溃与回升，同期 KL 惩罚项曲线 — 第 9 章 GRPO 训练的熵曲线，训练链路与章末产出 9.6（跑通一个完整的 RLVR 任务）相同。96 步 GRPO：熵在第 12 步 0.664，第 30 步跌到 0.081，两次跌破 0.11，峰谷比 8 倍，末步回到 0.325；同期 KL 惩罚项从 0 升到 0.58。灰带是熵连续低于 0.15 的区间，按数据自动划出。脚注写明这是单次运行、未做多种子重复；同期验证准确率有波动，因验证集口径待核，没有画进图里。

# 第 9 章 GRPO 训练日志节选　Qwen2.5-1.5B　VERL + vLLM　1xH100（80G）　96 步　G=4 # 原件 project/outputs/logs/grpo_1.5b_entropy.console.txt（626,142 字节） # 脱敏说明：所选 step 指标行原本就不含内部路径、账号、主机名或令牌，已复扫确认全为 0。 # 本节选只按 step 抽行，数值一字未改。 [熵的峰值] step:12 … actor/entropy:0.663525402545929 … [熵的谷底] step:30 … actor/entropy:0.08123178035020828 … [末步] step:96 … actor/entropy:0.32482677698135376 …

上面那张图上的 0.664、0.081、0.325，是这段日志里三个原值四舍五入到三位小数。省略号处是这一行里本图没用到的字段；开头四行是节选文件自带的脱敏说明。

课程部分章节的项目与章末产出

05 完整目录

算法篇 17 章　六个部分
推理系统篇 26 章　七个部分

下载 PDF 版

目录 v19.7（2026-09）。每章标题下的一句是这一章的核心判断；点击章名展开二三级节、章末产出与项目文档。

06 部分学员成果

学员 Offer 区间 30–100W+

学员来自 UCL、MIT、UCLA 等海外院校与国内 985/211 本硕博，也有双非院校基础扎实的学员。他们找到我们之前，共同的问题是项目太 toy：没深度、没闭环、没结合产品与业务场景，面试答不出细节。

类型

结果

国内应届

字节 Seed　总包 130W+

国内应届

字节校招 SSP+　总包 90W+

国内社招

快手　总包 80W+（现金）

开源

受邀加入 SGLang 开发组

国内

阿里达摩院　算法岗 Offer

海外

TikTok 核心部门 Offer

升学

布朗大学 + UC Berkeley 录取

国内社招

社招转行，月薪 40K，涨 40%

每一行对应下方一张聊天记录截图。

Offer 案例

字节 Seed　总包 130W+

985 本、北大硕应届；Seed 是字节跳动的大模型团队

字节校招 SSP+　总包 90W+

211 硕应届；SSP 为最高档 Offer

快手　总包 80W+（现金，不含股票）

双非本硕，基础扎实

受邀加入 SGLang 开发组

SGLang 是主流的大模型推理框架之一，学员受邀参与开发

阿里达摩院　算法岗 Offer

阿里旗下技术研究机构

TikTok 核心部门 Offer

字节跳动海外业务

布朗大学 + UC Berkeley

同时获得两校录取，学员 Anthony

更多学员反馈

关于 985/211 背景学员薪资区间的交流：50–60W+

去年学员：社招转行，月薪 40K，涨 40%

聊天记录已征得本人同意，点击图片可放大；背景与能力不同，学员结果因人而异。

07 为什么不自学

简历那一关筛的是你做到了多深，不仅是你做过什么

学员原话

就业和这些理论知识有什么关系吗？就业需要的技术到底在哪里学？

有面试但准备不充分，对项目不熟、技术没吃透，细节答不出来，一面二面挂掉。

一次又一次拿不到正反馈，越来越不自信。

曾经以为考上研就万事大吉，实际上考不考得上，都是痛苦的轮回。

四种处境的共同原因：专业深度不够，遇到的真实工程问题太少。

两类岗位的日常工作

推理/Infra 岗

推理引擎性能优化：吞吐、TTFT/TPOT、显存CUDA/Triton 算子开发与算子融合量化（INT8/FP8）与模型压缩部署多卡并行与通信优化：TP/PP/EP、NCCL训练/推理平台的稳定性与故障定位profiling 定位瓶颈：Nsight、torch.profiler新模型适配上线与 vLLM/SGLang 版本跟进

训练/微调岗

SFT/RL 训练数据的构造、清洗与配比RLHF/DPO/GRPO 后训练与对齐奖励模型设计与训练稳定性评测体系建设与 badcase 归因多模态模型（VLM）训练与对齐RAG/Agent 链路搭建与效果迭代跟进前沿论文并复现落地

这些问题 benchmark 上跑不出来，自学环境里也遇不到。资料再多，缺的是顺序、答疑，以及与岗位 JD 的对应。

我们的做法

① 教的是今天岗位上在用的技术

讲师均为大模型方向在职专家，课程内容来自当前岗位实践

② 理论、工程与就业一起解决

名校硕博与一线专家组成团队，北大博导做学术把关

③ 每个项目都配详细工程文档

每个项目明确目标、实测结果与结论成立的条件，包括实测结论为不成立的项目

④ 工程问题有人答

一线在职专家线上答疑

⑤ 简历与面试按目标岗位 JD 对齐

课程对准大模型算法与系统工程岗位，就业导师做简历诊断与模拟面试

08 适合人群与课程要求

进阶课，要求有深度学习基础

1　985/211 本科、研究生、博士

学历和学校背景够，技术还不够扎实。冲头部大厂校招/实习/人才计划，把技术深度补上

2　普通院校基础扎实的优秀学生

门槛在基础，不在院校
已有双非本硕学员拿到快手 80W+ Offer

3　想转入大模型方向的工程师

已有深度学习基础，需要清晰的技术路径和项目经验，用来转方向或跳槽涨薪

4　保研/考研/申博备战

补充大模型科研项目经验
科研实习与硕博申请的协助见 03 讲师团队

课程基础要求：有深度学习基础。本课程为进阶课，不适合零基础学员。

算力：课程不提供算力，各项目的硬件档位如下。

档位

配置

覆盖

纯 CPU

0 GPU

算法篇 16 个章末产出中的 3 个（1.9、5.6、7.3）；推理系统篇 2 个项目（6.1、11.3）

基础档

1x4090（≥24G）

算法篇 16 个章末产出中的 13 个（含纯 CPU 的 3 个）

主力档

2x4090（≥24G）

推理系统篇多数实战项目；实测环境 1xH100 80G

进阶档

1xH100（80G）

再加 2 个章末产出（10.4、11.8），共 15 个

观摩

8xH100，不需自备

剩下 1 个章末产出（6.6）：随文档交付完整配置与日志

成本 = 卡时 × 租金；4090 约 2–3 元/时/张。

09 简历修改与面试辅导

简历过不了筛，多数时候不是经历不够，是没写成面试官要问的样子

简历按目标岗位 JD 对齐，项目经历讲清楚技术选型和取舍，再按面试官的真实问法过一遍。全程五步：

方向判断

结合你的背景、基础和行业当前的用人需求，判断哪条细分方向适合你、按什么顺序学。

项目扎实度诊断

针对你的每个项目确认：做了什么、遇到了什么工程问题、怎么解决的、为什么用这个方案而不是另一个。很多同学的项目停留在跑通了，面试官问一句为什么这么做，就答不上来。

简历与岗位能力对齐

把你已有的经历和目标岗位的 JD 能力要求逐条对比：哪些可以直接写进去、怎么描述逻辑最清晰、哪些地方有缺口需要补项目支撑。

模拟面试：按面试官的真实问法

按面试官的真实问法把简历过一遍。一对一模拟之后常见的情况是，自以为答得不错的问题，漏掉了面试官在意的那个点。

模拟面试复盘

按题分析：哪里回答有漏洞、哪里逻辑不清、哪里说法经不起继续深挖、怎么改。具体到这道题下次应该怎么组织语言。

10 价格与报名

我们做的事

在你现有基础上，把大模型算法与推理系统的技术补到能直接上手干活的深度：岗位上怎么测、怎么定位、怎么下结论，课程项目按这个顺序完整做一遍。

眼前把项目做到经得起面试深挖，简历与面试按目标岗位 JD 逐条准备，帮助你拿到更好的实习经历和 Offer。长远算法与推理系统的技术长期通用，往后每一次跳槽、晋升和转方向，可选的机会都更多。

课程定价

¥15,999

课程形式与包含内容

课程录播视频课

教材每章配教材文稿，随课交付

项目推理系统篇 59 个实战项目（51 个可复现、8 个案例解读）+ 算法篇 16 个章末产出

工程文档每个项目一份：代码、实验日志、结构化数据与中间产物；推理系统篇另附 5 道面试深挖题

答疑线上答疑

就业2 次简历修改 + 1 次面试辅导

1v1 咨询会先了解你的背景、基础、目标和问题，再给出客观判断。

微信：daboluoai

272 份大模型岗位 JD 的高频要求，逐项对应到课程章节与项目

第 25 章 Profiling 与 Runtime 调度：项目 25.2 的四步

第 13 章 投机解码：项目 13.1 摘录

五档实测，只有一档为正

完整文档：第 25 章 Profiling 与 Runtime 调度，66 页

你能学到什么，取决于教你的人今天还在做什么

《大模型算法与系统工程》：从训练、对齐到推理系统上线

59 个项目与 16 个章末产出的分类

三个代表项目与一个章末产出：环境、实测与结论

推理系统篇第 2 章的两个项目：2.1 vLLM/SGLang Kernel 性能基准套件、2.3 自定义 Triton 融合算子开发

算法篇第 4、9 章的两张实测图

课程部分章节的项目与章末产出

算法篇 17 章 六个部分推理系统篇 26 章 七个部分

学员 Offer 区间 30–100W+

简历那一关筛的是你做到了多深，不仅是你做过什么

我们的做法

进阶课，要求有深度学习基础

简历过不了筛，多数时候不是经历不够，是没写成面试官要问的样子

第 13 章投机解码：项目 13.1 摘录

算法篇 17 章　六个部分
推理系统篇 26 章　七个部分