💬 观点Nathan Lambert
5 useful things you'll learn in my new post-training — Nathan Lambert 新书发布，提炼 RLHF 与后训练的核心直觉、历史
Nathan Lambert 新书发布，提炼 RLHF 与后训练的核心直觉、历史与系统设计。
2026-08-10原文
本文为要点摘要，完整细节以原文为准。
🧭 一图看懂
由原文自动提炼 · 以原文为准点击任一分支，查看这一点的一句话解读
Nathan Lambert 后训练新书
Manning 出版 RLHF 后训练教材，线上免费并配 12 小时课程
- 书名 Reinforcement Learning from Human…
- 8 月 19 日前用码 PBLambert 五折
- Manning 与美亚已发货，英亚 10 月
🔗 涉及的概念与玩家
- Nathan Lambert人物
- RLHF概念
- PPO方法
- GRPO方法
- DAPO方法
- MOPD方法
- DeepSeek V4模型
- Manning公司
- Nathan Lambert—著书讲→RLHF
- PPO—演进为→GRPO
- GRPO—衍生出→DAPO
- MOPD—应用于→DeepSeek V4
- Manning—出版→Nathan Lambert
- 书中约 25% 篇幅讲解 RL 算法直觉，从策略梯度到 PPO、GRPO、GSPO 等，帮助读者判断新算法是“真有用”还是“假把式”。对开发者而言，理解这些直觉能更有效地调试和设计 RL 训练系统。
- 现代 RL 本质是系统问题，需平衡数据 off-policy 程度、训练-推理不一致和吞吐量，异步 RL 架构（learner 与 actor 分离）仍是主流。开发者应关注系统层面的权衡，而非仅算法本身。
- 书中梳理了后训练的三段历史（~2018 前、2019-2022、2023 后），并专门用一章拆解“蒸馏”的多种工业标准做法，澄清其在政策讨论中被过度简化的形象。开发者可借此理解数据工业中的常见实践，避免概念混淆。
原文：5 useful things you'll learn in my new post-training textbook (shipping now!) · 作者 Nathan Lambert
🕸 顺着图谱继续读
- Frontier post-training recipe review with Finbarr — 解析前沿大模型后训练技术演进，从 InstructGPT 到 2026 年 MO2026-06-16 · 共同涉及 MOPD、RLHF、Nathan Lambert
- What I’ve been building: ATOM Report, post-training — Nathan Lambert 分享其近期项目：ATOM报告、RLHF新书、后训练2026-04-14 · 共同涉及 Nathan Lambert、Manning
- I wrote an AI textbook — how long until AI can do it — 作者亲历写AI教科书，发现模型长文写作停滞，对AI自主科研能力提出质疑。2026-08-12 · 共同涉及 Nathan Lambert、RLHF
- Async GRPO with LoRA across HF Jobs: a bucket, a proxy, — HF 用异步 GRPO 加 LoRA 跑分布式 RL，绕开 NCCL，靠桶和代理2026-09-10 · 共同涉及 GRPO