Ultra-Scale Playbook 简体中文版：在 GPU 集群上训练大语言模型

开始阅读完整简体中文交互版

本书从单 GPU 训练出发，逐步讲解在大规模 GPU 集群上训练大语言模型的方法。完整手册保留 12 个主要章节、4 个附录、参考资源及 16 个交互实验。

阅读目录

#

• 导论与全书概览
• 单 GPU 训练
• 数据并行与 ZeRO
• 张量并行与序列并行
• 上下文并行
• 流水线并行
• 专家并行
• 5D 并行速览
• 寻找最佳训练配置
• GPU 架构与内核
• 内核融合、Flash Attention 与混合精度
• 结语
• 附录：集体通信、性能分析、典型尺度、计算与通信重叠
• 参考资源

版本与来源

#

原作：The Ultra-Scale Playbook: Training LLMs on GPU Clusters，作者为 Hugging Face nanotron 团队。

中文底本：Twinkle AI Community 繁体全译本。本简体版基于上游 c693694 转换，统一大陆常用技术术语，并将 column／row 分别对应为“列／行”。正文、页面和交互实验同步本地化，原有英文插图保留。

简体版源码，版本 8b4e18d。这是繁简转换与术语本地化版本，尚未对原译文逐句重新翻译或审校。保留原作者、Twinkle 翻译署名及 Apache 2.0 授权。

三部曲已完整发布

#

书中“敬请期待第三部”是出版时的旧表述。目前可依次阅读：

1. FineWeb：预训练数据集的构建与处理。
2. Ultra-Scale Playbook：GPU 集群和分布式训练。
3. Smol Training Playbook：模型架构、数据配比、预训练与后训练的完整实践。