深度学习扩展之道：软硬件与数据协同构建可扩展大模型系统

还在被大模型训练慢、显存不足、分布式部署难卡脖子？《深度学习扩展之道：软硬件与数据协同构建可扩展大模型系统》来了！全书打通软件、硬件、数据三大核心，详解 GPU/TPU 加速、数据 / 模型 / 流水线并行、性能优化等硬核技术，从基础原理到工业级实战，手把手教你搭建高效可扩展的大模型训练系统。不管是算法工程师、MLOps 运维，还是深度学习研究者，都能轻松攻克训练瓶颈，快速落地规模化深度学习项目，AI 人必入的硬核实战宝典！

本书聚焦大规模深度学习的实现与扩展，围绕软件、硬件与数据的融合展开，构建了从基础到进阶的完整知识体系。全书共13章，分为三大部分：第一部分 “深度学习基础” 讲解深度学习数据流、计算图、硬件架构等核心概念，通过Python和PyTorch动手练习帮助读者理解模型开发与性能分析；第二部分 “分布式训练” 深入分布式系统通信、数据并行、模型并行等关键技术，提供多场景动手实践；第三部分 “极限扩展” 探讨以数据为中心的扩展、实验管理、大模型微调与基础模型开发，覆盖LoRA微调、数据质量优化等前沿内容。整体以“理论+实践”为核心，配套GitHub代码仓库，助力读者掌握高效扩展深度学习项目的技术与方法。

Suneeta Mall是harrison.ai（一家由临床医生主导的人工智能医疗科技企业，专注于攻克重大医疗健康问题）人工智能工程部负责人。她曾任职于IBM、Expedia、悉尼大学、Nearmap，拥有扎实的计算机科学与工程专业背景。

前言 1

第1章 自然和历史在规模方面给予我们的启示 9

1.1 扩展的哲学 9

1.1.1 通用扩展定律 10

1.1.2 通用扩展定律的历史 10

1.2 可扩展系统 12

1.2.1 作为可扩展系统的自然界 12

1.2.2 人类视觉系统的生物学启示 13

1.3 人工智能：可学习系统的演进 13

1.3.1 四者协作 14

1.3.2 深度学习的发展趋势 22

1.4 深度学习中的扩展 26

1.4.1 六大开发考虑因素 26

1.4.2 扩展考量 30

1.5 本章小结 36

第一部分 深度学习基础

第2章 深度学习 39

2.1 深度学习中数据的作用 39

2.2 深度学习中的数据流 40

2.3 动手练习#1：实现极简深度学习 43

2.3.1 开发模型 43

2.3.2 嵌入/潜在空间 48

2.3.3 注意事项 50

2.3.4 学习率与损失地形图 51

2.3.5 扩展方面的考虑因素 53

2.3.6 性能分析 53

2.4 动手练习#2：PyTorch进阶 55

2.4.1 模型输入数据与流水线 56

2.4.2 模型 56

2.4.3 辅助工具 57

2.4.4 融会贯通 59

2.5 计算图 60

2.6 推理 62

2.7 本章小结 64

第3章 深度学习的计算层面 65

3.1 数字世界的希格斯玻色子 66

3.1.1 浮点数：看似连续的数值 66

3.1.2 数据的计量单位 69

3.1.3 数据存储格式：延迟与吞吐量之间的权衡 70

3.2 计算机架构 71

3.2.1 机电引擎的诞生 71

3.2.2 内存与持久性 72

3.2.3 计算与内存的融合 75

3.3 电子领域中的扩展定律 78

3.4 利用并行化扩展计算 78

3.4.1 线程与进程：并行化单元 79

3.4.2 用于加速的硬件优化库 83

3.4.3 并行计算机架构：弗林和邓肯的分类法 84

3.5 加速计算 84

3.5.1 深度学习常用加速设备 86

3.5.2 CUDA 92

3.5.3 加速器基准测试 102

3.6 本章小结 102

第4章 整合全局：高效深度学习 103

4.1 动手练习#1：GPT-2 103

……