企业数字化基石:阿里巴巴云计算基础设施实践

《企业数字化基石——阿里巴巴云计算基础设施实践》是对阿里巴巴云计算基础设施技术实践的全面总结，它不仅多方面地描述了作为阿里巴巴经济体数字化基石的云计算基础设施技术诸多细节，更是一部芯片、存储、网络，以及云计算技术演进的风云变幻史，本书是值得记入中国IT技术历史浓墨重彩的一笔！本书得到了阿里巴巴集团CTO兼阿里云智能事业群总裁张建锋（行癫）、阿里巴巴集团副总裁基础设施事业部负责人周明、中国信息通信研究院云计算与大数据研究所所长、开放数据中心委员会名誉主席何宝宏三位的亲笔作序推荐。

在互联网行业中，云计算基础设施技术具有很好重要的作用与影响，一方面，在电商、金融科技、云计算、大数据、AI等重要战略领域发展的过程中，云计算基础设施技术的重要支撑作用已经无可替代；另一方面，云计算基础设施技术已经成为许多类型业务的直接竞争力，甚至在云计算、AI等领域中，计算能力、存储能力、网络能力都成为业务的一部分。本书将详细地阐述阿里巴巴在基础设施上的实践细节及优选技术，包括数据中心、网络、服务器、计算硬件、存储硬件，以及智能化运营与自动化运维等内容。本书是由AIS（Alibaba Infrastructure Service）组织编写的，历时三年，AIS是负责阿里巴巴集团所有基础设施的研发、运营、维护等工作的部门。本书梳理了基础设施演进过程中的思路、得失、很好实践、未来路径规划等，可以让IT企业的管理者、软件工程师、测试工程师、运维工程师、软件架构师、技术经理能够更清晰地知道基础设施的根本在哪里，而且还可以让IT企业客户对基础设施的发展和未来有一定的了解，以便更好地使用基础设施提供的技术和服务，让阿里巴巴在基础设施上的经验成为国家和行业基础设施发展的参考。

高山渊，花名康伯，2004年进入互联网行业，2007年加入阿里巴巴集团，先后负责过阿里巴巴的CDN运维、聚石塔、大数据平台（ODPS/Hadoop）、云计算、服务器、数据中心等运维和研发工作，现担任AIS（阿里巴巴基础设施事业部）首席架构师及IDC研发事业部总经理。

蔡德忠，阿里云智能基础设施首席网络架构师，负责阿里巴巴基础网络架构工作，主持设计了全新一代高可靠、高智能和低延时（HAIL）数据中心架构，以及基于SDN和SR的优选网络流量调度系统，领导了阿里巴巴IPv6的架构设计和大规模部署。在此之前，Dennis 作为思科 Distinguished Engineer，在美国思科担任运营商事业群优选市场产品和解决方案 Lead Architect。联合著作及贡献过多项Internet RFCs 标准和十几项美欧。获得清华大学工学学士，北京大学和美国 DePaul University 计算机科学硕士学位。

赵晓雪，现任阿里巴巴研究员，阿里云智能基础设施智能运维团队负责人。加入阿里巴巴之前在美国谷歌总部基础设施部门任职多年。在数据中心，云计算和网络等领域都有丰富的研究和实践经验。美国加州大学伯克利分校博士。拥有多项和论文。

目    录
章  基础设施架构综述  / 1
1.1  基础设施的概念  / 1
1.2  基础设施作为技术驱动力  / 3
1.3  基础设施的技术价值  / 7
1.3.1  技术安全  / 8
1.3.2  稳定性  / 9
1.3.3  TCO  / 10
1.3.4  稳定性、性能、成本的平衡  / 11
1.3.5  追求效率、标准化、规范化  / 11
1.4  基础设施的核心竞争力特征  / 12
第2章  TCO建模  / 13
2.1  静态TCO模型  / 14
2.1.1  数据中心CapEx  / 15
2.1.2  服务器及网络设备CapEx  / 16
2.1.3  OpEx  / 16
2.1.4  产能/TCO  / 16
2.2  动态TCO模型  / 17
2.3  TCO最优  / 18
第3章  数据中心能效  / 22
3.1  数据中心电能利用率  / 22
3.2  数据中心服务器电能利用率  / 30
3.2.1  服务器电源的能效  / 31
3.2.2  服务器风扇的能效  / 33
3.3  数据中心基础设施使用率  / 35
3.4  小结  / 37
第4章  数据中心  / 39
4.1  数据中心面临的挑战  / 39
4.1.1  中国能源供给结构对数据中心
     的影响  / 39
4.1.2  新政策环境下数据中心面临的
     技术升级挑战  / 41
4.1.3  云计算业务给数据中心带来的
     机遇与挑战  / 41
4.2  数据中心技术的发展趋势  / 43
4.2.1  数据中心技术演进的路线与
     趋势  / 43
4.2.2  阿里巴巴数据中心的演进路线
     与趋势  / 46
4.3  数据中心能源与供电技术  / 49
4.3.1  数据中心能源的选择与引入  / 49
4.3.2  数据中心电气系统架构演进的
     趋势与路线  / 54
4.3.3  数据中心电气关键技术与设备  / 59
4.4  阿里巴巴数据中心供电工程
     实践案例  / 68
4.4.1  分布式不间断供电和集中式
     不间断供电的比较  / 68
4.4.2  240V+PSU集中供电系统  / 70
4.4.3  天蝎BBS  / 71
4.4.4  服务器BBU  / 73
4.4.5  机柜DPS  / 74
4.5  数据中心制冷技术  / 76
4.5.1  数据中心制冷系统架构的选择
     与设计  / 76
4.5.2  连续制冷  / 89
4.5.3  制冷系统的节能措施  / 91
4.6  面向下一代IT系统的冷却技术  / 96
4.6.1  液冷技术简介  / 96
4.6.2  冷板式液冷技术  / 98
4.6.3  浸没式液冷技术  / 99
4.6.4  不同冷却技术对比  / 100
4.7  数据中心制冷技术的发展
     趋势  / 102
4.8  阿里巴巴数据中心冷却工程
     实践案例  / 103
4.8.1  千岛湖数据中心  / 103
4.8.2  张北新风自然冷数据中心  / 105
第5章  数据中心网络架构和关键
        技术  / 112
5.1  超大规模数据中心网络概述  / 112
5.1.1  超大规模数据中心的网络架构
     及其技术演变  / 112
5.1.2  超大规模数据中心网络的未来
     发展趋势  / 115
5.2  阿里巴巴数据中心网络  / 118
5.2.1  云计算对数据中心网络的核心
     要求  / 118
5.2.2  阿里巴巴数据中心网络架构
     演进  / 120
5.2.3  阿里巴巴数据中心网络HAIL
     架构的设计理念  / 122
5.2.4  阿里巴巴数据中心网络HAIL
     架构简介  / 130
5.2.5  阿里巴巴数据中心交换机  / 131
5.2.6  阿里巴巴 vSwitch  / 138
5.2.7  阿里巴巴数据中心网络光互联
     技术  / 141
5.3  数据中心网络协议和高性能
     网络  / 142
5.3.1  数据中心网络互联协议  / 142
5.3.2  高性能网络 RDMA技术  / 145
5.4  可编程芯片和高性能网关
     平台  / 146
5.4.1  基于x86高性能软件网关平台
     Netframe  / 146
5.4.2  基于可编程交换机与SDN技术
     的硬件交换平台  / 147
5.5  网络可视化技术  / 148
5.5.1  网络可视化前端技术  / 149
5.5.2  网络可视化后端技术  / 150
5.6  城域网光传输技术  / 151
5.6.1  城域网架构简介  / 151
5.6.2  光传输技术  / 154
第6章  服务器技术  / 159
6.1  服务器简介  / 159
6.1.1  服务器系统分级  / 160
6.1.2  服务器行业生态  / 161
6.1.3  服务器应用场景  / 162
6.1.4  服务器面临的挑战  / 162
6.1.5  服务器设计考虑  / 163
6.2  服务器研发和技术体系  / 164
6.2.1  数据中心服务器研发模式  / 165
6.2.2  数据中心服务器工程技术之
     主板  / 167
6.2.3  数据中心服务器工程技术之
     散热技术  / 170
6.2.4  服务器结构工程技术  / 174
6.2.5  服务器监控及运维体系  / 189
6.2.6  服务器测试及性能评估
     体系  / 191
6.3  软硬件优化  / 197
6.4  服务器演进展望  / 198
6.4.1  阿里巴巴的服务器演进  / 198
6.4.2  计算/存储分离和部件化  / 199
6.4.3  进一步解耦CPU-Storage，
     CPU-GPU，CPU-MEM和
     架构一体化  / 201
6.5  硬件安全体系  / 203
6.5.1  可信计算  / 204
6.5.2  可信执行环境  / 205
6.5.3  内存安全  / 208
6.5.4  构建完善的硬件安全体系  / 209
第7章  计算硬件技术  / 211
7.1  通用计算  / 212
7.1.1  x86  / 212
7.1.2  Non-IA  / 215
7.1.3  Non-IA与x86的比较  / 218
7.1.4  典型业务与通用计算  / 219
7.2  异构计算  / 221
7.2.1  GPU  / 221
7.2.2  FPGA  / 225
7.2.3  ASIC  / 227
7.2.4  CPU、GPU、FPGA、ASIC
     简单比较  / 230
7.3  边缘计算  / 230
7.4  总线互联  / 233
7.4.1  QPI/UPI  / 233
7.4.2  NV-Link   / 234
7.4.3  CAPI   / 234
7.4.4  CCIX  / 235
7.5  计算与业务软硬件结合  / 236
7.6  小结  / 238
第8章  存储硬件技术  / 239
8.1  内存   / 240
8.1.1  DDR   / 240
8.1.2  NVDIMM与UltraDIMM  / 241
8.1.3  AEP  / 243
8.1.4  HBM与HMC  / 243
8.2  HDD  / 245
8.2.1  基本原理  / 245
8.2.2  大容量硬盘应用  / 247
8.2.3  HDD的发展趋势  / 251
8.3  SSD  / 251
8.3.1  NAND Flash  / 254
8.3.2  2D/3D NAND  / 254
8.3.3  SSD的使用  / 259
8.4  新型存储介质  / 261
8.4.1  3D XPoint   / 261
8.4.2  ReRAM  / 264
8.4.3  NVMe  / 265
8.5  新型存储介质应用  / 265
8.6  自研存储产品AliFlash  / 269
8.6.1  双模式SSD  / 269
8.6.2  开放通道模式  / 270
8.6.3  开放通道模式的应用路径  / 272
8.6.4  AliFlash与业务软硬件结合  / 273
8.7  存储路径  / 276
8.7.1  传统文件系统  / 276
8.7.2  KV存储  / 278
8.7.3  SPDK  / 279
8.8  NVMoF  / 280
8.9  近存储计算  / 283
8.9.1  本地近存储计算  / 283
8.9.2  远端近存储计算  / 285
8.10  小结  / 288
第9章  基础设施智能化运营与
       自动化运维  / 289
9.1  基础设施资源运营智能化  / 290
9.1.1  需求预测  / 291
9.1.2  数据中心机架位容量规划  / 293
9.1.3  智能制造的发展趋势  / 295
9.2  基础设施资源交付自动化  / 296
9.2.1  通过带外网络实现的远程自动
     开关机  / 296
9.2.2  服务器操作系统自动化安装  / 297
9.2.3  自动化部署遇到的问题及解决
     方案  / 300
9.3  基础设施智能监管控  / 300
9.3.1  可用性监控分析  / 301
9.3.2  电热异常感知  / 301
9.3.3  能效优化  / 304
9.4  物理机自动化维修  / 305
9.4.1  故障发现  / 305
9.4.2  故障预测  / 307
9.4.3  故障维修  / 307
9.5  集群自动化运维  / 309
9.5.1  集群自动化运维的主要设计
     思想  / 309
9.5.2  物理机集群智能自愈系统  / 311
9.6  网络智能变更系统  / 314
9.6.1  变更稳定性挑战  / 314
9.6.2  解决方案  / 315
9.6.3  网络智能化变更系统  / 316
9.7  无人值守的数据中心  / 317
0章  IDC、网络、服务器的
          一体化  / 319
10.1  基础设施的最优化匹配  / 319
10.1.1  大集群与业务的最优匹配  / 319
10.1.2  IDC建筑、网络大集群、服务
       器的宏观优化  / 320
10.1.3  机架功耗、服务器功耗、网
       络端口利用率的微观优化  / 321
10.2  整机架交付：OCP、天蝎
       与AliRack  / 322
10.3  面向业务的一体化解决方案：
      HPC、超算、AI  / 323
10.4  系统技术分层与协作  / 327
10.5  全系统模拟器  / 328
1章  总结及展望  / 330
11.1  2022年――世界的基础
      设施  / 330
11.2  基础设施5.0――AI、异构、
      智能化  / 332
11.3  基础设施6.0――一体化最优
      基础设施架构  / 332
11.4  五年之后的基础设施――创新
      的机制保障  / 333
11.4.1  NASA与达摩院――阿里巴巴
       的科技创新  / 333
11.4.2  AIS的创新机制  / 333
11.4.3  前瞻布局与战略拖动  / 334
11.5  量子与未来  / 334
11.5.1  量子通信  / 334
11.5.2  量子计算  / 335

阿里巴巴不仅是一家商业公司，同时也是一家技术公司。本书系统地讲述了阿里巴巴云计算基础设施技术的发展史，同时本书也是阿里经济体成长过程中对基础设施需求的演进史。我认为本书对阿里巴巴在云计算基础设施领域的工程技术实践进行了一个有益的回顾与总结，不仅有助于我们自身精益求精，也为业界同仁提供了一个可供借鉴和评判的参考，让我们能够共同为云计算基础设施技术演进添砖加瓦，推动技术革新并促进互联网业务发展。
张建锋
（行癫）  
阿里巴巴集团CTO兼阿里云智能事业群总裁

云计算基础设施技术是如此的重要，遗憾的是，因为涉及的专业领域众多，一直没有一本跨领域、跨专业的书，因此，我们决定在公司内部材料基础设施白皮书的基础上，编撰一本适合公开出版发行的书。本书融入了这些年来我们在关键技术决策中的思考与实践，也有许多沉淀的经验。期望本书能够给业界带来一块“璞玉”，以供雕琢，同时也鞭策我们自己在未来更进一步。
周明
阿里巴巴集团副总裁基础设施事业部负责人

本书从数据中心TCO建模和能效的分析入手，针对供配电、制冷、网络架构、服务器、计算硬件、存储硬件、智能化运营、一体化等，从多个维度详细地讲述了云计算基础设施技术的组成和架构，每一项技术都体现了阿里巴巴云计算基础设施技术专家们的实践、思考、创新和沉淀。这本书无疑表现了阿里巴巴在长远技术发展的深刻思考和谋略，对当前靠前外云计算基础设施技术的发展具有指导意义。
何宝宏
中国信息通信研究院云计算与大数据研究所所长
开放数据中心委员会名誉主席