分布式数据库：入门、进阶与实战

（1）作者背景资深：Apache ShardingSphere & SkyWalking 知名开源项目核心贡献者，十余年互联网架构实战经验，曾任华为云技术专家、当当网架构师、Tetrate 创始工程师，产业经验与开源社区影响力兼具。
（2）技术与度兼具：从分布式理论、数据分片、事务一致性到 Paxos/Raft 共识算法，从源码构建到云原生演进，形成基础原理→核心技术→工程实践的完整学习闭环。
（3）实战导向鲜明：手把手教读者从零构建分布式数据库，真正实现学完即用。

（4）前瞻性技术洞察：敏锐捕捉云原生、软硬结合及大模型（LLM）给数据库带来的革命性变化，探讨智能化运维、自然语言查询与自治调优的未来演进。
（5）行业场景覆盖：从当当网高并发电商到 Tetrate 全球化服务网格，十余年踩坑经验与架构思考毫无保留，适合渴望技术进阶的工程师阅读。

这是一本从原理、架构和实践等维度讲解分布式数据库如何从入门到进阶的著作。
本书分为四个大篇章，分别介绍：
1.分布式数据库的定义和历史沿革。区分广义与狭义分布式数据库。点明本书主旨。
2.分布式数据库的基础知识。包含数据分片，复制与一致性，事务基础与存储引擎。
3.分布式数据库的进阶概念与应用案例。包含分布式系统，分布式一致性模型，分布式事务，共识算法和软件与硬件结合等内容。
4.分布式数据实战。包含分布式数据库的选型与如果实现特定领域的分布式数据库。
阅读本书后，读者将对分布式数据从理论到实践有了清晰的概念。在之后的工程实践中，将会对分布式场景下的数据库存储有更加专业的认知，并对技术趋势有深入的洞察。

高洪涛<br />资深分布式系统技术专家，拥有十余年互联网及软件架构领域的实战经验。曾任华为软件开发云技术专家、当当网系统架构师。在分布式数据库、容器调度、微服务架构及Service Mesh（服务网格）等前沿技术领域拥有极深的造诣。<br />Apache顶级项目核心贡献者 Apache软件基金会（ASF）活跃成员，顶级开源项目 Apache ShardingSphere 与 Apache SkyWalking 的核心贡献者（Core Contributor / PMC）。作为Tetrate.io的创始工程师，致力于推动云原生技术在全球范围内的落地与演进。<br />技术布道者与畅销书作者，长期活跃于开源社区，是DTCC、ArchSummit、Top100等知名技术大会的特邀演讲嘉宾。著有《Apache SkyWalking实战》等口碑佳作，擅长将复杂的技术原理以通俗易懂的方式传递给读者。

目　　录Contents<br />前　言<br />基础篇<br />第1章　什么是分布式数据库　3<br />1.1　分布式数据库发展脉络　3<br />1.1.1　传统数据处理模式　3<br />1.1.2　大数据　5<br />1.1.3　互联网　6<br />1.1.4　云原生　7<br />1.2　广义的分布式数据库　8<br />1.3　狭义的分布式数据库　9<br />1.3.1　数据分片　10<br />1.3.2　数据复制　10<br />1.3.3　分布式事务　10<br />1.4　总结　10<br />第2章　SQL、NoSQL与NewSQL　12<br />2.1　SQL系统　12<br />2.1.1　SQL标准的演化　13<br />2.1.2　SQL的方言　14<br />2.1.3　SQL的变种　15<br />2.2　来自NoSQL的挑战　16<br />2.2.1　NoSQL与SQL的区别　17<br />2.2.2　NoSQL的意义　17<br />2.3　NewSQL带来的新希望　18<br />2.4　未来的SQL系统　19<br />2.5　总结　20<br />第3章　面向OLTP的分布式数据库　21<br />3.1　TPS　21<br />3.1.1　TPS与数据库　21<br />3.1.2　TPS的主要特性　22<br />3.2　从传统数据库到分布式数据库　23<br />3.2.1　中间件模式　23<br />3.2.2　 NewSQL　24<br />3.3　总结　25<br />第4章　HTAP数据库　26<br />4.1　HTAP系统　26<br />4.1.1　HTAP系统的挑战　27<br />4.1.2　HTAP系统的优化　28<br />4.2　HTAP的架构模式　28<br />4.2.1　单系统单复制架构　29<br />4.2.2　单系统双复制架构　30<br />4.2.3　共享系统上的松耦合架构　30<br />4.2.4　独立存储的松耦合架构　31<br />4.3　总结　32<br />第5章　分布式数据库面临的核心<br />挑战　33<br />5.1　挑战的来源　33<br />5.1.1　分布式系统带来的挑战　33<br />5.1.2　一致性与分布式事务带来的<br />挑战　36<br />5.2　失败模型　36<br />5.2.1　崩溃失败　37<br />5.2.2　遗漏失败　37<br />5.2.3　拜占庭失败　37<br />5.2.4　处理失败　38<br />5.3　总结　39<br />第6章　数据分片　40<br />6.1　分片原理　40<br />6.2　水平分片　41<br />6.2.1　哈希分片　42<br />6.2.2　范围分片　42<br />6.2.3　其他分片　43<br />6.3　垂直分片　44<br />6.4　调整分片　44<br />6.4.1　手动分片　44<br />6.4.2　自动分片　45<br />6.5　分片案例　45<br />6.5.1　Apache ShardingSphere　45<br />6.5.2　TiDB　47<br />6.6　总结　48<br />第7章　数据复制　49<br />7.1　复制技术的关键特性　49<br />7.1.1　高可用性　49<br />7.1.2　高性能　50<br />7.1.3　容灾与恢复　50<br />7.2　复制范围　51<br />7.2.1　全量复制　51<br />7.2.2　增量复制　51<br />7.3　复制方案　52<br />7.4　复制协议　54<br />7.4.1　主从复制　54<br />7.4.2　选主方案　55<br />7.4.3　多主复制　56<br />7.5　案例：MySQL复制技术的<br />演化　57<br />7.5.1　传统复制　57<br />7.5.2　半同步复制　58<br />7.5.3　增强半同步复制　59<br />7.5.4　组复制　60<br />7.6　总结　61<br />第8章　BASE与CAP　62<br />8.1　BASE概述　62<br />8.2　CAP概述　63<br />8.2.1　CAP的定义　63<br />8.2.2　CAP的注意事项　65<br />8.2.3　CAP的演进　65<br />8.3　CAP权衡　66<br />8.4　总结　67<br />第9章　事务基础　68<br />9.1　并发数据异常　68<br />9.1.1　传统的数据异常　69<br />9.1.2　数据异常研究的新进展　69<br />9.2　ACID　70<br />9.2.1　原子性　70<br />9.2.2　一致性　70<br />9.2.3　隔离性　71<br />9.2.4　持久性　71<br />9.3　隔离级别　71<br />9.3.1　序列化　71<br />9.3.2　数据异常与隔离级别　72<br />9.4　并发控制算法　73<br />9.4.1　锁控制　73<br />9.4.2　时间戳排序　74<br />9.4.3　乐观并发控制　74<br />9.4.4　多版本并发控制　75<br />9.5　单机数据库事务管理器　76<br />9.5.1　页缓存　76<br />9.5.2　日志管理器　77<br />9.5.3　锁管理器　77<br />9.6　数据库如何恢复数据　77<br />9.6.1　提交日志的基础特性　77<br />9.6.2　物理日志（Redo Log）与逻辑<br />日志（Undo Log）　78<br />9.6.3　Steal与Force策略　78<br />9.6.4　ARIES数据恢复算法　78<br />9.7　总结　79<br />第10章　存储引擎基础　80<br />10.1　存储引擎概述　80<br />10.2　物理结构　81<br />10.3　数据的物理组织形式　82<br />10.4　磁盘中的文件　83<br />10.4.1　数据文件　83<br />10.4.2　索引文件　83<br />10.5　分布式索引　84<br />10.5.1　索引数据表　84<br />10.5.2　读写路径　86<br />10.5.3　典型的数据结构　86<br />10.6　面向分布式数据库的存储<br />引擎　88<br />10.7　总结　89<br />第11章　LSM型Key-Value存储　90<br />11.1　LSM树概述　90<br />11.1.1　LSM 树结构特点　91<br />11.1.2　LSM树结构分类　91<br />11.2　查询、更新与删除操作　92<br />11.3　合并操作　93<br />11.3.1　Size-Tiered Compaction　93<br />11.3.2　Leveled Compaction　94<br />11.4　RUM假说与LSM优化　95<br />11.5　总结　96<br />进阶篇<br />第12章　分布式数据库架构　101<br />12.1　广义的数据库架构　101<br />12.1.1　架构模式分类　102<br />12.1.2　单数据库主从模式　103<br />12.1.3　单数据库点对点模式　105<br />12.1.4　多数据库系统模式　106<br />12.2　当代分布式数据库架构设计<br />目标　107<br />12.2.1　高性能　108<br />12.2.2　高可用性　108<br />12.2.3　线性扩展　108<br />12.3　数据库存储架构　109<br />12.3.1　共享存储　109<br />12.3.2　NewSQL　110<br />12.4　总结　111<br />第13章　分布式一致性模型　112<br />13.1　操作顺序一致性　112<br />13.1.1　严格一致性　113<br />13.1.2　线性一致性　113<br />13.1.3　顺序一致性　114<br />13.1.4　因果一致性　116<br />13.2　会话一致性　116<br />13.2.1　写跟随读　117<br />13.2.2　先进先出　117<br />13.3　一致性实现方案　118<br />13.3.1　逻辑时钟　118<br />13.3.2　TrueTime　121<br />13.3.3　共识算法　121<br />13.4　最终一致性　122<br />13.4.1　可调节一致性　122<br />13.4.2　见证者副本　123<br />13.4.3　无冲突复制数据类型　124<br />13.5　事务与一致性　125<br />13.6　总结　126<br />第14章　分布式事务　127<br />14.1　分阶段提交　128<br />14.2　Spanner概述　130<br />14.3　顺序调度型事务　131<br />14.4　Calvin与Spanner的比较　133<br />14.5　动态时间分配　134<br />14.6　客户端事务框架　135<br />14.6.1　Percolator框架　135<br />14.6.2　冲突解决机制　137<br />14.7　前沿事务动态　138<br />14.8　总结　139<br />第15章　失败处理　140<br />15.1　失败检测　141<br />15.1.1　失败检测特性　141<br />15.1.2　心跳检测法　142<br />15.1.3　登记检测法　144<br />15.1.4　间接检测法　144<br />15.2　失败修复　145<br />15.2.1　恰好一次发送　145<br />15.2.2　读修复　146<br />15.2.3　暗示切换　148<br />15.2.4　Merkle树　148<br />15.2.5　位图版本向量　150<br />15.2.6　Gossip协议　151<br />15.3　总结　152<br />第16章　共识算法　153<br />16.1　原子广播　154<br />16.2　Paxos算法　155<br />16.2.1　Multi-Paxos　156<br />16.2.2　Flexible Paxos　157<br />16.3　Paxos与原子广播的对比　158<br />16.4　Raft　159<br />16.5　总结　159<br />第17章　查询引擎　161<br />17.1　典型查询引擎处理流程　162<br />17.1.1　构建查询计划　162<br />17.1.2　优化查询计划　163<br />17.1.3　执行查询　165<br />17.2　分布式查询处理流程　166<br />17.3　数据定位　167<br />17.3.1　过滤操作下推　168<br />17.3.2　连接下推　169<br />17.3.3　投影裁剪　169<br />17.3.4　派生裁剪　169<br />17.4　分布式优化　170<br />17.4.1　代价公式　170<br />17.4.2　消息成本统计　171<br />17.5　分布式执行　172<br />17.5.1　并行度评估　172<br />17.5.2　并行排序　173<br />17.6　总结　173<br />第18章　软硬结合　174<br />18.1　硬件对数据库的支持　174<br />18.2　新型硬件存储技术　175<br />18.3　SSD存储　176<br />18.3.1　数据库组件适配SSD　177<br />18.3.2　NVMe加速SSD　178<br />18.4　FPGA　179<br />18.5　RDMA　180<br />18.6　总结　181<br />扩展篇<br />第19章　数据库中间件　185<br />19.1　生成唯一ID　185<br />19.2　数据分片与分片查询　186<br />19.3　客户端事务处理　188<br />19.4　辅助功能　190<br />19.5　总结　192<br />第20章　SQL类数据库的进化　193<br />20.1　Oracle Sharding　194<br />20.2　开源并行类SQL　195<br />20.3　传统数据库与NewSQL的<br />比较　197<br />20.4　总结　198<br />第21章　分布式数据库选型　199<br />21.1　NewSQL的特点　199<br />21.1.1　新颖的架构　199<br />21.1.2　分片管理　201<br />21.1.3　对SQL的支持　202<br />21.1.4　更易用的事务　203<br />21.2　互联网行业实践经验　203<br />21.3　传统行业实践经验　205<br />21.4　总结　207<br />第22章　特殊用途的分布式数据库　208<br />22.1　云原生数据库　209<br />22.2　HTAP融合数据库　210<br />22.3　内存数据库　211<br />22.4　图数据库　212<br />22.5　时序数据库　212<br />22.6　总结　213<br />第23章　从零开始构建分布式<br />数据库　215<br />23.1　需求分析　215<br />23.2　方案设计　216<br />第24章　LLM赋能分布式数据库智能<br />交互　218<br />24.1　传统Text-to-SQL方法回顾　219<br />24.1.1　基于模板和规则的早期<br />方案　219<br />24.1.2　深度学习时代的Seq2Seq与PLM　219<br />24.1.3　传统方法的难点与瓶颈　220<br />24.2　llm赋能的Text-to-SQL的优势<br />与应用场景　221<br />24.2.1　llm的关键特性　221<br />24.2.2　llm赋能的Text-to-SQL 的<br />优势　222<br />24.2.3　llm赋能的Text-to-sql的<br />典型应用场景　222<br />24.3　llm赋能的 Text-to-SQL的核心<br />技术　223<br />24.3.1　提示工程　223<br />24.3.2　模型微调　225<br />24.4　前沿研究　226<br />24.4.1　新一代数据集与挑战　227<br />24.4.2　多语言/多模态Text-to-<br />SQL　227<br />24.4.3　智能体化趋势　228<br />24.4.4　隐私与安全性挑战　228<br />24.5　总结　229<br />