数据网格实战

在本书中，本书作者聚焦于数据网格的关键组成部分，并结合代码提供了实用建议。数据工程师、架构师和分析师将探索一套简单直观的流程，用于识别关键的数据网格组件和数据产品。你将学习一整套统一的接口和访问方法，让数据产品的使用变得轻松便捷。这种方法能确保你的数据产品易于获取，且数据网格生态系统易于操作。本书将帮助你：识别、定义并构建可在企业数据网格中互操作的数据产品。构建将数据产品连接在一起的数据网格架构。在数据网格中构建并部署数据产品。建立用于运营数据产品、数据平台和数据架构的组织结构。了解一种将数据产品和数据架构整合到数据网格中的创新架构。

Jean-Georges Perrin是AbeaData公司的首席创新官，专注于打造创新且现代化的数据工具。他被誉为“终身IBM冠军”，同时担任Linux基金会Bitol项目的主席。Eric Broda在金融服务领域拥有三十多年从业经验，曾在大型银行、保险公司和支付公司担任技术高管，也为这些机构提供咨询服务。

目录
序 1
前言 5
第一部分 基础
第1 章 理解数据网格：基本要素 15
1.1 让数据具备敏捷性 16
1.2 局部自治 + 速度 = 敏捷性 17
1.3 解决当今的数据挑战 18
1.3.1 消除数据孤岛 18
1.3.2 向更高质量的数据转变 19
1.3.3 变革数据治理 20
1.4 数据的数量、种类和可变性 22
1.5 将原则转化为实践 23
1.6 总结 .26
第2 章 应用数据网格原则 .27
2.1 数据网格原则 .28
2.1.1 数据即产品 29
2.1.2 去中心化的域所有权.29
2.1.3 自助式数据平台 29
2.1.4 联邦计算治理 30
2.2 定义“优秀”的数据产品 31
2.2.1 定义符合原则的数据产品 31
2.2.2 定义符合FAIR 原则的数据产品 .32
2.2.3 定义企业级数据产品.33
2.2.4 定义有价值的数据产品 35
2.2.5 定义平衡的数据产品.36
2.2.6 定义现代数据产品—— 不仅仅是“常规”数据 .36
2.2.7 定义实用的数据产品生命周期 .39
2.2.8 定义实用的数据网格路线图 .42
2.2.9 “优秀”的数据产品拥有被授权的数据产品所有者 44
2.3 识别数据产品 .45
2.4 总结 .46
第3 章 案例研究：Climate Quantum 公司 .49
3.1 让气候数据更易于查找、使用、共享和信任 .51
3.2 介绍Climate Quantum 公司 52
3.3 Climate Quantum 数据格局 .55
3.4 将Climate Quantum 公司应用于你的企业 58
3.5 总结 .59
第二部分 设计与部署数据网格
第4 章 定义数据网格架构 .63
4.1 数据产品架构 .63
4.1.1 数据产品构件 64
4.1.2 开发架构组件 67
4.1.3 运行时架构组件 70
4.1.4 运营架构组件 74
4.2 数据网格架构 .78
4.2.1 数据网格市场平台和注册表 .79
4.2.2 数据网格骨干服务 .79
4.3 Climate Quantum 用例考虑 .80
4.4 总结 .82
第5 章 通过数据契约驱动数据产品 83
5.1 信任创造价值 .83
5.2 解析数据契约 .85
5.2.1 理论基础 .85
5.2.2 信息架构 .85
5.2.3 一切都在于恰当的版本管理 .87
5.2.4 保持简洁且符合语义.87
5.2.5 实例解析：补充部落知识 89
5.3 什么是数据服务质量（Data QoS）？为何它至关重要 93
5.3.1 表示方式 .94
5.3.2 为何重要 .96
5.3.3 为何仅数据质量不够.97
5.3.4 服务级别完善质量维度 .100
5.4 数据QoS 在数据合约中的应用 103
5.4.1 测量值合规性检查 105
5.4.2 完整性检查 .106
5.4.3 准确性保障 .107
5.4.4 服务级别约定 .108
5.5 总结 108
第6 章 构建你的第一个数据产品 111
6.1 数据产品的解剖结构 111
6.2 数据契约的救援作用 115
6.3 连接数据源 117
6.4 通过可观测性确保更高数据质量 118
6.5 实现更快数据发现 .120
6.6 实现可操作性与控制 121
6.7 构建与封装 122
6.8 总结 122
第7 章 与体验平面对齐 125
7.1 三大平面.125
7.1.1 基础设施平面仍是核心 .126
7.1.2 数据产品体验平面具有独立性 127
7.1.3 网格体验平面实现协同效应 128
7.2 为每个平面构建能力模型 .130
7.2.1 基础设施体验平面的能力 130
7.2.2 数据产品体验平面的能力 132
7.2.3 网格体验平面的能力133
7.3 通过反馈循环收集关键指标 .135
7.4 总结 138
第8 章 网格化你的数据 141
8.1 注册数据产品 142
8.2 在数据网格中连接产品 144
8.2.1 数据产品的网状连接144
8.2.2 描述数据血缘 .147
8.2.3 通过网格进行通知 149
8.3 总结 150
第三部分 生成式人工智能、团队、运营模式与
数据网格路线图
第9 章 运行和操作你的数据网格 . 155
9.1 使数据产品可发现、可观测且安全155
9.1.1 数据产品发现接口 156
9.1.2 数据产品可观测性接口 .157
9.1.3 数据产品控制接口 161
9.1.4 数据产品安全 .162
9.2 Climate Quantum 用例考量 165
9.3 迈向动态数据产品 .166
9.4 动态数据产品的力量 167
9.5 总结 167
第10 章 创建数据网格市场 169
10.1 传统数据目录的挑战 .169
10.2 数据网格市场 171
10.3 通向数据网格的窗口 .172
10.4 消费者用户旅程 175
10.5 生产者用户旅程 177
10.6 数据产品自助发布 178
10.7 可发现性的力量 179
10.8 启动你的市场 182
10.9 Climate Quantum 的数据网格市场 .183
10.10 总结 .186
第11 章 建立数据网格治理 187
11.1 数据治理 187
11.2 数据产品认证 188
11.3 联邦数据产品认证 190
11.4 实施数据产品认证 192
11.5 数据合同与认证 193
11.6 Climate Quantum 的认证方法 195
11.7 总结 196
第12 章 理解数据产品供应链 197
12.1 现代制造业供应链 197
12.2 现代软件工厂 199
12.3 数据产品工厂 199
12.4 数据产品供应链 201
12.5 Climate Quantum 的数据产品供应链 202
12.6 总结 203
第13 章 集成数据网格与生成式AI . 205
13.1 生成式AI 背景 .205
13.1.1 大型语言模型 206
13.1.2 嵌入 207
13.1.3 向量数据库207
13.1.4 提示词 .208
13.1.5 挑战 208
13.2 数据网格与生成式AI 209
13.2.1 利用生成式AI 提高数据质量 .209
13.2.2 将模型提升为主要工件 210
13.2.3 在数据产品内部消费模型 . 211
13.2.4 生成数据产品代码 212
13.2.5 补充数据产品能力 213
13.3 Climate Quantum 与生成式AI .213
13.3.1 简化气候数据搜索 214
13.3.2 分析和总结气候数据 215
13.3.3 创建披露报告 215
13.3.4 生成代码以简化气候数据处理 215
13.4 总结 216
第14 章 建立数据网格团队 217
14.1 数据网格中的团队拓扑结构 217
14.1.1 数据产品团队 218
14.1.2 平台团队 223
14.1.3 赋能团队 224
14.2 Climate Quantum 团队 225
14.3 总结 226
第15 章 定义数据网格操作模型 227
15.1 操作模型的特征 227
15.2 操作模型连续体 228
15.2.1 集中式组织228
15.2.2 矩阵式组织229
15.2.3 联邦式组织230
15.2.4 分布式组织230
15.3 数据网格操作模型 231
15.4 数据网格成熟度模型 .233
15.5 Climate Quantum 的数据网格操作模型 236
15.6 总结 237
第16 章 制定实用的数据网格路线图 239
16.1 路线图结构 .240
16.1.1 战略和路线图流 .240
16.1.2 技术流 .244
16.1.3 工厂流 .247
16.1.4 操作模型流250
16.1.5 社会化流 252
16.1.6 部署流 .254
16.2 Climate Quantum 的数据网格路线图 256
16.3 总结 257