从程序员到架构师：大数据技术金融级全场景应用实战

- 金融级别大数据技术应用，全场景、全技术
- 在架构师的业务场景讲述中，体会实际技术需求、难点与应用，技术学习更高效
- 14个业务场景，图文并茂，教你技术如何选、如何用

本书以功能更广更深、可靠性和安全性要求更高的金融级大数据平台为参照,介绍大数据平台的架构过程及各种大数据技术,不仅包含数据采集、数据集成、作业调度、数据加工、实时数据仓库、数据服务、数据可视化、数据挖掘等常见的应用场景,还加入了数据质量、数据安全、三态投产等广受关注的内容.本书以业务场景、技术选型、技术架构对主要章节进行划分,让读者在理解大数据业务需求的基础上,了解各种大数据技术,并能够选取合适的技术来构建大数据平台.

前言
第1部分 概述及数据处理
第1章 金融大数据应用概述/
1.1 金融大数据技术发展历程/
1.2 大数据技术分类/
1.3 金融大数据技术应用场景/
第2章 数据采集/
2.1 数据采集业务场景/
2.2 存储到HDFS的采集技术方案/
2.2.1 前端渠道用户行为数据采集/
2.2.2 服务端应用层数据采集/
2.2.3 数据库层的采集/
2.2.4 基于HDFS的数据采集整体架构/
2.3 T+0的采集技术方案/
2.3.1 T+0采集架构与基于HDFS的采集架构的不同点/
2.3.2 T+0采集架构在前端、后端以及数据库端的设计/
2.3.3 T+0数据采集整体架构/
2.4 全域数据实时采集的技术挑战/
2.5 实现全域数据实时采集的技术思路/
2.5.1 数据库数据实时采集/
2.5.2 基于Flink的采集平台和采集类型算子化/
2.5.3 如何保证实时采集链路数据的一致性/
2.6 全域数据实时采集的整体技术方案/
2.6.1 数据源层/
2.6.2 数据采集层/
2.6.3 数据存储层/
2.6.4 如何选择合适的采集模式/
2.7 本章小结/
第3章 数据离线处理/
3.1 数据离线处理业务场景/
3.2 数据离线处理架构的主要难点/
3.2.1 数据传输标准/
3.2.2 可以快速自由组合大数据处理动作的架构/
3.2.3 数据离线处理的整体技术架构/
3.2.4 数据离线处理各环节的技术要点/
3.3 企业级数据传输标准/
3.3.1 标准文件定义/
3.3.2 模型演进下的数据传输标准/
3.4 快速自由组合大数据作业流的架构要点/
3.4.1 大数据离线处理作业开发流程/
3.4.2 大数据离线处理作业开发流程技术要点/
3.5 数据离线处理整体架构要点/
3.5.1 大数据开发人员是写代码还是写SQL语句/
3.5.2 是否使用单一的计算引擎/
3.5.3 如何解决事务的场景问题/
3.5.4 整体架构/
3.6 离线处理动作实现要点/
3.6.1 数据卸载/
3.6.2 数据传输/
3.6.3 数据预处理/
3.6.4 数据加载/
3.6.5 数据加工/
3.6.6 数据复制/
3.7 本章小结/
第4章 流式数据处理/
4.1 流式数据处理业务场景/
4.2 流式数据处理简介/
4.2.1 什么是流式处理/
4.2.2 流计算和实时计算有什么区别/
4.2.3 流处理引擎/
4.2.4 引擎选型思路/
4.3 整体方案/
4.4 方案难点和解决思路/
4.4.1 如何处理延迟与乱序数据/
4.4.2 如何实现维表关联/
4.4.3 计算结果存在哪里/
4.4.4 如何保证数据一致性/
4.5 运维注意事项/
4.5.1 监控哪些指标/
4.5.2 优化并行度/
4.5.3 做好数据补偿的准备/
4.6 本章小结/
第2部分 数据使用
第5章 数据服务/
5.1 数据服务业务场景/
5.1.1 构建联机同步数据服务的案例/
5.1.2 案例扩展/
5.1.3 数据服务的需求/
5.2 规划的功能架构/
5.3 建设思路/
5.3.1 服务访问代理层/
5.3.2 网关层/
5.3.3 服务管理层/
5.3.4 数据服务/
5.3.5 数据访问代理（查询引擎）/
5.4 整体架构和时序图示例/
5.4.1 整体架构/
5.4.2 时序图示例/
5.4.3 注意事项/
5.5 本章小结/
第6章 数据加速/
6.1 数据加速业务场景/
6.2 技术选型/
6.2.1 选型维度介绍/
6.2.2 ClickHouse、Kylin、Elasticsearch和Doris的对比/
6.2.3 ClickHouse和Doris的对比/
6.2.4 ClickHouse和Kylin的对比/
6.2.5 选型结论/
6.3 整体架构介绍/
6.3.1 功能架构介绍/
6.3.2 业务流程介绍/
6.4 基于ClickHouse的实战介绍/
6.4.1 基于ClickHouse的数据链路/
6.4.2 ClickHouse部署架构/
6.4.3 部署规划/
6.4.4 配置经验/
6.5 基于Kylin的实战介绍/
6.5.1 基于Kylin的数据链路/
6.5.2 配置经验/
6.6 本章小结/
第3部分 数据治理
第7章 元数据管理/
7.1 元数据管理的业务背景/
7.1.1 元数据管理的目标/
7.1.2 元数据管理的功能需求/
7.2 详细设计思路和实现方案/
7.2.1 元数据模型/
7.2.2 元数据存储/
7.2.3 元数据采集与登记/
7.2.4 元数据设计与发布/
7.2.5 数据权限管理/
7.2.6 元数据应用/
7.3 整体技术架构介绍/
7.4 本章小结/
第8章 数据安全管理/
8.1 数据安全管理业务背景/
8.1.1 需求讨论/
8.1.2 数据安全流程/
8.2 识别和脱敏的技术难点/
8.2.1 如何快速扫描和识别成千上万张表/
8.2.2 如何即时解析用户的SQL语句获取查询的表字段/
8.2.3 如何保存识别出来的数据保密等级/
8.3 识别大量数据/
8.3.1 识别数据的主要步骤和思路/
8.3.2 自动识别的技术方案/
8.4 动态脱敏的技术方案/
8.4.1 动态脱敏的主要流程/
8.4.2 使用Calcite解析SQL/
8.4.3 动态脱敏接口设计/
8.5 用MySQL保存识别出来的数据保密等级/
8.6 本章小结/
第9章 数据质量管理/
9.1 数据质量管理业务背景/
9.2 技术语言业务化/
9.2.1 完善数据字典/
9.2.2 元数据信息可视化/
9.2.3 检核规则模板化/
9.3 数据技术检核任务的自动化生成/
9.3.1 技术检核的难点/
9.3.2 技术检核任务的自动化/
9.4 大数据文件的检核/
9.4.1 检核数据方法/
9.4.2 大文件快速检核技术实现方案/
9.4.3 方案的权衡点/
9.5 端到端的架构/
9.6 本章小结/
第4部分 数据部署与运维
第10章 大数据作业调度/
10.1 作业调度的技术难点/
10.1.1 架构设计/
10.1.2 作业编排/
10.1.3 资源管理/
10.1.4 作业监控运维/
10.1.5 非功能要求/
10.2 作业调度整体架构/
10.2.1 经典两层作业调度架构/
10.2.2 早期分布式作业调度架构/
10.2.3 基于MQ/Redis的分布式作业调度架构/
10.3 作业排程/
10.3.1 作业排程的主要步骤和思路/
10.3.2 基于Redis的智能化作业排程方案/
10.4 作业资源管理/
10.5 调度运维服务/
10.5.1 作业影响性分析/
10.5.2 故障诊断/
10.6 调度非功能设计/
10.6.1 性能/
10.6.2 可靠性/
10.7 业务使用效果及局限性总结/
10.8 作业调度发展趋势与未来规划/
10.9 本章小结/
第11章 大数据计算资源管理/
11.1 大数据计算资源管理业务场景/
11.1.1 资源管理业务背景/
11.1.2 资源类型/
11.1.3 大数据平台资源规划/
11.1.4 跨AZ资源管理/
11.1.5 资源使用监控/
11.2 资源管理技术实现思路/
11.2.1 资源管理技术实现简介/
11.2.2 基于Kubernetes的资源管理实现/
11.2.3 基于YARN的Hadoop资源管理实现/
11.3 资源管理解决方案设计/
11.3.1 资源管理整体流程/
11.3.2 资源管理整体实现架构/
11.3.3 资源管理中灵活资源配置场景介绍/
11.4 资源管理设计不足探讨/
11.5 本章小结/
第12章 三态投产/
12.1 三态投产业务场景/
12.1.1 大数据三态/
12.1.2 常规软件投产/
12.1.3 自研投产部署方案的技术难点/
12.2 解决思路/
12.2.1 要在三态中投产的大数据应用内容/
12.2.2 导入导出的范围控制/
12.2.3 导入导出的性能问题/
12.2.4 制品和平台及其组件版本的兼容性/
12.2.5 制品的数据完整性/
12.3 整体方案介绍/
12.3.1 整体架构/
12.3.2 方案要点/
12.4 本章小结/
第5部分 综合应用场景
第13章 流批一体/
13.1 流批一体业务背景/
13.2 流批一体初步架构/
13.2.1 场景问题解决思路/
13.2.2 架构方案/
13.2.3 Lambda架构/
13.2.4 存在的问题/
13.3 流批同写一张表的架构/
13.3.1 什么是流批同写一张表/
13.3.2 技术选型/
13.3.3 Hudi原理介绍/
13.3.4 架构方案/
13.3.5 要点和技术难点/
13.3.6 待解决的问题/
13.3.7 使用效果/
13.4 处理层面的流批一体/
13.4.1 技术选型/
13.4.2 流批处理一体架构方案/
13.4.3 关于Kappa架构/
13.5 选择什么样的流批一体架构方案/
13.5.1 3种流批一体架构方案对比/
13.5.2 流批一体是否会取代流处理或批处理/
13.6 本章小结/
第14章 数据湖应用/
14.1 什么是数据湖/
14.2 为什么要建设数据湖/
14.3 数据湖的规划设计/
14.3.1 数据湖和数据仓库的区别与关系/
14.3.2 数据湖架构规划/
14.4 数据湖的技术选型/
14.4.1 数据获取/
14.4.2 数据存储/
14.4.3 数据处理/
14.4.4 访问分析/
14.4.5 数据管理/
14.5 数据湖的整体架构/
14.5.1 技术架构/
14.5.2 数据链路介绍/
14.6 数据湖建设中的问题/
14.7 本章小结/
第15章 建设自主可控的信创大数据平台/
15.1 建设大数据平台的业务背景/
15.1.1 为什么要建设大数据平台/
15.1.2 建设大数据平台的架构需求/
15.1.3 待解决的架构问题/
15.2 组件划分及设计/
15.2.1 组件划分/
15.2.2 各组件设计思路/
15.2.3 组件间协同/
15.3 信创适配/
15.3.1 什么是信创/
15.3.2 信创环境适配常见问题/
15.3.3 适配工作/
15.4 整体架构/
15.5 本章小结/
第16章 大数据发展趋势与未来规划/
16.1 大数据领域新技术的发展/
16.1.1 新型数据存储与计算架构/
16.1.2 实时数据处理技术/
16.1.3 数据治理和安全隐私保护技术/
16.2 大数据与其他技术领域的融合发展/
16.2.1 大数据技术领域内部融合/
16.2.2 大数据与人工智能技术/
16.2.3 大数据与物联网技术/
16.2.4 大数据与云原生技术/
16.3 技术人员的应对措施/
16.3.1 创新思维和跨界思维/
16.3.2 持续学习的态度/
16.3.3 关注技术的业务价值而不是技术本身/
16.4 大数据开发中的几个误区/
16.4.1 重“技术”不重“业务”/
16.4.2 重“继承”不重“创新”/
16.4.3 重“功能”不重“非功能”/
16.4.4 技术上重“深度”不重“广度”/
后记/