APACHE KYLIN权威指南(第2版)

本书由Apache Kylin核心开发团队编写，近两年Apache Kylin随着社区持续贡献的热度和在不同领域业务场景的深入实践应用，新的功能和特性不断涌现，这样就迫切需要更新内容来满足广大Apache Kylin 的使用者和关注人群的需要。本书从Apache Kylin的架构和设计，各个模块的使用，与第三方的整合，二次开发以及开源实践等各个方面进行讲解，为各位读者呈现*核心的设计理念和哲学、算法和技术等。

推荐序前  言章  Apache Kylin概述11.1  背景和历史11.2  Apache Kylin的使命31.2.1  为什么要使用Apache Kylin31.2.2  Apache Kylin怎样解决关键问题41.3  Apache Kylin的工作原理51.3.1  维度和度量简介51.3.2  Cube和Cuboid61.3.3  工作原理71.4  Apache Kylin的技术架构71.5  Apache Kylin的主要特点91.5.1  标准SQL接口91.5.2  支持超大数据集101.5.3  亚秒级响应101.5.4  可伸缩性和高吞吐率101.5.5  BI及可视化工具集成111.6  与其他开源产品的比较111.7  小结13第2章  快速入门 142.1  核心概念 142.1.1  数据仓库、OLAP与BI142.1.2  维度建模152.1.3  事实表和维度表162.1.4  维度和度量162.1.5  Cube、Cuboid和Cube Segment162.2  在Hive中准备数据 172.2.1  多维数据模型172.2.2  维度表的设计 172.2.3  Hive表分区 182.2.4  了解维度的基数 182.2.5  样例数据182.3  安装和启动Apache Kylin192.3.1  环境准备192.3.2  必要组件192.3.3  启动Apache Kylin192.4  设计Cube 192.4.1  导入Hive表定义192.4.2  创建数据模型212.4.3  创建Cube232.5  构建Cube 322.5.1  全量构建和增量构建342.5.2  历史数据刷新352.5.3  合并362.6  查询Cube 382.6.1  Apache Kylin查询介绍382.6.2  查询下压402.7  SQL参考 412.8  小结41第3章  Cube优化423.1  Cuboid剪枝优化423.1.1  维度的组合423.1.2  检查Cuboid数量433.1.3  检查Cube大小453.1.4  空间与时间的平衡463.2  剪枝优化工具473.2.1  使用衍生维度473.2.2  聚合组493.2.3  必需维度513.2.4  层级维度513.2.5  联合维度523.3  并发粒度优化543.4  Rowkey优化553.4.1  调整Rowkey顺序553.4.2  选择合适的维度编码563.4.3  按维度分片573.5  Top_N度量优化583.6  Cube Planner优化613.7  其他优化623.7.1  降低度量精度623.7.2  及时清理无用Segment633.8  小结63第4章  增量构建644.1  为什么要增量构建644.2  设计增量Cube664.2.1  设计增量Cube的条件664.2.2  增量Cube的创建674.3  触发增量构建694.3.1  Web GUI触发694.3.2  构建相关的REST API704.4  管理Cube碎片764.4.1  合并Segment764.4.2  自动合并774.4.3  保留Segment794.4.4  数据持续更新794.5  小结80第5章  查询和可视化815.1  Web GUI815.1.1  查询815.1.2  显示结果825.2  REST API845.2.1  查询认证855.2.2  查询请求参数855.2.3  查询返回结果865.3  ODBC875.4  JDBC905.4.1  获得驱动包905.4.2  认证905.4.3  URL格式905.4.4  获取元数据信息915.5  Tableau集成915.5.1  连接Kylin数据源925.5.2  设计数据模型935.5.3  “Live”连接935.5.4  自定义SQL945.5.5  可视化展现945.5.6  发布到Tableau Server955.6  Zeppelin集成955.6.1  Zeppelin架构简介955.6.2  KylinInterpreter的工作原理965.6.3  如何使用Zeppelin访问Kylin965.7  Superset 集成985.7.1  下载Kylinpy985.7.2  安装Superset995.7.3  在Superset中添加Kylin Database1005.7.4  在Superset中添加Kylin Table1005.7.5  在Superset中创建图表1035.7.6  在Superset中通过SQL Lab探索Kylin1055.8  QlikView 集成1065.8.1  连接Kylin数据源1065.8.2  “Direct Query”连接1075.8.3  创建可视化1095.8.4  发布到QlikView Server1105.9  Qlik Sense集成1105.9.1  连接Kylin数据源1105.9.2  “Direct Query”连接1125.9.3  创建可视化1145.9.4  发布到Qlik Sense Hub1155.9.5  在Qlik Sense Hub中连接Kylin数据源1175.10  Redash集成1185.10.1  连接Kylin数据源1185.10.2  新建查询1195.10.3  新建仪表盘1215.11  MicroStrategy 集成1225.11.1  创建数据库实例1235.11.2  导入逻辑表1245.11.3  创建属性、事实和度量1245.11.4  创建报告1245.11.5  MicroStrategy连接Kylin最佳实践1265.12  小结127第6章  Cube Planner及仪表盘1286.1  Cube Planner1286.1.1  为什么要引入Cube Planner1286.1.2  Cube Planner 算法介绍1296.1.3  使用Cube Planner1316.2  System Cube1346.2.1  开启System Cube1346.2.2  构建和更新System Cube1356.3  仪表盘1356.4  小结137第7章  流式构建1387.1  为什么要进行流式构建1397.2  准备流式数据1397.2.1  数据格式1397.2.2  消息队列1407.2.3  创建Schema1417.3  设计流式Cube1447.3.1  创建Model1447.3.2  创建Cube1457.4  流式构建原理1477.5  触发流式构建1507.5.1  单次触发构建1517.5.2  自动化多次触发1527.5.3  初始化构建起点1527.5.4  其他操作1537.5.5  出错处理1537.6  小结154第8章  使用Spark1558.1  为什么要引入Apache Spark1558.2  Spark构建原理1568.3  使用Spark构建Cube1588.3.1  配置Spark引擎1

“麒麟出没，必有祥瑞。”—中国古谚语“与Apache Kylin团队一起合作使Kylin孵化成为很好项目对我而言非常激动人心，Kylin在技术方面当然是振奋人心的，但同样令人兴奋的是Kylin 代表了亚洲国家，特别是中国，在开源社区中越来越高的参与度。”—Ted Dunning  Apache 孵化项目副总裁，MapR 首席应用架构师今天，随着移动互联网、物联网、AI等各种技术的快速兴起，数据成了所有这些技术背后最重要，也是最有价值的“资产”。如何从数据中获得有价值的信息呢？这个问题驱动了相关技术的发展，从最初的基于文件的检索、分析程序，到数据仓库理念的诞生，再到基于数据库的商业智能分析。而现在，我们关注的问题已经变成如何从海量的超大规模数据中快速获取有价值的信息。在新的时代，面对新的挑战，新的技术必然会应运而生。在数据分析领域，大部分的技术都诞生在国外，特别是美国，从最初的数据库，到Hadoop为首的大数据技术，再到今天各种深度学习、AI等。但我国却又拥有世界上独一无二的“大”数据—最多的人口、最多的移动设备、最活跃的应用市场、最复杂的网络环境……面对这些挑战，我们需要有自己的核心技术，特别是在基础领域的突破和研发。今天，以Apache Kylin为首的各种来自中国的先进技术不断涌现，甚至在很多方面都大大超越了来自国外的其他技术，彰显了中国的技术实力。自Hadoop选取大象图标伊始，上百个项目，以动物居之者为多。而其中唯有Apache Kylin（麒麟）来自中国，在众多项目中分外突出。在全球优选的开源基金会—Apache 软件基金会（Apache Software Foundation，ASF）的160多个很好项目中，Apache Kylin是唯一一个来自中国的Apache很好开源项目，与Apache Hadoop、Apache Spark、Apache Kafka、Apache Tomcat、Apache Struts、Apache Maven等很好项目一起以“The Apache Way”构建开源大数据领域的国际社区，发展新技术并拓展生态系统。大数据与传统技术的优选区别就在于数据的体量给查询带来的巨大挑战。从最早使用大数据技术来做批量处理，到现在越来越多的人要求大数据平台也能够如传统数据仓库技术一样支持交互式分析，随着数据量的不断膨胀、数据平民化的不断推进，低延迟、高并发地在Hadoop之上提供标准SQL查询能力成为必须攻破的技术难题。而Apache Kylin的诞生正是基于这个背景，并成功地完成了很多人认为不可能实现的突破。Apache Kylin最初诞生于eBay中国研发中心，该中心坐落于上海浦东新区。2013年9月底该研发中心开始进行POC测试并组建团队，经过一年的艰苦开发和测试，Apache Kylin于2014年9月30日正式上线，并在第二天，2014年10月1日，正式开源。在这个过程中，面对使用何种技术、如何设计架构、如何突破那些看似无法完成的挑战等一系列技术难关，整个开发团队和用户一起经历了一个艰难的过程。今天呈现的Apache Kylin已经经历了上千亿甚至上万亿规模数据量的分析请求及上百家公司在实际生产环境中的检验，成为各个公司大数据分析平台不可替代的重要组成部分。本书将从Apache Kylin的架构和设计、各个模块的使用、与第三方的整合、二次开发以及开源实践等多个方面进行讲解，为读者呈现Apache Kylin最核心的设计理念和哲学、算法和技术等。Apache Kylin社区的发展来之不易，自2014年10月开源至今已经有近五年的时间，从最初的几个研发人员发展到今天几十个贡献者、国内外上百家公司正式使用、连续两年获得InfoWorld Bossie Awards最佳开源大数据工具奖。来自Apache Kylin核心团队、贡献者、用户、导师、基金会等的帮助和无私奉献铸就了今天Apache Kylin活跃的社区，也使得此项技术得以在越来越多的场景下发挥作用。现在，由Apache Kylin核心团队撰写的本书即将出版，相信能更好地将相关的理论、设计、技术、架构等展现给各位朋友，希望能够让更多的朋友更加充分地理解Kylin的优势和适用的场景，更多地挖掘出Kylin的潜力。同时希望本书能够鼓励并吸引更多的人参与到Kylin项目和开源项目中，能够影响更多的人贡献更多的项目和技术到开源世界中。此次《Apache Kylin 权威指南》的再版工作，得到了Kyligence研发团队的大力支持，他们纷纷自愿参与，本书大部分内容的写作是利用节假日和休息时间完成的，每位参与者都将自己在工作中获得的最佳实践经验总结到了这本书中，他们分别是：史少锋、陈志雄、冯礼、翟娜、汤雪、赵勇杰、周浥尘、龙超、宗正、孙宇婕、周丁倩、李森辉等。在此对他们表示诚挚的感谢！韩卿Apache Kylin联合创建者及项目委员会主席2019年5月推荐序大概三年前，我在探索融合大数据平台演进路线的时候，接触到Apache Kylin这个开源大数据分析产品，并认识了几位Kylin核心团队的工程师。作为在企业级数据领域工作了10多年的“老兵”，在完成POC测试并拜读了《Apache Kylin权威指南》(版)之后，我特别感动于这本书所映射出来的精神。在互联网金融极速燃烧的年代，居然有这么一群人坚守企业级数据分析阵地，致力于拯救陷入数据泥潭的劳苦大众。这种精神一定来源于Kylin的初衷—Unleash Big Data Productivity，我个人非常认同，并愿意共同传播Kylin的这种精神。2018年9月12日，我和Apache Kylin社区管理委员会（PMC）主席韩卿（Luke Han）相约，在纽约Strata AI大会上分享了对智能数据仓库未来的畅想。这次和国外数据界的交流碰撞，让我意识到，我们不但要设想未来在哪里，更要帮助期望数据分析生态落地的企业找到一条能够从数据仓库升级到数据湖再进化到智能数据平台的路。当然，我们也知道，要让路好走，铺路的人要付出更多的艰辛努力。在这之后，Luke时常与我讨论，如何应对企业级数据市场的各种艰辛。后来有一天，Luke邀请我为《Apache Kylin权威指南》（第2版）写推荐序，我便毫不犹豫地答应了。因为我知道这本书的升级，不只是技术的升级，更是技术背后的理念愿景和能力的升级。关于此书，我想告诉大家的是，读完章，我们将了解设计数据仓库解决方案的初衷，从而有意愿从Kylin开始新的探索；读完第2～13章，通过应用原理，我们将有机会改变一个企业级数据分析生态；读完4章和5章，如果还有机会在企业内部进行实践的话，我们将有可能改变一个企业乃至一个行业。当然，对于本书，我们也不必循规蹈矩地按顺序读下来，可以按照自己的需要选择内容阅读。面对未来竞争的每一个企业，表面上拼的是业务场景下对科技的理解和综合应用。实际上，最终比拼的还是人对业务场景和科技综合应用的驾驭能力。最后，我衷心希望，读者通过阅读本书能够获得驾驭企业级大数据的能力，成为企业所需要的技术人才，而本书的作者也会因为读者的成功而获得更大的成功。朱志建信金融科技 架构技术总监