SPARK大数据技术基础与应用(SCALA+PYTHON版)(普通高等教育数据科学与大数据技术专业教

本书以Scala和Python两种编程语言为工具详细介绍了Spark的功能和技术，讲解了Scala和Python的语言基础；深入探讨了Spark的系统原理、系统架构和运行机理，并提供了详细的安装指南；在数据处理方面详细介绍了Spark的RDD编程、结构化数据处理和流数据处理；涉及Spark在机器学习和图计算领域的应用，包括ML库的使用、机器学习流水线的构建、GraphX和GraphFrames的图计算操作；通过丰富的编程实例帮助读者深入理解Spark在大数据处理中的应用。

本书面向应用型本科高校数据科学与大数据技术专业的Spark相关课程教学，也可用于职业院校相应课程的教学，还可作为大数据行业从业人员及大数据技术爱好者的学习用书。

前言

第1章语言基础

1.1Scala的安装与运行

1.1.1Scala的下载与安装

1.1.2Scala的编程环境配置

1.2Scala的语法基础

1.2.1Scala的常量与变量

1.2.2Scala的运算符和程序控制结构

1.3Scala的集合类型

1.3.1数组

1.3.2元组

1.3.3集合

1.3.4列表

1.3.5映射

1.4Scala的函数和函数式编程

1.4.1Scala的函数定义和调用

1.4.2Scala的高级函数

1.5Scala类与模式匹配

1.5.1Scala类

1.5.2单例类

1.5.3模式匹配

1.6Python的匿名函数、闭包和装饰器

1.6.1Python的匿名函数

1.6.2Python的闭包

1.6.3Python的装饰器

实验

习题

课程思政案例

第2章Spark系统原理

2.1Spark概述

2.1.1Spark的定义和起源

2.1.2Spark的主要特点和优势

2.1.3Spark与其他大数据处理工具的比较

2.2Spark系统架构和运行机理

2.2.1Spark的整体架构概览

2.2.2Spark集群的核心组件和运行模式

2.2.3Spark集群的运行机理和作业执行流程

2.3Spark系统安装

2.3.1安装前的准备工作

2.3.2安装Spark的步骤和指南

……