机器学习实战:基于SOPHON平台的机器学习理论与实践

丛书前言大数据和人工智能作为新一轮产业变革的核心力量，将全面释放科技革命和产业变革积蓄的能量，对于打造新动力具有重要意义。2019年政府工作报告中也进一步提出“要深化大数据、人工智能等研发应用”，这进一步奠定了大数据和人工智能成为当前经济发展的新引擎的地位。很显然，推动大数据和人工智能的发展需要足够多的各类人才的支撑，人才的质量和数量决定着我国大数据和人工智能发展的水平和潜力。教育部自2016年起陆续增设“数据科学与大数据技术”“大数据管理与应用”两个本科专业，以及“大数据技术与应用”“商务数据分析与应用”两个专科高职专业，指导和鼓励靠前各高校开设大数据专业，并于2018年印发《高等学校人工智能创新行动计划》，鼓励有条件的高校加强人工智能领域创新人才的培养。截至目前，已有数百所高校获批开设大数据和人工智能相关专业。我们认为，当前大部分大数据和人工智能的人才培养都应该紧贴行业和面向实际应用。从这个意义上说，主要依靠学校力量可能并不能接近满足多样化人才培养的需求。事实上，从大数据和人工智能整个生态来看，尤其在一些相对高端的应用领域，工业界往往走得较快，相应地，相当一部分教育机构则处在追赶的状态。其次，因为广受业界关注，大数据和人工智能相关领域的方法、技术和工具众多，同时也在快速演变，这无疑会让很多应用型初学者无所适从。从这个意义上说，有必要删繁就简，突出主干。很后，我们注意到，不管是大数据技术还是人工智能技术，在整个信息化的体系当中，都不能孤立存在。比如，当前很多大数据和人工智能厂商都逐渐开始将产品放到云端，逐渐推出一些云服务，我们称之为大数据的3.0时代。为了支撑逐渐云化的大数据或者人工智能，技术栈中优选也应该包含DevOps方法、Kubernetes容器管理引擎等内容。鉴于此，我们规划了“工业和信息化领域急需紧缺人才（大数据和人工智能）培养工程”系列教材，按照三个层次来组织大数据和人工智能相关内容。层次主要目标是打基础，因此，主要提供导论性质的基础课程，建设三本教材，即《大数据导论》和《大数据导论实验》以及对应机器学习的《机器学习：基本模型和算法》。第二层次主要目标是从技术视角提供当前大数据和人工智能相关技术的深入介绍。建设五本教材，内容涉及事务型数据库、分析型数据库、非关系数据库、实时流处理以及机器学习等。第三层次主要目标是从行业视角提供具体领域的大数据和人工智能应用案例详解，目前规划建设两本教材，分别是《能源领域大数据和人工智能应用详解》和《金融领域大数据和人工智能应用详解》。本丛书的主要特点如下：q面向工业界应用型人才培养的需求来规划教材内容  不管是丛书顾问团队还是编写人员，我们都优先考虑以一线从业人员为主，试图尽优选可能还原大数据和人工智能应用场景中的各类实际问题，并以问题驱动的方式来组织教材的大部分内容。便于读者加深对于大数据和人工智能相关技术和方法及其在实际业务场景中的应用的理解。q依托现有生态，删繁就简的同时围绕大数据和人工智能主题  系统化组织教材内容。星环公司作为靠前大数据和人工智能另一产品很丰富的供应商之一（2019信通院大数据产品能力评测），在大数据和人工智能的技术应用、培训、竞赛组织、研究与开发等环境经验丰富，同时形成了闭环以及自有生态。首先，从实践中抽取和提炼问题以及解决问题的经验，形成教材的主要内容，同时也为培训和竞赛组织提供素材。其次，教材可以辅助培训和竞赛的开展，同时，培训和竞赛的组织也为完善教材提供必要的反馈。很后，实践中面临着大量实际问题，则为完善和增强产品提供了研究课题；反之，研究成果也会反哺产品线，更好地服务客户。因此，本系列教材在内容选择，尤其是技术路线选择中，依托了星环公司产品线作为技术主干，同时适当兼顾其他广受好评的一些开源工具和相关技术。q按照大数据3.0的要求来规划内容  我们认为，未来大数据和人工智能产品往云端逐步迁移是不可避免的趋势，因此，适当引入云计算、DevOps以及容器技术等内容是很好有必要的。本丛书面向多层次的读者，既可以作为高校大数据相关专业的教材，也可以作为一般社会培训教材。特别是，我们联合工信部中国信息通信研究院中国人工智能产业发展联盟、数据中心联盟共同建立大数据人才发展中心，进行大数据人才的培养认证工作，因此，本系列丛书也可以作为“工业和信息化领域急需紧缺人才培养工程”中大数据和人工智能方向的培训教材。

丛书编委会“工业和信息化领域急需紧缺人才（大数据和人工智能）培养工程”系列丛书编委组成如下：q顾问团队（按姓氏拼音排序）郭正彪  博士  长江证券互联网金融总部数据总监刘  速  博士  中国石油规划总院信息技术专家、信息中心数据分析技术部经理李秀生  四川新网银行股份有限公司CIO李昱见  郑州地铁集团有限公司信息管理部副部长李  喆  武汉农村商业银行信息科技部总经理邵  栋  副教授  南京大学软件学院副院长孙建军  教授  南京大学信息管理学院院长孙煜华  中国南方电网广州供电局不错信息技术专家孙元浩  星环信息科技（上海）有限公司创始人兼CEO王浩学  博士  河南省信息产业投资集团信息中心CTO王新民  北京大学大数据分析与应用技术国家工程实验室研究员王志军  联通公司信息化部副总经理、中国计算机学会大数据专家委员会委员夏  永  湖北省农村信用社联合社数据中心总经理张平文  中国科学院院士  北京大学数学科学学院教授q执行主编荣国平q编委委员（按姓氏拼音排序）代克  范颖捷  何铁科  李传艺  林晨  刘汪根  吕程  孙乐飞  徐杰  杨俊杨一帆  张贺  周洪明  朱珺辰  等

丛书前言丛书编委会前言章  机器学习导论11.1  什么是机器学习11.1.1  机器学习的背景11.1.2  机器学习的定义21.1.3  机器学习的任务类型31.1.4  构建机器学习应用的步骤51.2  开发机器学习工作流的方式71.2.1  数据导入71.2.2  流程搭建9第2章  数据预处理与特征工程132.1  特征提取132.1.1  探索性数据分析142.1.2  数值特征182.1.3  类别特征222.1.4  时间特征242.1.5  文本特征242.1.6  过滤方法262.1.7  封装方法292.1.8  嵌入方法302.1.9  自动特征工程312.2  交互式数据预处理312.3  本章小结32第3章  回归模型353.1  回归任务概述353.2  回归算法原理363.2.1  线性回归363.2.2  决策树回归383.2.3  生存回归413.3  Sophon案例423.4  本章小结45第4章  分类模型474.1  分类任务概述474.2  分类算法原理484.2.1  逻辑回归484.2.2  因子分解机514.2.3  XGBoost524.3  使用Sophon建立分类模型524.3.1  场景介绍524.3.2  建模过程544.3.3  结果分析564.4  本章小结61第5章  模型融合635.1  集成学习理论635.1.1  集成学习基本概念635.1.2  个体学习器635.1.3  基学习器集成645.1.4  常用的集成学习方法655.2  常用融合方法705.2.1  平均法705.2.2  学习法705.3  使用Sophon进行模型融合715.3.1  场景与数据集介绍715.3.2  建模过程715.3.3  结果分析745.4  本章小结75第6章  聚类模型776.1  聚类任务概述776.2  聚类算法原理786.2.1  K-Means786.2.2  模糊C均值796.2.3  Canopy816.2.4  高斯混合836.3  聚类模型实例856.3.1  场景介绍856.3.2  建模过程876.3.3  结果分析916.4  本章小结91第7章  图计算937.1  背景和问题描述937.2  常用算法介绍957.2.1  PageRank957.2.2  标签传播977.2.3  中心性检测987.2.4  图嵌入997.3  落地案例1027.3.1  场景介绍1027.3.2  建模过程1037.3.3  结果分析1077.4  本章小结109第8章  自动机器学习1118.1  场景介绍1118.2  自动特征工程1138.2.1  自动多表特征扩展1148.2.2  自动特征构建1228.3  建模过程1278.4  结果分析1298.5  真实测试案例1358.5.1  数据集1358.5.2  前置设置1368.5.3  测试结果分析1378.5.4  Abalone和Airfoil Self-Noise数据集的增强测试1388.5.5  结论1398.6  本章小结140第9章  自然语言处理1419.1  自然语言处理算法原理1419.1.1  词向量1419.1.2  序列标注1439.1.3  关键词抽取1479.1.4  文本自动摘要1489.1.5  文本情感分析1529.2  使用Sophon建立自然语言处理模型1549.2.1  场景介绍1549.2.2  建模流程1549.2.3  模型评估1559.3  落地案例1569.4  本章小结1590章  计算机视觉16110.1  计算机视觉概述16110.2  计算机视觉算法原理16110.2.1  图像分类16110.2.2  目标检测16310.3  计算机视觉模型示例16610.3.1  图像预处理16610.3.2  图像分类算法建模16610.3.3  目标检测算法建模16910.4  落地案例17110.5  本章小结173附录A  企业级人工智能应用平台Sophon175参考文献206

P R E F A C E前    言人工智能技术的快速发展，带来了技术平台和行业应用的繁荣，从Caffe、CNTK、CoreML到TensorFlow、TensorRT，从CPU、GPU到TPU、FPGA、ARM，从图形处理、视觉识别到自然语言处理，技术体系越来越复杂，开发门槛越来越高；大量的技术人员需要不断授受技术更新，更多的应用需要考虑额外的迁移成本，更多的市场需要投入大量的资源以充分体现人工智能赋予的价值。目前产业界开始出现少量技术使用门槛低、应用开发方便的机器学习平台（Machine Learning Platform，MLP）或者数据科学平台（Data Science Platform， DSP），但这些平台大部分还局限在特定行业的有限算法应用，需要不断进行架构优化、模型扩展和算法增强，提供多种场景下的应用迁移工具，才能形成较为成熟的产品化平台。星环科技作为国内大数据和人工智能平台的领航者，自2013年成立以来，专注于企业级容器云计算、大数据和机器学习核心平台的研发和服务，拥有一批来自国内外著名高科技企业和科研院校的优秀专业人才，是国内大数据领域最早掌握核心技术的企业，也是最早开展机器学习平台理论与实践的公司之一，产品在政府、金融、公安等行业得到大规模应用。星环科技人工智能平台Sophon是从大数据到人工智能演进过程中诞生的一款创新性机器学习技术平台。用户可以基于该平台快速完成从特征工程、模型训练到模型上线的机器学习全生命周期开发工作。Sophon平台具有以下技术特点：q采用去中心化的全分布式架构、性能线性扩展，满足海量数据处理模式下的快速训练和精准推理要求。q一站式的机器学习集成开发平台，支持自动化开发、图形化操作及可视化建模，可快速构建行业应用解决方案。q支持多种复杂算法，支持自定义模型和算法导入，可适应多种特定应用场景的复杂建模和模型迁移要求。q集成大量面向行业领域的分析工具，如实体画像、视频分析、自然语言处理等，便于第三方应用快速定制开发。q支持深度学习的知识图谱，能够便捷实现含图结构的应用建模，支持实体间多关系图的分析展示和演进变化，发现更有价值的图谱关系。随着使用机器学习平台的用户越来越多，应用场景日益广泛，非常需要一本关于机器学习理论总结和实践指导的专业图书，不仅可以讲解整体知识体系的理论基础，也可以作为使用星环人工智能平台（Sophon）工具的指导手册。目前市面上销售的机器学习相关书籍，要么偏重原理介绍和公式推导，要么重点描述开源算法的实现调用，无法满足二者兼顾的要求。为此，我们结合理论分析和实践指导要求，编写了这本面向机器学习一线工程技术人员的专业书籍。它既能帮助读者深入理解相关算法原理，也有助于读者学会利用专业工具平台快速搭建模型，构建机器学习的行业应用。本书内容覆盖了机器学习领域从理论到实践的多个课题，总共分为10章。章为导论，介绍机器学习的背景、定义和任务类型，构建机器学习应用的步骤，以及开发机器学习工作流的方式。第2章详细介绍数据预处理和特征工程，并辅以实例进行验证。第3～6章介绍回归模型、分类模型、模型融合、聚类模型，这些内容是机器学习理论和实践中的传统重点。其中不仅介绍对各种常见数据类型的处理方法，还针对删失数据进行了专门的综述和实践。第7章介绍机器学习领域较难的图计算，并从工业界视角解读如何将图计算落地。第8章针对特征工程、建模过程中大量调参的场景介绍自动机器学习的理论和应用，并细致比较和测试了各种自动特征工程算法在不同数据上的表现。第9章介绍自然语言处理（词向量、序列标注、关键词抽取、自动摘要和情感分析），使用新闻文本数据搭建文本分类的流程。0章介绍计算机视觉中图像分类和目标检测的应用以及落地案例（车辆检测）。书中的～2章是基础内容，建议读者认真阅读，其他章节则可根据需要选择性地阅读。全书由孙元浩和杨俊统一主持和整理，参与编写的作者还包括杨一帆、裴瑞光、林木丰、乐向楠、陆增翔、蒲瑜琪、李祥祥、曾宪宇、赵文谦、林晨、浦锦毅、安磊、许凯琪、孙乐飞和吴香莲。本书从雏形到定稿，历时近一年，非常感谢参与本书编纂校对工作的算法工程师和架构师，没有他们无私的理论分享和实践指导，本书是难以高质量完成的。在此我们对所有编者表示衷心的感谢和敬意。孙元浩2019年7月