工业数据分析工程：基于CRISP-DM的形式化方法 田春华 工业大数据分析师必读

《工业数据分析工程：基于CRISP-DM的形式化方法》是一本专为希望利用数据科学推动工业进步的专业人士撰写的指南。本书深入浅出地介绍了如何运用跨行业标准流程（CRISP-DM）来解决工业领域中复杂的数据分析问题。通过系统性地介绍CRISP-DM的六个阶段——业务理解、数据理解、数据准备、建模、评估和部署，本书不仅提供了理论框架，还辅以丰富的实际案例研究，帮助读者将理论知识转化为实践能力。作者精心挑选了丰富的实例，展示了如何在这些行业中有效地实施数据分析项目。无论是初学者还是经验丰富的工程师，都能从中学到如何更好地处理数据、构建模型，并将结果应用于决策制定过程。如果您是寻求提高工厂效率、优化供应链管理或改进产品质量的数据科学家、工程师或是企业领导者，《工业数据分析工程：基于CRISP-DM的形式化方法》无疑是您的bi备参考书。它将引导您掌握一套全面而实用的方法论，帮助您在工业4.0时代取得竞争优势。

在“数据资产化”“工业互联网”“工业大数据”的推进中，工业大数据分析仍缺乏统一的指导方法，造成工业大数据分析项目质量波动大落地成功率低。CRISP-DM方法是机器学习领域的行业事实标准，但CRISP-DM 仅仅是过程方法，对于每个阶段或关键活动，没有给出具体的行动指导。本书在 CRISP-DM 基础上，细化了工业数据分析中的具体活动，针对关键活动提出了明确的形式化方法(例如，用系统动力学模型刻画工业物理系统的运行机理，用领域模型描述物理系统间的概念关系，用数据处理流图描述分析模型间的数据处理和依赖关系)，并用具体的行业案例进行阐述，尝试为工业大数据分析构建一套实操性的工程方法体系。 《工业数据分析工程：基于CRISP-DM的形式化方法》分为 10 章:第1章概要介绍工业数据分析方法体系;第2~7章讨论了分析场景定义、业务理解、数据理解、数据准备、模型建立、模型评估和模型部署7个阶段的关键活动、关键角色和成功标准，给出实操形式化方法，并用具体工业案例进行展示;第8~10章用3个不同类型行业案例，端到端展示了工业数据分析方法的应用过程。本书是实操性方法的系统总结，用实际案例将读者代人，更好地理解问题的挑战和解决过程在此基础上，进行系统化总结，方便方法的传承。 《工业数据分析工程：基于CRISP-DM的形式化方法》适合工业大数据从业者，包括工业大数据/工业互联网企业的研发人员、工业企业T部门及数字化转型部门的工程技术人员阅读，也适合高等或职业院校的大数据或工业互联网相关专业的教师和学生阅读。

田春华博士，北京工业大数据创新中心首席数据科学家，清华大学工业大数据研究中心，首席数据科学家；曾任IBM中国研究院研究经理，IEEE、INFORMS、ACM等学术组织及国际学术会议分会主席、执行委员、国际学术期刊审稿人。长期负责数据挖掘算法研究和产品工作，在高端装备制造、石油石化、新能源、航空与港口等行业，帮助几十家国内外领先企业成功实施资产管理、运营优化、营销洞察等数据分析项目。参与了多个工业大数据相关标准的制定工作、白皮书的编写工作、竞赛支持工作。发表论文近百篇，拥有40余项国际国内发明专利授权。

目 录1.工业数据分析方法概述1.1.方法论内涵与作用1.2.工业大数据项目落地的载体1.2.1.大数据分析的3种载体形式：数据服务、模型服务、智能应用1.2.2.工业大数据项目的价值落地1.2.3.智能化项目管理1.3.工业数据分析过程方法1.4.如何用好工业数据分析方法1.4.1.大数据分析方法的应用范畴1.4.2.大数据分析方法与项目管理1.4.3.大数据分析项目阶段划分参考文献2.分析场景定义2.1.什么是分析场景2.2.分析场景识别2.2.1.自顶向下的结构化分解法2.2.2.自下向上的归纳剖析法2.2.3.数据驱动的业务能力匹配法2.2.4.分析场景识别中的常见问题2.3.分析场景筛选2.3.1.基于基线思维的场景筛选法2.3.2.基于要素-认知矩阵的场景筛选法2.3.3.分析场景筛选中的常见问题2.4.分析场景定义示例2.4.1.智能运维：自顶向下的结构化分解法2.4.2.汽车制造：自下向上的归纳剖析法2.4.3.电动矿卡智能管理：数据驱动的业务能力匹配法参考文献3.业务理解3.1.业务理解的目标3.1.1.形成分析课题描述3.1.2.提出数据需求清单3.2.业务理解的主要内容3.2.1.决策逻辑3.2.2.决策场景3.2.3.领域概念3.3.业务理解的形式化模型3.3.1.层次分解模型-列表3.3.2.层次分解模型-树状结构3.3.3.系统动力学模型3.3.4.专家规则3.3.5.运筹学模型3.4.系统动力学的建模方法3.4.1.系统动力学图的建模过程3.4.2.系统动力学建模背后的支撑技术3.4.3.系统动力学模型的概念辨析3.5.专家规则的建模方法3.5.1.基于规则流的规则描述方法3.5.2.基于逻辑表达式的规则检验方法3.6.领域模型的建模方法3.6.1.数据驱动的领域建模3.6.2.业务驱动的领域建模3.7.业务理解的执行策略3.7.1.了解性访谈3.7.2.基于样例数据的业务理解3.7.3.确认性访谈3.8.思考：业务理解中形式化模型的必要性3.8.1.水箱水位预测的例子3.8.2.发电机冷却水温度区间估计的例子参考文献4.数据理解4.1.数据收集4.1.1.明确数据源系统和访问方式4.1.2.明确数据更新与存储周期4.2.数据描述-数据集层面的理解4.2.1.样本数据的人工阅读4.2.2.数据概览4.2.3.领域模型与数据模型交互理解4.3.数据探索-数据字段层面的理解4.3.1.统计分布4.3.2.数据可视化4.4.数据探索-业务层面的理解4.4.1.业务维度组合的探索（基于领域模型）4.4.2.业务过程理解（基于系统动力学模型）4.4.3.专家知识的复现4.5.数据质量审查4.5.1.示例案例4.5.2.基于领域模型的质量审查方法4.5.3.分析项目中数据质量突出的原因4.5.4.数据质量评价与影响分析4.6.数据理解阶段的执行策略4.6.1.执行路径4.6.2.软件工具4.6.3.典型的数据处理技巧参考文献5.数据准备5.1.数据流设计5.1.1.数据仓库建模5.1.2.领域模型驱动的工业数据组织方法5.1.3.工业数据分析的数据流图5.1.4.分析数据流图示例5.2.数据选择与清洗5.3.数据融合5.4.特征提取与选择5.4.1.特征的来源5.4.2.特征提取的推进思路5.5.数据资源化：数据分析师的视角参考文献6.模型建立6.1.常用的算法6.2.目标变量的相关问题6.2.1.目标变量的构建6.2.2.目标变量变换6.2.3.不均衡问题6.3.预测变量的相关问题6.3.1.工况切分6.3.2.变量的离散化6.3.3.移除没有业务意义的高相关特征量6.3.4.特征变量组合6.3.5.类别变量的完备度6.4.工业分析建模问题6.4.1.基准模型6.4.2.大量测点的稳定过程建模6.4.3.基于朴素道理的深度网络结构参数优化6.4.4.时序分类问题6.4.5.非监督学习问题6.4.6.优化问题6.4.7.评价型问题6.4.8.浅机理、高维度的诊断型问题6.5.机理模型与统计模型的结合方法6.5.1.机理模型的范畴：定性与定量机理6.5.2.统计模型与数学模型的4种融合范式6.5.3.统计模型与仿真模型的2种融合模式6.5.4.统计模型与经验性机理模型的融合参考文献7.模型评价与部署7.1.模型评价的内容7.2.技术评价7.3.业务评价7.4.下一步工作规划7.5.模型部署的内容7.6.部署包的设计7.6.1.分析任务的逻辑审查7.6.2.数据异常的影响分析与应对措施7.6.3.分析模型打包7.7.模型运维机制设计7.8.分析课题总结参考文献8. 机器学习融合的设计模式8.1 机器学习融合设计模式的来源和分类8.2 业务逻辑与机器学习融合8.2.1 业务状态机模式8.2.2 关联规则发现模式8.3 机理知识与机器学习融合8.3.1 机理矫正模式8.3.2 机理正则化约束模式8.4 运筹优化与机器学习融合8.4.1 启发策略增强模式8.4.2 代理模型辅助优化模式参考文献9.风功率曲线分析9.1.业务理解9.1.1.环境要素9.1.2.风况要素9.1.3.控制系统的要素9.1.4.设计与安装要素9.2.风功率曲线拟合-数据理解9.2.1.功率曲线预览9.2.2.多变量关系9.3.风功率曲线拟合-数据准备9.3.1.对风速做分仓9.3.2.对有功功率做分仓9.3.3.改进方向9.4.风功率曲线拟合-回归模型9.5.风功率曲线异常点识别-数据理解9.5.1.数据说明9.5.2.单台风机