多源离群数据检测方法及技术

离群数据检测作为数据挖掘的主要研究内容之一，可从海量、高维、多源的数据中，有效检测出与众不同且价值巨大的异常对象，广泛应用于金融欺诈、医疗处理、工业制造、公共安全及环境卫生等多个领域。本书以多源离群数据检测为研究对象，对基于影响空间的离群数据检测、基于约束概念格的离群数据检测、基于核密度估计的离群数据检测、基于k近邻连接的多源可信离群数据检测、基于影响空间的多源关联离群数据检测等算法进行了深入研究，设计实现了多源离群数据的并行检测算法，可有效应用于智能制造中，为机械产品加工质量分析提供技术支持，也可应用于天体光谱数据中，为识别并交叉验证特殊、未知天体候选源提供了一种有效手段。

马洋，太原科技大学博士，副教授。主要从事大数据挖掘及应用的相关研究工作，近年来主持山西省青年基金项目1项，博士科研启动基金项目1项，横向项目2项，参与国家自然科学基金2项，在国内外期刊上发表学术论文20余篇，其中SCI 收录10篇。

目录
第1章 绪论 1
1.1 大数据及数据挖掘 2
1.1.1 大数据概述 2
1.1.2 数据挖掘的功能 4
1.1.3 数据挖掘的过程 6
1.1.4 数据挖掘常用方法 7
1.1.5 离群数据检测 9
1.2 多源数据挖掘方法 11
1.2.1 多源数据多标签学习 11
1.2.2 多源表示学习 13
1.2.3 多源数据的特征选择 14
1.2.4 多源数据聚类 15
1.2.5 多源离群数据检测 16
1.3 集群系统与并行计算模型 18
1.3.1 集群系统性能优化 18
1.3.2 并行计算模型 20
1.4 数据挖掘的应用 22
1.4.1 商业领域的应用 22
1.4.2 生产领域的应用 24
1.4.3 多源离群数据检测的应用 26
第2章 单源离群数据检测 30
2.1 基于影响空间的离群数据检测 31
2.1.1 问题的提出 31
2.1.2 HPOD算法与HPOD2算法 32
2.1.3 算法描述 34
2.1.4 实验分析 36
2.2 基于剪枝策略的离群数据检测 41
2.2.1 问题的提出 41
2.2.2 HPODWP算法 42
2.2.3 算法描述 45
2.2.4 实验分析 46
2.3 基于约束概念格的离群数据检测 50
2.3.1 问题的提出 51
2.3.2 基于剪枝的约束概念格的渐进式构造 51
2.3.3 基于约束概念格的稠密子空间及离群数据检测 54
2.3.4 约束概念格的构造算法 56
2.3.5 实验结果及分析 58
2.4 基于核密度估计的离群数据检测 61
2.4.1 问题的提出 61
2.4.2 基于加权kNN的邻域度量 65
2.4.3 基于加权kNN和核密度估计的离群数据检测 68
2.4.4 算法描述 70
2.4.5 实验分析 71
第3章 基于 kNN 连接的多源可信离群数据检测 78
3.1 问题的提出 79
3.1.1 研究动机 79
3.1.2 主要贡献 81
3.2 基于近邻的离群数据检测 81
3.2.1 基于kNN的离群数据检测 82
3.2.2 基于RNN的离群数据检测 82
3.3 多源可信离群数据检测 83
3.3.1 问题分析 83
3.3.2 形式化描述 85
3.3.3 求解策略 85
3.4 基于kNN连接的多源可信离群数据检测算法 89
3.4.1 基于kNN及RNN的多源可信离群数据度量 89
3.4.2 outlier-join算子 90
3.4.3 多源可信离群数据检测算法及分析 91
3.5 实验分析 93
3.5.1 实验环境和实验数据 94
3.5.2 参数对算法执行时间的影响 94
3.5.3 参数对算法准确性的影响 97
3.5.4 参数对算法精度的影响 99
3.5.5 三类多源可信离群数据的比较 101
3.5.6 单源和多源可信离群数据检测结果的比较 105
第4章 基于kNN影响空间的多源关联离群数据检测 108
4.1 问题的提出 109
4.1.1 研究动机 109
4.1.2 主要贡献 110
4.2 特征选择和基于子空间的离群数据检测 111
4.2.1 特征选择 111
4.2.2 基于子空间的离群数据检测 112
4.3 面向多源数据的特征选择 113
4.3.1 面向多源关联离群数据的知识表示 113
4.3.2 基于谱聚类的特征选择 116
4.4 基于影响空间和相关子空间的多源关联离群数据检测 118
4.4.1 多源数据中的影响空间 118
4.4.2 面向多源数据的相关子空间 119
4.4.3 多源关联离群数据检测算法 120
4.5 实验分析 122
4.5.1 实验环境和实验数据 122
4.5.2 稀疏差异因子阈值对算法性能的影响 123
4.5.3 参数k对算法性能的影响 124
4.5.4 样本大小对算法性能的影响 125
4.5.5 相关算法的性能比较 126
第5章 多源离群数据并行检测及性能优化 131
5.1 问题的提出 132
5.1.1 研究动机 132
5.1.2 主要工作 133
5.2 基于MapReduce的多源可信离群数据并行检测 134
5.2.1 PMOD并行算法框架 134
5.2.2 并行化构建哈希表 136
5.2.3 kNN并行化计算 138
5.2.4 多源可信离群数据并行化检测 139
5.3 PMOD并行算法实验分析 141
5.3.1 实验环境及数据集 141
5.3.2 数据伸缩性评估 142
5.3.3 集群扩展性评估 143
5.3.4 参数k对集群扩展性的影响 145
5.4 基于MapReduce的多源关联离群数据并行检测 146
5.4.1 PFRMOD算法框架 146
5.4.2 并行化特征选择 147
5.4.3 并行计算稀疏因子 150
5.4.4 并行化检测多源关联离群数据 152
5.5 PFRMOD算法实验分析 154
5.5.1 实验环境及数据集 154
5.5.2 伸缩性评估 155
5.5.3 属性维度对伸缩性的影响 156
5.5.4 集群扩展性评估 157
5.5.5 属性维度对集群扩展性的影响 159
第6章 多源离群数据检测的应用 161
6.1 基于多源离群数据检测的冷轧辊加工质量分析 162
6.1.1 问题的提出 162
6.1.2 系统需求与总体设计 164
6.1.3 数据收集及预处理 170
6.1.4 系统运行结果 172
6.2 基于离群数据检测的天体光谱异常特征提取与分析 177
6.2.1 问题的提出 178
6.2.2 软件功能模块与系统体系结构 179
6.2.3 关键技术 183
6.2.4 运行结果 185
参考文献 192