机器学习基础与方法

本书聚焦人工智能领域中机器学习的基础理论与方法，通过严谨的数学推导和可解释性分析，帮助读者理解常用方法的理论内涵与实现细节。全书共8章，第1章简要讲解机器学习的基本概念与发展脉络；第2章和第3章介绍所需的数学基础与优化基础；第4章介绍数据基础理论方面的知识；第5～8章分类探讨经典机器学习方法，涵盖特征处理、聚类分析、回归与分类等主要方向，在介绍典型算法原理的同时，拓展至相关进阶方法与前沿研究思路。本书通过典型算法示例与原理推导相结合的方式，以期读者系统地掌握机器学习的基础理论与常用方法，为从事该领域相关科研工作打下基础。

(1) 2022年获第十八届“王大珩光学奖”(2) 李学龙(1/1); CCF-ACM人工智能奖, 中国计算机学会、Association for Computing Machinery, 其他, 其他, 2021(李学龙) (科研奖励)(3) 李学龙(2/5); 图像结构建模与视觉表观重构理论方法研究, 中华人民共和国国务院, 自然科学, 国家二等奖, 2016(高新波; 李学龙; 邓成; 袁媛; 陶大程) (科研奖励)(4) 李学龙(1/4); 基于语义拓扑分析与结构优化学习的影像解译理论, 陕西省人民政府, 自然科学, 省部一等奖, 2018(李学龙; 袁媛; 王琦; 董永生) (科研奖励)(5) 李学龙(1/4); 图像数据协同处理理论方法研究（一等奖）, 中国电子学会, 自然科学, 其他, 2018(李学龙; 庞彦伟; 袁媛; 邵岭) (科研奖励)(6) 李学龙(1/5); 高维数据的低维流形表达与学习（一等奖）, 中国计算机学会, 自然科学, 其他, 2018(李学龙; 聂飞平; 蔡登; 袁媛; 何晓飞) (科研奖励)

目录
前言
第1章 绪论 1
1.1 机器学习内涵 1
1.2 定义与术语 4
1.2.1 机器学习相关定义 4
1.2.2 机器学习相关术语 6
1.3 发展简史 10
1.4 典型应用 16
1.5 伦理计算 22
第2章 机器学习数学基础 27
2.1 向量与矩阵运算 27
2.1.1 向量与矩阵基本概念 27
2.1.2 向量与矩阵范数 28
2.1.3 矩阵性能指标与相关计算 34
2.2 特征值分析 37
2.2.1 特征值问题与特征向量 37
2.2.2 矩阵特征值与相关计算 41
2.3 奇异值分解 42
2.3.1 奇异值分解及其解释 42
2.3.2 奇异值分解与特征值 44
2.3.3 奇异值的性质 47
2.4 图论基础 50
2.4.1 权重图与图切 50
2.4.2 邻接矩阵构建 52
2.4.3 拉普拉斯矩阵 58
2.5 张量基础 62
2.5.1 基本概念 62
2.5.2 相关运算 64
2.5.3 张量分解 66
2.6 小结 70
第3章 机器学习优化基础 72
3.1 优化理论基本概念 72
3.1.1 建立最优化模型 73
3.1.2 凸优化问题及求解 74
3.2 拉格朗日乘子法与KKT 条件 77
3.2.1 等式约束问题 78
3.2.2 不等式约束问题 79
3.2.3 原始问题与对偶问题 80
3.3 梯度下降法 82
3.3.1 批量梯度下降法 82
3.3.2 随机梯度下降法 84
3.4 牛顿迭代法 85
3.5 坐标下降法 88
3.6 小结 91
第4章 机器学习数据基础 92
4.1 合成数据集 92
4.1.1 数据线性可分 93
4.1.2 数据线性不可分 93
4.2 真实数据集 96
4.2.1 图像数据集 96
4.2.2 视频数据集 99
4.2.3 生物信息数据集 100
4.2.4 自然语言数据集 101
4.2.5 其他数据集 101
4.3 数据处理 103
4.3.1 数据清洗与特征处理 103
4.3.2 不平衡问题 105
4.3.3 数据类型转换 108
4.4 小结 109
第5章 特征提取方法 110
5.1 经典方法 110
5.1.1 主成分分析 110
5.1.2 局部保持投影 113
5.1.3 线性判别分析 116
5.1.4 张量分析方法 121
5.1.5 经典方法总结与分析 124
5.2 进阶方法 126
5.2.1 基于自适应图嵌入的无监督方法 126
5.2.2 基于快速构图的无监督方法 131
5.2.3 基于最大化比率和线性判别分析的方法 138
5.3 小结 148
第6章 特征选择方法 150
6.1 经典方法 150
6.1.1 过滤式方法 151
6.1.2 包裹式方法 156
6.1.3 嵌入式方法 160
6.1.4 经典方法总结与分析 163
6.2 进阶方法 164
6.2.1 基于多分类逻辑斯谛回归的方法 164
6.2.2 基于稀疏无监督投影的联合方法 175
6.2.3 非线性特征选择网络方法 183
6.3 小结 186
第7章 聚类分析方法 187
7.1 经典方法 188
7.1.1 K均值聚类 188
7.1.2 模糊K均值聚类 190
7.1.3 密度聚类 192
7.1.4 层次聚类 195
7.1.5 谱聚类 197
7.1.6 经典方法总结与分析 202
7.2 进阶方法 208
7.2.1 基于熵正则化的自适应近邻图方法 208
7.2.2 基于二部图的快速自监督方法 216
7.2.3 基于新类发现的递进式自监督方法 224
7.3 小结 228
第8章 回归与分类方法 229
8.1 经典方法 230
8.1.1 最小二乘回归 230
8.1.2 支持向量回归 235
8.1.3 K近邻法 238
8.1.4 决策树 243
8.1.5 支持向量机 248
8.1.6 感知机与神经网络 255
8.1.7 经典方法总结与分析 263
8.2 进阶方法 265
8.2.1 基于*范数最小化的方法 265
8.2.2 基于分隔平面的逻辑回归方法 272
8.3 正激励噪声 280
8.4 小结 286
参考文献 288
附录A 相关学术组织、重要会议与期刊 295
A1 相关学术组织 295
A2 重要会议与期刊 296