数据科学的统计基础

本书为著名统计学家范剑青、李润泽、张存惠和邹晖的联手之作。书中系统、全面地讲述了数据科学的统计基础的理论和方法论。本书可作为一本工具书，供从事数据分析、人工智能研究的专业人员查阅，也可作为一本文献索引，为统计学、数据科学、机器学习相关专业的高年级本科生和研究生梳理数据科学的统计基础的发展历程。

本书是由四位著名统计学家花费十余年联合撰写的一本阐释数据科学的统计建模方法论的著作。为了很好地平衡理论与应用，本书在内容上做了取舍，将重点放在当下应用较为广泛的高维数据分析方法上。书中从大数据的起源及其对统计分析的影响入手，系统介绍了数据科学领域常用统计模型、现代统计机器学习方法与算法，阐释其数学原理和统计理论。书中内容层层递进，兼顾理论证明、算法实现与实际应用，全面覆盖多元回归、惩罚最小二乘、广义线性模型、M 估计等高维建模方法，深入分析估计性质与统计推断，涵盖特征筛选、协方差矩阵、图模型、因子模型等核心内容，并延伸至有监督学习、无监督学习及深度学习。本书既可作为统计学、数据科学、机器学习相关专业的高年级本科生和研究生的教材，也可供从事数据分析、人工智能研究的专业人员学习使用。

作者是国际权威人士，也是本书的领导者。他们都是数理统计学会和美国统计协会的研究员。<br />　　Jianqing Fan是普林斯顿大学弗雷德里克·摩尔教授。他是《商业与经济统计杂志》的合编人，曾是《统计年鉴》、《概率论及相关领域》和《计量经济学杂志》的联合主编，并获得了2000年COPSS总统奖、AAAS研究员、古根海姆研究员、盖伊银质奖章、Noether高级学者奖，中央研究院院士。<br />　　Runze Li是宾夕法尼亚州立大学埃尔伯里家庭讲座教授和AAAS研究员，也是《统计年鉴》的联合编辑。<br />　　Cun-Hui Zhang是罗格斯大学特聘教授，《统计科学》合编。<br />　　Hui Zou是明尼苏达大学教授，曾任《机器学习研究杂志》的行动编辑。

译者序<br />前言<br />第 1 章 绪论　　　　　　1<br />1.1 大数据的起源与维度的概念 1<br />1.2 大数据的影响　　　　 8<br />1.3 维度的影响　　　　　10<br />1.4 高维统计学习的目标　　　 16<br />1.5 大数据能够做什么　　　 17<br />1.6 本书的范围　　　　　17<br />第 2 章 多元回归和非参数回归　18<br />2.1 本章内容概览　　　 18<br />2.2 多元线性回归　　　 18<br />2.3 加权最小二乘法　　　24<br />2.4 Box-Cox 变换　　　　 26<br />2.5 建模的方法和基展开　　　 28<br />2.6 岭回归　　　　　 34<br />2.7 再生核希尔伯特空间中的回归<br />问题　　　　　　40<br />2.8 留一法交叉验证和广义交叉<br />验证　　　　　　45<br />2.9 习题　　　　　48<br />第 3 章 惩罚最小二乘法　　 52<br />3.1 经典变量选择准则　　　 52<br />3.2 折叠凹惩罚最小二乘法　　　56<br />3.3 Lasso 和 .1 正则化　　 63<br />3.4 贝叶斯变量选择　　　79<br />3.5 数值算法　　　　　81<br />3.6 惩罚最小二乘的正则化参数　97<br />3.7 残差方差和重拟合交叉验证　101<br />3.8 惩罚最小二乘在非参数模型中<br />的扩展　　　　　 104<br />3.9 应用　　　　　 107<br />3.10 本章文献注释　　　111<br />3.11 习题　　　　 113<br />第 4 章 惩罚最小二乘估计的性质　117<br />4.1 理论基础　　　　117<br />4.2 基于 .0 惩罚的变量选择　136<br />4.3 Lasso 和 Dantzig 选择器　 142<br />4.4 凹惩罚最小二乘的性质　　 182<br />4.5 轻度惩罚和排序惩罚　　206<br />4.6 本章文献注释　　　　225<br />4.7 习题　　　　　 226<br />第 5 章 广义线性模型和惩罚似然<br />方法　　　　 227<br />5.1 广义线性模型　　　　 227<br />5.2 常用的广义线性模型　　　238<br />5.3 高置信集中最稀疏的系数<br />IX<br />估计　　　　　 244<br />5.4 基于惩罚似然的变量选择　　 246<br />5.5 算法　　　　　 249<br />5.6 调节参数的选取　　　　252<br />5.7 实证分析示例　　　　254<br />5.8 低维情形下参数估计的抽样<br />性质　　　　　　256<br />5.9 超高维度下的理论性质　　 264<br />5.10 惩罚似然估计的风险性质　274<br />5.11 本章文献注释　　　278<br />5.12 习题　　　　 279<br />5.13 本章附录　　　　　283<br />第 6 章 惩罚 M 估计　　　　284<br />6.1 惩罚分位数回归　　　　284<br />6.2 惩罚复合分位数回归　　　291<br />6.3 稳健回归中的变量选择　　　294<br />6.4 秩回归与秩回归中的变量<br />选择　　　　　　299<br />6.5 生存分析中的变量选择　　　301<br />6.6 折叠凹惩罚 M 估计的理论<br />性质　　　　　 305<br />6.7 本章文献注释　　　　 315<br />6.8 习题　　　　　　316<br />第 7 章 高维统计推断　　　 317<br />7.1 线性回归的统计推断　　　318<br />7.2 高维广义线性模型的统计<br />推断　　　　　　326<br />7.3 渐近有效性理论　　　 335<br />7.4 高斯图模型　　　　 351<br />7.5 解的一般形式　　　　364<br />7.6 本章文献注释　　　　373<br />7.7 习题　　　　　　374<br />第 8 章 特征筛选　　　 377<br />8.1 基于相关性的筛选　　377<br />8.2 广义相关性筛选与秩相关性<br />筛选　　　　　　381<br />8.3 参数模型的特征筛选方法 383<br />8.4 非参数模型的特征筛选方法　　389<br />8.5 不依赖模型的特征筛选方法　　395<br />8.6 特征筛选和变量选择　　　402<br />8.7 重拟合交叉验证　　409<br />8.8 实证分析案例　　　　 415<br />8.9 本章文献注释　　　　 418<br />8.10 习题　　　　 419<br />第 9 章 协方差矩阵的正则化和图<br />模型　　　　 421<br />9.1 矩阵基础　　　　421<br />9.2 稀疏协方差矩阵估计　　　425<br />9.3 稳健协方差矩阵估计　　433<br />9.4 稀疏精度矩阵和图模型　　　436<br />9.5 潜在高斯图模型　　　　447<br />9.6 技术证明部分　　　　450<br />9.7 本章文献注释　　　　 455<br />9.8 习题　　　　　 456<br />第 10 章 协方差学习与因子模型　　459<br />10.1 主成分分析　　　 459<br />10.2 因子模型和结构化协方差<br />学习　　　　　 462<br />10.3 因子已知时的协方差矩阵和<br />精度矩阵的估计　　　 471<br />X<br />10.4 增广因子模型与投影 PCA　476<br />10.5 渐近性质　　　　　479<br />10.6 证明　　　　　 483<br />10.7 本章文献注释　　　　494<br />10.8 习题　　　　 495<br />第 11 章 因子模型及主成分分析的<br />应用　　　　 499<br />11.1 基于因子调整的正则化模型<br />选择　　　　　 499<br />11.2 基于因子调整的稳健多重<br />检验　　　　　 505<br />11.3 因子增广回归方法　　　 514<br />11.4 主成分分析在统计机器学习中<br />的应用　　　　 518<br />11.5 本章文献注释　　　534<br />11.6 习题　　　　 535<br />第 12 章 有监督学习　　 537<br />12.1 基于模型的分类器　　　537<br />12.2 核密度分类器和朴素<br />贝叶斯　　　　　542<br />12.3 最近邻分类器　　　　547<br />12.4 分类树和集成分类器　　548<br />12.5 支持向量机　　　 558<br />12.6 基于惩罚经验损失的稀疏<br />分类器　　　　　563<br />12.7 稀疏判别分析　　　568<br />12.8 特征增广与稀疏可加分类器　578<br />12.9 本章文献注释　　　583<br />12.10 习题　　　　　 584<br />第 13 章 无监督学习　　　588<br />13.1 聚类分析　　　　　588<br />13.2 类别个数的数据驱动选择法　598<br />13.3 聚类分析中的变量选择　601<br />13.4 高维主成分分析　　　 608<br />13.5 稀疏主成分分析　　　 611<br />13.6 本章文献注释　　　　620<br />13.7 习题　　　　　 621<br />第 14 章 深度学习　　　 623<br />14.1 深度学习的兴起　　　 623<br />14.2 前馈神经网络　　　　625<br />14.3 流行的模型　　　 629<br />14.4 深度无监督学习　　　 638<br />14.5 训练深度神经网络　　　 643<br />14.6 案例：图像分类　　　 649<br />14.7 基于 TensorFlow 和 R 的额外<br />案例　　　　　 651<br />14.8 本章文献注释　　　　662<br />参考文献　　　　　　 664