数据科学时代： 基础、挑战和机遇

数据科学支撑着数十亿人日常使用的各类应用，同时也引发了关于数据质量、公平性、隐私保护及因果关系等一系列重要问题。本书由四位领域内顶尖专家合著，聚焦如何在充分发挥数据科学优势的同时，有效减轻其潜在风险。书中提出了一个兼具实用性与伦理考量的数据科学应用框架，并结合大量实例加以阐释。作者对这些复杂议题的深入探讨，将激发读者对数据科学未来发展的深入思考。

本书分为四个部分，第一部分讨论数据科学的基础，明确数据科学的跨学科特性，并提出伦理方面的考量框架。第二部分讨论数据科学的应用，通过六个例子引出分析准则，讨论分析准则的应用以及数据科学的跨领域应用。第三部分讨论数据科学应用方面的挑战，包括数据处理、模型的构建与部署、可靠性、可理解性、设定正确的目标、容忍失败，以及伦理、法律和社会挑战等要素。第四部分针对数据科学时代的核心问题，讨论了教育与智能化、监管、研究与开发、质量保障和伦理管理方面的问题，并给出解决建议。本书可以作为对数据科学领域感兴趣的读者及相关从业者的参考资料。

阿尔弗雷德·Z.斯佩克特（Alfred Z.Spector），麻省理工学院（MIT）访问学者。他领导了多个大规模网络化计算系统领域的研究项目，并取得了创新成果。他最初在卡内基梅隆大学任教，后创立了Transarc公司，并领导IBM软件研究院。此后，他担任谷歌副总裁，随后出任Two Sigma Investments的首席技术官。

彼得·诺维格（Peter Norvig），斯坦福大学以人为本人工智能研究院杰出教育研究员，同时担任谷歌研究总监。他曾领导谷歌核心搜索算法团队以及美国国家航空航天局（NASA）的人工智能研究工作。

克里斯·维金斯（Chris Wiggins），哥伦比亚大学副教授，《纽约时报》首席数据科学家。他是哥伦比亚大学数据科学研究所执行委员会的创始成员，同时任职于应用物理与应用数学系以及系统生物学系，并兼任统计学系教师。

周以真（Jeannette M.Wing），哥伦比亚大学负责研究的执行副校长及计算机科学教授，曾任该校数据科学研究所首任阿瓦内森主任。她以在安全与隐私、编程语言以及并发与分布式系统领域的研究贡献而闻名。

译者序

前言

致谢

关于作者

引言 1

第一部分 数据科学概览

第1章 数据科学基础 6

1.1 定义 6

1.1.1 数据科学——洞察 7

1.1.2 数据科学——结论 9

1.1.3 规模 10

1.2 数据科学的兴起 11

1.2.1 统计学 12

1.2.2 可视化 13

1.2.3 运筹学 14

1.2.4 计算科学 16

1.2.5 机器学习 19

1.2.6 其他相关历史 21

第2章 数据科学的跨学科特性 23

2.1 新兴应用领域 23

2.1.1 自然科学 24

2.1.2 社会科学 25

2.1.3 工程学科 26

2.1.4 人文学科 26

2.2 数据科学的发展前沿 27

2.3 跨学科合作与联盟构建 28

第3章 数据科学伦理框架 29

3.1 职业操守与伦理规范 29

3.2 贝尔蒙特委员会 30

3.3 贝尔蒙特原则在数据科学中的应用 31

小结 33

第二部分 数据科学的应用

第4章 数据科学六大应用领域 36

4.1 拼写校正 36

4.2 语音识别 38

4.3 音乐推荐 40

4.4 蛋白质折叠 41

4.5 医疗记录 43

4.6 美国新冠疫情死亡率预测 45

第5章 分析准则 47

5.1 拼写校正技术分析 48

5.2 语音识别技术分析 49

5.3 音乐推荐算法分析 50

5.4 蛋白质折叠技术分析 52

5.5 医疗记录分析 53

5.6 美国新冠疫情死亡率预测分析 54

5.7 分析准则总结 55

第6章 应用分析准则 56

6.1 数据科学在交通与地图中的应用 56

6.2 数据科学在网络与娱乐中的应用 59

6.3 数据科学在医学与公共卫生中的应用 63

6.4 数据科学在自然科学中的应用 66

6.5 数据科学在金融服务业中的应用 67

6.6 数据科学在社会、政治与政府决策中的应用 70

第7章 基于原则主义的伦理决策框架 74

7.1 刑事量刑与假释决策 74

7.2 个性化新闻推荐 75

7.3 疫苗分配优化策略 76

7.4 人员流动数据报告 77

7.5 财产险/意外伤害险的承保/定价 77

小结 79

第三部分 数据科学应用的挑战

第8章 可处理的数据 82

8.1 数据生成与收集 82

8.2 数据处理 83

8.3 数据存储 84

8.4 数据质量 85

8.5 对用户生成数据的合理使用 87

第9章 模型的构建与部署 88

9.1 理论限制 88

9.2 归纳偏置 90

9.3 实际应用中的考量因素 93

第10章 可靠性 95

10.1 隐私 95

10.1.1 隐私权与使用权 96

10.1.2 平衡企业、个人和政府的考量 99

10.1.3 隐私保护技术 101

10.1.4 位置数据 105

10.1.5 隐私的意外影响 106

10.2 安全 107

10.3 抗滥用性 110

10.4 韧性 113

第11章 可理解性 117

11.1 可解释性、可阐述性与可审计性 117

11.2 因果关系 120

11.2.1 实验设计 123

11.2.2 因果推断中的变量选择 127

11.3 科学应用中的可复现性 128

11.4 数据科学成果的传播 130

11.4.1 实例 132

11.4.2 科学家的作用 133

11.4.3 新闻工作者的作用 135

11.4.4 信息消费者的作用 137

第12章 设定正确的目标 143

12.1 目标的清晰度 144

12.2 平衡各方利益 146

12.3 公平 147

12.4 对个人的关注 149

12.4.1 个性化或操控 149

12.4.2 过滤泡沫 152

12.4.3 个人隐私问题 153

12.4.4 数据科学对人类的影响 153

12.5 透明度 154

12.6 目标回顾 155

第13章 容忍失败 157

13.1 不确定性的度量 157

13.2 风险 158

13.3 责任 159

第14章 伦理、法律和社会挑战 162

14.1 法律问题 162

14.1.1 法律挑战——政府视角 162

14.1.2 法律挑战——应用数据科学 164

14.2 经济影响 165

14.2.1 规模效应 165

14.2.2 对个人的经济影响 166

14.2.3 优化的影响 167

14.3 行为伦理 168

14.3.1 激励：组织激励和个人激励 168

14.3.2 治理：在组织结构图中定位伦理 169

14.3.3 从原则到政策 170

14.3.4 确保伦理考量的挑战范例 171

小结 173

第四部分 解决问题

第15章 社会问题 176

15.1 关注点的示例 176

15.2 建议的视角 179

第16章 教育与智能化探讨 180

16.1 课程中增加更多的数据科学内容 180

16.1.1 中小学教育 180

16.1.2 高等教育 181

16.2 利用更多数据科学和技术改善教育 182

16.3 词汇与相关定义 183

第17章 监管 185

17.1 法律上的监管规定 185

17.1.1 规模的优势 188

17.1.2 规模的劣势 189

17.1.3 前景 189

17.2 其他指导框架 190

第18章 研究与开发 193

第19章 质量保障和伦理管理 196

19.1 质量保障与人文关怀 196

19.2 伦理、专业知识和组织 197

小结 199

第20章 总结与思考 200

20.1 数据科学——一个完整的领域 200

20.2 数据科学——机遇与挑战 200

20.3 理解和应用分析准则 201

20.4 伦理考量 201

20.5 解决问题 202

20.6 作者的思考 202

20.7 最后的思考 208

附录 第四部分建议总结 210

参考文献 211