对抗机器学习:机器学习系统中的攻击和防御

本书讨论机器学习中的安全性问题，即讨论各种干扰机器学习系统输出正确结果的攻击方法以及对应的防御方法。书中首先回顾机器学习的概念和方法，提出对机器学习攻击的总体分类。然后讨论两种主要类型的攻击和相关防御：决策时攻击和投毒攻击。之后，讨论针对深度学习的攻击的新技术，以及提高深度神经网络鲁棒性的方法。很后，讨论对抗学习领域的几个重要问题。本书旨在为读者提供在对抗环境下成功从事机器学习研究和实践所必需的工具，适合对对抗机器学习领域感兴趣的读者阅读。

作者简介Adversarial Machine LearningYevgeniy VorobeychikYevgeniy Vorobeychik是美国范德堡大学的计算机科学、计算机工程和生物医学信息学助理教授。此前，他是桑迪亚国家实验室的首席研究员（Principal Research Scientist）。2008至2010年，他在宾夕法尼亚大学计算机与信息科学系担任博士后研究员。他在密歇根大学获得了计算机科学与工程博士（2008）和硕士（2004）学位，在西北大学获得了计算机工程学士学位。他的工作重点是安全和隐私的博弈论建模、对抗机器学习、算法与行为博弈论和激励设计、优化、基于代理的建模、复杂系统、网络科学和流行病控制。Vorobeychik博士于2017年获得NSF CAREER奖，并受邀参加了IJCAI-16早期职业焦点演讲。他被提名2008年ACM博士论文奖，并获得了2008年IFAAMAS杰出论文奖的荣誉提名。Murat KantarciogluMurat Kantarcioglu是美国得克萨斯大学达拉斯分校的计算机科学教授和UTD数据安全与隐私实验室主任。目前，他还是哈佛大学数据隐私实验室的访问学者。他拥有中东技术大学计算机工程学士学位、普渡大学计算机科学硕士和博士学位。Kantarcioglu博士的研究重点是创造能够有效地从任何数据中提取有用的信息而不牺牲隐私或安全的技术。他的研究获得了NSF、AFOSR、ONR、NSA和NIH的经费支持。他已经发表了超过175篇同行评审论文，并被《波士顿环球报》《ABC新闻》等媒体报道过，获得了三项很好论文奖。除此之外，他还获得了其他各种奖项，包括NSF CAREER奖、普渡CERIAS钻石学术很好奖、AMIA（美国医学信息学会）2014年Homer R. Warner奖和IEEE ISI（情报与安全信息学）2017年技术成就奖（由IEEE SMC和IEEE ITS协会联合颁发，以表彰他在数据安全和隐私方面的研究成就）。他是ACM的杰出科学家。译者简介Adversarial Machine Learning王坤峰王坤峰是北京化工大学信息科学与技术学院教授。他于2003年7月获得北京航空航天大学材料科学与工程专业学士学位，于2008年7月获得中国科学院研究生院控制理论与控制工程专业博士学位。2008年7月至2019年7月，他在中国科学院自动化研究所工作，历任助理研究员、副研究员，其中2015年12月至2017年1月，在美国佐治亚理工学院做访问学者。2019年8月，他调入北京化工大学，任教授。他的研究方向包括计算机视觉、机器学习、智能交通和自动驾驶。他主持和参加了国家自然科学基金、国家重点研发计划、863、973、中科院院地合作项目、国家电网公司科技项目等科研项目20多项，在靠前外期刊和会议上发表学术论文70多篇，其中SCI论文20多篇。他获授权国家发明17项，获得2011年中国自动化学会技术发明一等奖、2018年中国自动化学会科学技术进步特等奖。现为IEEE Senior Member、中国自动化学会不错会员、中国自动化学会平行智能专委会副主任、模式识别与机器智能专委会委员、混合智能专委会委员、中国计算机学会计算机视觉专委会委员、中国图象图形学学会机器视觉专委会委员、视觉大数据专委会委员。他目前担任靠前期刊《IEEE Transactions on Intelligent Transportation Systems》编委，曾经担任《Neurocomputing》专刊和《自动化学报》专刊客座编委。王雨桐王雨桐是中国科学院大学人工智能学院和中国科学院自动化研究所直博研究生。她于2016年获得哈尔滨工程大学自动化专业学士学位。她的研究方向是对抗深度学习、深度学习的安全性与可解释性，尤其专注于图像分类和目标检测任务中的对抗攻击和防御。她已经在《IEEE Transactions on Vehicular Technology》《Neurocomputing》《IEEE Intelligent Vehicles Symposium》《模式识别与人工智能》以及中国自动化大会等靠前外期刊和会议上发表了多篇论文。

译者序前言致谢作者简介译者简介章  引言1第2章  机器学习预备知识5  2.1  监督学习5    2.1.1  回归学习6    2.1.2  分类学习7    2.1.3  PAC可学习性9    2.1.4  对抗环境下的监督学习9  2.2  无监督学习10    2.2.1  聚类11    2.2.2  主成分分析11    2.2.3  矩阵填充12    2.2.4  对抗环境下的无监督学习13  2.3  强化学习15    2.3.1  对抗环境下的强化学习17  2.4  参考文献注释17第3章  对机器学习的攻击类型19  3.1  攻击时机20  3.2  攻击者可以利用的信息22  3.3  攻击目标23  3.4  参考文献注释24第4章  决策时攻击26  4.1  对机器学习模型的规避攻击示例26    4.1.1  对异常检测的攻击：多态混合27    4.1.2  对PDF恶意软件分类器的攻击28  4.2  决策时攻击的建模30  4.3  白盒决策时攻击31    4.3.1  对二元分类器的攻击：对抗性分类器规避31    4.3.2  对多类分类器的决策时攻击38    4.3.3  对异常检测器的决策时攻击40    4.3.4  对聚类模型的决策时攻击40    4.3.5  对回归模型的决策时攻击41    4.3.6  对强化学习的决策时攻击44  4.4  黑盒决策时攻击45    4.4.1  对黑盒攻击的分类法46    4.4.2  建模攻击者信息获取48    4.4.3  使用近似模型的攻击50  4.5  参考文献注释51第5章  决策时攻击的防御53  5.1  使监督学习对决策时攻击更坚固53  5.2  最优规避鲁棒性分类56    5.2.1  最优规避鲁棒的稀疏SVM56    5.2.2  应对自由范围攻击的规避鲁棒SVM60    5.2.3  应对受限攻击的规避鲁棒SVM62    5.2.4  无限制特征空间上的规避鲁棒分类63    5.2.5  对抗缺失特征的鲁棒性64  5.3  使分类器对决策时攻击近似坚固66    5.3.1  松弛方法66    5.3.2  通用防御：迭代再训练68  5.4  通过特征级保护的规避鲁棒性69  5.5  决策随机化70    5.5.1  模型70    5.5.2  最优随机化的分类操作72  5.6  规避鲁棒的回归74  5.7  参考文献注释75第6章  数据投毒攻击77  6.1  建模投毒攻击78  6.2  对二元分类的投毒攻击79    6.2.1  标签翻转攻击79    6.2.2  对核SVM的中毒数据插入攻击81  6.3  对无监督学习的投毒攻击84    6.3.1  对聚类的投毒攻击84    6.3.2  对异常检测的投毒攻击86  6.4  对矩阵填充的投毒攻击87    6.4.1  攻击模型87    6.4.2  交替最小化的攻击89    6.4.3  核范数最小化的攻击91    6.4.4  模仿普通用户行为92  6.5  投毒攻击的通用框架94  6.6  黑盒投毒攻击96  6.7  参考文献注释98第7章  数据投毒的防御100  7.1  通过数据二次采样的鲁棒学习100  7.2  通过离群点去除的鲁棒学习101  7.3  通过修剪优化的鲁棒学习104  7.4  鲁棒的矩阵分解107    7.4.1  无噪子空间恢复107    7.4.2  处理噪声108    7.4.3  高效的鲁棒子空间恢复109  7.5  修剪优化问题的高效算法110  7.6  参考文献注释111第8章  深度学习的攻击和防御113  8.1  神经网络模型114  8.2  对深度神经网络的攻击：对抗样本115    8.2.1  l2范数攻击116    8.2.2  l∞范数攻击119    8.2.3  l0范数攻击121    8.2.4  物理世界中的攻击122    8.2.5  黑盒攻击123  8.3  使深度学习对对抗样本鲁棒123    8.3.1  鲁棒优化124    8.3.2  再训练127    8.3.3  蒸馏127  8.4  参考文献注释128第9章  未来之路131  9.1  超出鲁棒优化的范围131  9.2  不完全信息132  9.3  预测的置信度133  9.4  随机化133  9.5  多个学习器134  9.6  模型和验证134参考文献136索引146

译者序Adversarial Machine Learning本书旨在讨论机器学习中的安全性问题，即讨论各种干扰机器学习系统输出正确结果的攻击方法以及对应的防御方法。众所周知，机器学习自出现之初就因其优异的性能，应用于各种分类和回归任务。随着深度学习的提出，这一领域更是得到前所未有的蓬勃发展。目前,深度学习在计算机视觉、语音识别、自然语言处理等复杂任务中取得了已知最好的结果，已经被广泛应用于自动驾驶、人脸识别等领域。在一系列重大进展面前,人们很容易忽视阳光背后的阴影——对抗攻击。与很多实用性技术一样，机器学习同样面临着安全性的考验。从早期的垃圾邮件过滤程序开始，已经体现出对抗的思想，其本质是双方的对抗博弈：一方面，垃圾邮件制造者想方设法躲避过滤程序的筛选；另一方面，过滤程序又尽可能正确地筛选出垃圾邮件。2014年，Christian Szegedy等人首次提出针对图像的对抗样本这一概念。他们将计算得到的扰动噪声加入原始图像，使得能够正确分类原始图像的分类器对加入扰动的图像产生错误分类。而这个扰动的幅度很小，人眼观察是不会错分的。这一发现揭露了深度学习技术在安全方面的极大缺陷，从而使得人们更加谨慎地看待深度学习在实际中的应用。随后的研究进一步发现，不仅是像素级别的扰动，真实世界中的扰动即便通过摄像机采集，也具有攻击性。例如，对停车标志附加一些贴纸或涂鸦，它便被交通标志识别系统错误识别为限速标志；真人戴上一副特制的眼镜，就被人脸识别系统错误识别为另一个人。如果这些对抗攻击方法被用来干扰自动驾驶、人脸识别等应用系统，后果将不堪设想。于是，深度学习中的对抗攻击引起了研究人员的极大关注，他们也相应提出了一系列的攻击和防御方法。然而，随着各种攻击方法的产生，提出的防御方法看似抵御了这些攻击，但是新出现的攻击却又轻而易举地躲避了这些防御方法。研究在不断发展，但仍距真相甚远。这是因为一旦涉及深度学习，问题就变得极端复杂。至今，人们仍不完全清楚神经网络这个黑盒里面到底学到了什么特性。甚至有研究指出，神经网络完成的分类任务仅是靠辨别局部的颜色和纹理信息，这使得自然的对抗样本，即便不是人为加入的扰动，而是真实采集到的图像，也能够成功地欺骗神经网络。这也支持了许多学者的观点，即神经网络只是学习了数据，而非知识，机器学习还无法像人一样学习。这项难题的最终解决，或许依赖于对神经网络的透彻理解，以及对神经网络结构的改进。弄清楚神经网络内部的学习机制，并据此进行改进，或许才能真正解决目前神经网络对于对抗攻击的脆弱性。以对抗样本生成和防御为核心的对抗深度学习，无疑是对抗机器学习领域目前最受关注的研究热点。但是，本书涉及更宽广的主题，从攻击时机、攻击者可以利用的信息、攻击目标三个维度，全面论述了监督学习、无监督学习以及强化学习系统中的攻击和防御技术。这对于读者全面系统地掌握对抗机器学习的理论、方法及应用，以及深入开展深度学习的攻击和防御问题研究，都是至关重要的。本书的翻译工作是由王坤峰和王雨桐合作完成的。王坤峰负责～5章的翻译初稿，王雨桐负责第6～9章的翻译初稿。最后，王坤峰对全书进行了校正统稿。我们非常荣幸受到机械工业出版社的邀请翻译本书。在翻译过程中，我们努力将内容讲解清楚，但是限于我们的英文能力和专业水平，译文中难免出现疏漏和错误，欢迎读者批评指正。翻译本书的目的，不仅是希望研究人员更多地关注对抗攻击和防御的思想，更希望大家把目光跳出机器学习本身，全面了解它的脆弱性，推动机器学习技术更好地发展和应用。王坤峰  王雨桐2019年9月30日前  言Adversarial Machine Learning近年来，对抗机器学习研究领域受到了广泛的关注，其中很多关注都集中在一种称为对抗样本的现象上。它的常见形式是，对抗样本获取一幅图像，并添加人类观察者通常看不见的少量失真，从而改变图像的预测标签（举一个最著名的例子，将熊猫预测为长臂猿）。但是，本书不是专门针对对抗样本的探索。相反，我们的目标是更宽泛地解释对抗机器学习领域，顾及监督学习和无监督学习，以及对训练数据的攻击（投毒攻击）和决策（预测）时攻击，其中对抗样本只是一种特殊情况。我们试图传达这个快速发展领域的基本概念，以及技术和概念上的研究进展。特别是，除了介绍性材料外，本书的流程是首先描述用于攻击机器学习的算法技术，然后描述使机器学习对此类攻击具有鲁棒性的算法进展。在第8章，我们概述了针对深度学习方法的一些最新进展。虽然在更宽广的对抗学习领域看到这类方法很重要，但是在深度神经网络背景下，这一章描述的动机、技术和经验观察最为突出（尽管许多技术方法在原理上是相当通用的）。本书假设读者对相关知识有足够的了解。虽然书中介绍了机器学习的概念、术语和符号，但可能需要读者事先对机器学习有一定程度的熟悉，这样才能完全掌握技术内容。另外，我们希望读者对统计学和线性代数具有某种程度的熟悉，并对优化有一些先验知识（特别是，本书关于凸优化的叙述和对梯度下降等技术的讨论都假设读者熟悉这些概念）。Yevgeniy VorobeychikMurat Kantarcioglu2018年6月