AI模型水印：护航数据要素流通

本书总结了一系列模型水印方法。将水印植入到目标模型中，以便模型所有者在模型被窃取时，可以提取预定义的水印来声明所有权。模型水印方法采用后门训练、多任务学习、决策边界分析等常用技术来生成构成模型水印或仅为模型所有者所知的指纹的秘密条件。本书涵盖了使用水印保护机器学习模型的动机、基本原理、技术和协议。此外，还展示了模型水印、签名和护照嵌入等方面的前沿工作，以及它们在分布式联邦学习环境中的使用案例。第一部分提供了关于使用水印进行模型所有权验证的要求的介绍和简要回顾，第二部分阐述了针对各种机器学习模型以及安全要求开发的技术，第三部分涵盖了模型水印技术在联邦学习环境和模型审计用例中的应用。

目录
第一部分基础篇
第1 章概述2
1.1 为什么机器学习模型需要数字水印. .3
1.2 如何将数字水印应用于机器学习模型. 4
1.2.1 技术. .4
1.2.2 协议. .5
1.2.3 应用. .5
1.3 相关研究工作6
1.3.1 白盒方法. .6
1.3.2 黑盒方法. .6
1.3.3 DNN 指纹方法.7
第2 章DNN 水印的所有权验证协议8
2.1 引言. 9
2.2 安全性形式化. 11
2.2.1 功能保留11
2.2.2 准确性和无歧义性12
2.2.3 持久性13
2.2.4 其他安全要求14
2.3 DNN 的所有权验证协议. 15
2.3.1 抵制攻击及相应的安全性16
2.3.2 覆写攻击及相应的安全性17
2.3.3 证据暴露及相应的安全性19
2.3.4 OV 协议的逻辑视角. 21
2.3.5 高级协议的备注23
2.4 小结24
第二部分技术篇
第3 章用于图像恢复的DNN 的模型水印26
3.1 引言27
3.2 相关研究工作. 28
3.2.1 白盒方法28
3.2.2 黑盒方法28
3.3 问题定义. 29
3.3.1 符号和定义29
3.3.2 图像恢复DNN 模型水印的原则.29
3.3.3 针对模型水印的模型导向攻击30
3.4 提出的方法. 30
3.4.1 主要思路和框架30
3.4.2 触发器密钥生成32
3.4.3 水印生成32
3.4.4 水印嵌入33
3.4.5 水印验证34
3.4.6 辅助知识产权可视化器34
3.5 小结36
第4 章稳健和无害的模型水印37
4.1 引言38
4.2 相关研究工作. 38
4.2.1 模型窃取38
4.2.2 针对模型窃取的防御39
4.3 重审现有的模型所有权验证. 40
4.3.1 数据集推理的局限性40
4.3.2 基于后门的模型水印的局限性41
4.4 在集中式训练下提出的方法. 41
4.4.1 威胁模型和方法流程41
4.4.2 使用嵌入外部特征的模型水印42
4.4.3 训练所有权元分类器43
4.4.4 基于假设检验的模型所有权验证43
4.5 在联邦学习中的应用43
4.5.1 问题阐述和威胁模型44
4.5.2 提出的方法44
4.6 实验44
4.6.1 实验设置44
4.6.2 在集中式训练下的主要结果45
4.6.3 在联邦学习环境下的主要结果47
4.6.4 关键超参数的影响47
4.6.5 消融研究48
4.7 小结50
第5 章通过分类边界指纹识别保护机器学习模型的知识产权51
5.1 引言52
5.2 相关研究工作. 54
5.2.1 用于知识产权保护的水印技术54
5.2.2 分类边界54
5.3 问题的提出. 55
5.3.1 威胁模型55
5.3.2 对目标模型的指纹识别56
5.3.3 设计目标56
5.3.4 稳健性和唯一性的权衡57
5.4 IPGuard 的设计. 58
5.4.1 概览.58
5.4.2 将寻找指纹数据点定义为一个优化问题59
5.4.3 初始化和标签选择60
5.5 讨论61
5.5.1 与对抗样本的联系61
5.5.2 对知识蒸馏的稳健性62
5.5.3 攻击者端检测指纹数据点62
5.6 小结63
第6 章通过模型水印保护图像处理网络64
6.1 引言65
6.2 准备工作. 66
6.2.1 威胁模型66
6.2.2 问题形式化67
6.3 提出的方法. 68
6.3.1 动机.68
6.3.2 传统水印算法69
6.3.3 深度不可见水印技术70
6.4 实验74
6.4.1 实验设置74
6.4.2 保真度和容量75
6.4.3 对模型提取攻击的稳健性76
6.4.4 消融实验77
6.4.5 扩展.79
6.5 讨论81
6.6 小结82
第7 章深度强化学习水印83
7.1 引言84
7.2 背景85
7.2.1 马尔可夫决策过程85
7.2.2 强化学习86
7.2.3 深度强化学习87
7.3 相关研究工作. 88
7.3.1 有监督深度学习模型的水印88
7.3.2 深度强化学习模型的水印89
7.4 问题的形式化. 89
7.4.1 威胁模型89
7.4.2 深度强化学习的时序水印90
7.5 提出的方法. 94
7.5.1 水印候选项生成95
7.5.2 水印嵌入96
7.5.3 所有权验证97
7.6 讨论. 100
7.7 小结. 101
第8 章图像描述模型的所有权保护102
8.1 引言. 103
8.2 相关研究工作103
8.2.1 图像描述中的数字水印. 103
8.2.2 DNN 模型中的数字水印104
8.3 问题的形式化105
8.3.1 图像描述模型. 105
8.3.2 命题2 的证明. 106
8.3.3 图像描述模型的知识产权保护. 108
8.4 提出的方法108
8.4.1 密钥生成过程. 109
8.4.2 嵌入过程. 109
8.4.3 验证过程. 111
8.5 实验设置112
8.5.1 指标和数据集. 112
8.5.2 配置. 112
8.5.3 比较方法. 112
8.6 讨论. 113
8.6.1 与当前数字水印框架技术的对比. 113
8.6.2 保真度评估. 113
8.6.3 抵抗歧义攻击的韧性. 116
8.6.4 抵抗移除攻击的稳健性. 117
8.6.5 局限性. 117
8.7 小结. 118
第9 章使用嵌入密钥保护RNN 119
9.1 引言. 120
9.2 相关研究工作120
9.3 问题表述121
9.3.1 概述. 121
9.3.2 保护框架设计. 121
9.3.3 贡献. 121
9.3.4 模型水印和所有权验证协议. 122
9.4 提出的方法123
9.4.1 密钥门. 124
9.4.2 生成密钥的方法. 124
9.4.3 作为签名的密钥输出符号. 125
9.4.4 使用密钥进行所有权验证. 126
9.5 实验. 128
9.5.1 学习任务. 128
9.5.2 超参数. 129
9.6 讨论. 129
9.6.1 保真度. 129
9.6.2 对抗移除攻击的稳健性. 132
9.6.3 对抗模糊攻击的韧性. 134
9.6.4 保密性. 136
9.6.5 时间复杂度. 137
9.6.6 密钥门激活. 137
9.7 小结. 137

第三部分应用篇
第10 章FedIPR：联邦DNN 模型的所有权验证140
10.1 引言. .141
10.2 相关研究工作.142
10.2.1 安全联邦学习142
10.2.2 subsection DNN 水印方法. 142
10.3 初步概念. 142
10.3.1 安全的横向联邦学习142
10.3.2 联邦学习中的搭便车者142
10.3.3 DNN 水印方法. 143
10.4 提出的方法. 143
10.4.1 联邦学习中的FedDNN 所有权验证定义. 144
10.4.2 挑战1：FedDNN 中多个水印的容量145
10.4.3 挑战2：安全联邦学习中的水印稳健性146
10.5 实现细节. 147
10.6 实验结果. 149
10.6.1 保真度149
10.6.2 水印检测率149
10.6.3 水印战胜搭便车攻击152
10.6.4 联邦学习策略下的稳健性152
10.7 小结. .154
第11 章用于数据知识产权的模型审计155
11.1 引言. .156
11.2 相关研究工作.157
11.2.1 成员推断攻击157
11.2.2 模型决策边界157
11.3 问题定义. 157
11.3.1 模型审计的属性158
11.3.2 不同设置下的模型审计159
11.4 现有模型审核方法的调查. 159
11.4.1 决策边界的距离近似160
11.4.2 数据所有权解决方案161
11.4.3 模型审计的威胁模型162
11.5 实验结果. 163
11.5.1 主要结果163
11.5.2 部分数据使用情况164
11.5.3 不同的对抗设置164
11.6 小结. .166
参考文献167