生成式人工智能

"
本书深入探讨了生成式人工智能（Generative Artificial Intelligence，简称GAI或AIGC）这一前沿领域，为读者提供了全面而深入的理解。首先明确生成式人工智能的定义，并阐述其与传统人工智能的区别和联系。回顾生成式人工智能的起源、发展历程以及重要里程碑事件，如ChatGPT等标志性产品的推出。介绍深度学习在生成式人工智能中的核心作用，包括神经网络、自监督学习等关键技术。详细阐述生成式对抗网络（GANs）、变分自编码器（VAEs）、扩散模型（Diffusion Models）等主流生成模型的工作原理和优缺点。探讨大型语言模型的构建、训练和优化方法，以及它们在自然语言处理领域的广泛应用。分析生成式人工智能在文本创作、翻译、摘要、问答等方面的应用案例和效果。介绍生成式人工智能在图像生成、视频合成、动画制作等领域的**进展和实际应用。探讨生成式人工智能在音频处理、音乐创作等方面的潜力和挑战。探讨生成式人工智能在伦理、隐私、版权等方面的挑战和应对策略。"

陶建华，清华大学自动化系长聘教授，国家杰出青年基金获得者，国家万人领军人才，享受国务院政府特殊津贴。主要从事情感计算、智能语音处理、模式识别等方向，在TPAMI、TASLP、TAFFC、TSMCB等国内外主要期刊或会议上发表论文300余篇，先后负责国家863重点项目、国家重点研发计划项目、国家自然科学基金重点项目、中科院先导项目、国家发改委项目等重点科研任务。研究成果获2022年中国人工智能学会吴文俊技术发明特等奖（排名一）、2021年中国电子学会技术发明一等奖（排名一）、2018年中国电子学会技术进步一等奖（排名三），并多次在国内外学术会议上获奖。目前担任中国计算机学会会士和常务理事、中国人工智能学会常务理事兼情感智能专委常务副主任、中国图象图形学会理事兼人机交互专委主任等，并担任IEEE TASLP、Speech Communication、计算机研究与发展等多个主要国内外期刊编委，同时担任Interspeech、ACII、IEEE ICSP、IEEE MLSP等会议大会主席或程序委员会主席。

目录

第 1章生成式人工智能概述 ...........................................1

1.1生成式人工智能的定义 ........................................ 1

1.2生成式人工智能的发展历程 ................................. 2

1.3生成式人工智能的核心技术 ................................. 3

1.4生成式人工智能的应用场景 ................................. 4

1.5生成式人工智能的挑战 ........................................ 6

1.6习题................................................................... 8

第 2章生成模型基础 .....................................................9

2.1生成模型的基本概念 ........................................... 9

2.1.1生成模型的历史背景................................. 9

2.1.2生成模型的定义 ....................................... 9

2.1.3生成模型的应用场景............................... 10

2.2生成模型与判别模型的区别 ............................... 10

2.2.1判别模型的定义 ..................................... 10

2.2.2生成模型与判别模型的核心区别 .............. 11

2.2.3生成模型与判别模型的优缺点 ................. 12

2.3生成模型的数学基础 ......................................... 13

2.3.1概率分布 ............................................... 13

2.3.2联合分布与条件分布............................... 14

2.3.3马尔可夫链 ............................................ 14

2.3.4贝叶斯定理 ............................................ 14

2.3.5最大似然估计......................................... 15

2.3.6变分推断 ............................................... 15

2.4常见生成模型简介............................................. 19

2.4.1生成对抗网络......................................... 19

2.4.2变分自编码器......................................... 20

2.4.3自回归模型 ............................................ 21

2.4.4流模型................................................... 21

2.4.5扩散模型 ............................................... 21

2.5生成模型的评估指标 ......................................... 22

2.5.1客观评估指标......................................... 23

2.5.2主观评估指标......................................... 23

2.6概率图模型概述 ..................................................................................... 24

2.6.1概率图模型的定义和基本概念 ...................................................... 24

2.6.2历史背景和发展 .......................................................................... 25

2.7隐马尔可夫模型 ..................................................................................... 25

2.7.1 HMM的基本原理 ....................................................................... 26

2.7.2隐马尔可夫模型的概率计算.......................................................... 27

2.7.3 HMM的推断问题 ....................................................................... 28

2.8马尔可夫随机场 ..................................................................................... 30

2.8.1马尔可夫随机场的性质和定义 ...................................................... 30

2.8.2条件随机场 ................................................................................. 32

2.9贝叶斯网络............................................................................................ 33

2.9.1贝叶斯网络的基本概念 ................................................................ 33

2.9.2结构学习和参数学习.................................................................... 34

2.9.3贝叶斯网络的推断 ....................................................................... 36

2.10自回归模型 .......................................................................................... 38

2.10.1自回归模型的定义.................................................................... 38

2.10.2自回归模型的核心思想 ............................................................. 39

2.10.3自回归模型与循环神经网络 ...................................................... 40

2.11习题 .................................................................................................... 42

第 3章 Transformer .......................................................................................43

3.1 Transformer的背景与动机 ..................................................................... 43

3.1.1编码器........................................................................................ 44

3.1.2解码器........................................................................................ 44

3.2注意力机制............................................................................................ 44

3.2.1自注意力的计算步骤.................................................................... 44

3.2.2 Transformer的优势..................................................................... 45

3.2.3多头注意力的计算 ....................................................................... 46

3.2.4注意力变体存在的问题 ................................................................ 47

3.2.5注意力变体的内容 ....................................................................... 47

3.3 Transformer的结构 ............................................................................... 50

3.3.1混合专家结构.............................................................................. 51

3.3.2位置编码 .................................................................................... 53

3.4 Transformer的应用结构......................................................................... 55

3.4.1编码器结构 ................................................................................. 56

3.4.2仅解码器结构.............................................................................. 58

3.4.3编码器-解码器结构...................................................................... 60

目录 IX
3.5本章小结 ............................................................................................... 61

3.6习题...................................................................................................... 62

第 4章生成对抗网络 ........................................................................................63

4.1生成对抗网络的基本介绍........................................................................ 63

4.1.1 概述 ........................................................................................... 63

4.1.2 原理 ........................................................................................... 64

4.1.3 网络结构 .................................................................................... 66

4.2 GAN的训练与优化................................................................................ 66

4.2.1 GAN的训练 ............................................................................... 67

4.2.2 GAN的训练难点 ........................................................................ 69

4.2.3 GAN训练策略的改进 ................................................................. 71

4.2.4 训练速度 .................................................................................... 74

4.2.5 评价指标 .................................................................................... 74

4.3 常见的 GAN变体.................................................................................. 76
CGAN........................................................................................ 77

4.3.1 DCGAN..................................................................................... 77
4.3.2 AttGAN..................................................................................... 78
4.3.3

4.3.4 CycleGAN.................................................................................. 79
DALL-E ..................................................................................... 79

4.3.5

4.4 GAN的应用.......................................................................................... 80

4.4.1 图像域........................................................................................ 80

4.4.2 语言和音频域.............................................................................. 82

4.4.3 视频域........................................................................................ 82

4.4.4 其他应用 .................................................................................... 83

4.5 GAN的前沿进展 ................................................................................... 84

4.5.1 前沿进展 .................................................................................... 84

4.5.2 改进方向 .................................................................................... 86

4.6本章小结 ............................................................................................... 87

4.7习题...................................................................................................... 88

第 5章变分自编码器 ........................................................................................89

5.1变分自编码器的基本原理........................................................................ 89

5.1.1 自编码器介绍.............................................................................. 89

5.1.2 VAE介绍 ................................................................................... 91

5.2变分自编码器的结构与训练 .................................................................... 97

5.2.1 变分自编码器的结构.................................................................... 98

5.2.2 VAE训练 ................................................................................... 99

5.2.3评价指标 .................................................................................. 100

5.2.4 VAE难点 ................................................................................. 101

5.3条件变分自编码器................................................................................ 102

5.4变分自编码器的应用 ............................................................................ 103

5.4.1图像生成与重建 ........................................................................ 103

5.4.2异常检测 .................................................................................. 104

5.4.3自然语言处理............................................................................ 104

5.4.4无监督表示学习 ........................................................................ 104

5.5 VAE的最新进展.................................................................................. 104

5.5.1最新进展 .................................................................................. 105

5.5.2改进方向 .................................................................................. 106

5.6本章小结 ............................................................................................. 108

5.7习题.................................................................................................... 109

第 6章流模型 ................................................................................................111

6.1流模型概述.......................................................................................... 111

6.1.1归一化流 .................................................................................. 112

6.1.2连续归一化流............................................................................ 112

6.1.3流匹配...................................................................................... 113

6.2归一化流 ............................................................................................. 113

6.2.1归一化流的基本原理.................................................................. 113

6.2.2归一化流的逼近能力.................................................................. 116

6.2.3归一化流的实际应用.................................................................. 117

6.3有限阶流模型 ...................................................................................... 118

6.3.1自回归流 .................................................................................. 119

6.3.2线性流...................................................................................... 125

6.3.3残差流...................................................................................... 128

6.3.4经典流模型 ............................................................................... 131

6.4连续变化流模型 ................................................................................... 134

6.4.1连续变化流的定义 ..................................................................... 134

6.4.2连续变化流的计算和优化 ........................................................... 136

6.5流模型的最新进展................................................................................ 137

6.5.1基于 Glow的模型 ..................................................................... 137

6.5.2重整化流 .................................................................................. 141

6.5.3流匹配...................................................................................... 144

6.6本章小结 ............................................................................................. 148

6.7习题.................................................................................................... 149

目录 XI
第 7章能量模型.............................................................................................151

7.1能量模型简介 ...................................................................................... 151

7.1.1预备知识 .................................................................................. 152

7.1.2能量模型的定义 ........................................................................ 152

7.1.3玻尔兹曼机和受限玻尔兹曼机 .................................................... 153

7.1.4霍普菲尔德网络 ........................................................................ 156

7.2能量模型的训练和推断 ......................................................................... 158

7.2.1基于马尔可夫链蒙特卡洛的最大似然训练方法 ............................. 158

7.2.2基于分数匹配的训练方法 ........................................................... 161

7.2.3基于去噪分数匹配的训练方法 .................................................... 161

7.2.4基于切片分数匹配的训练方法 .................................................... 163

7.3能量模型的应用 ................................................................................... 164

7.3.1能量模型在计算机视觉中的应用 ................................................. 164

7.3.2能量模型在机器人学中的应用 .................................................... 167

7.4本章小结 ............................................................................................. 169

7.5习题.................................................................................................... 169

第 8章扩散模型.............................................................................................171

8.1扩散模型的基本原理 ............................................................................ 171

8.2扩散过程与反向过程 ............................................................................ 172

8.2.1扩散过程 .................................................................................. 172

8.2.2反向过程 .................................................................................. 173

8.3扩散模型的训练与优化 ......................................................................... 175

8.3.1扩散模型的训练与采样过程........................................................ 175

8.3.2训练过程的优化 ........................................................................ 176

8.3.3采样过程的优化 ........................................................................ 178

8.4扩散模型的应用 ................................................................................... 181

8.4.1条件控制生成............................................................................ 181

8.4.2隐空间扩散模型及其变体 ........................................................... 185

8.4.3扩散模型的微调技术.................................................................. 189

8.5基于 Transformer架构的扩散模型 ........................................................ 193

8.6本章小结 ............................................................................................. 195

8.7习题.................................................................................................... 195

第 9章大语言模型 .........................................................................................197

9.1大语言模型概述 ................................................................................... 197

9.1.1语言模型的发展历程.................................................................. 197

9.1.2大语言模型的特点 ..................................................................... 198

9.1.3大语言模型的应用和前景 ........................................................... 200

9.2大语言模型的训练与优化...................................................................... 201

9.2.1预训练...................................................................................... 201

9.2.2指令微调 .................................................................................. 204

9.2.3对齐微调 .................................................................................. 205

9.2.4参数高效微调............................................................................ 208

9.3大语言模型的应用................................................................................ 210

9.3.1推理与规划 ............................................................................... 210

9.3.2知识管理 .................................................................................. 211

9.3.3文本生成与内容创作.................................................................. 212

9.3.4其他应用实例............................................................................ 213

9.4多模态大模型 ...................................................................................... 216

9.4.1概述 ......................................................................................... 216

9.4.2模型结构 .................................................................................. 217

9.4.3训练策略和数据准备.................................................................. 218

9.4.4代表性的多模态大模型—— LLaVA ............................................. 220

9.4.5多模态大模型的评估.................................................................. 222

9.5大语言模型的未来发展 ......................................................................... 222

9.5.1更小更高效的模型 ..................................................................... 223

9.5.2大小模型协同............................................................................ 223

9.5.3改进 LLM的使用 ..................................................................... 223

9.6本章小结 ............................................................................................. 223

9.7习题.................................................................................................... 224

第 10章多模态生成及应用 .............................................................................225

10.1多模态生成模型概述........................................................................... 225

10.1.1定义与基本原理 ..................................................................... 226

10.1.2基于图文对比预训练的多模态生成 .......................................... 226

10.1.3基于大语言模型的多模态生成 ................................................. 227

10.2文-文与文-图生成模型 ........................................................................ 227

10.2.1文-文生成模型 ....................................................................... 227

10.2.2文-图生成模型 ....................................................................... 230

10.3音频生成模型..................................................................................... 234

10.3.1基于规则的音频生成 .............................................................. 234

10.3.2统计学习下的音频生成 ........................................................... 235

10.3.3基于深度学习的音频生成人工智能 .......................................... 235

10.3.4大模型时代下的音频生成........................................................ 237

目录 XIII
10.4视频生成模型..................................................................................... 238

10.4.1文-视频生成 .......................................................................... 238

10.4.2文图-视频生成 ....................................................................... 240

10.4.3高分辨率、长时视频生成........................................................ 241

10.5多模态生成的前沿研究 ....................................................................... 244

10.5.1人工智能 for Science .............................................................. 244

10.5.2跨领域应用案例 ..................................................................... 246

10.6本章小结 ........................................................................................... 248

10.7习题 .................................................................................................. 249

第 11章生成式人工智能的评估、安全与伦理...................................................251

11.1生成式人工智能的评估 ....................................................................... 251

11.1.1评估角度 ............................................................................... 251

11.1.2生成模型评估方法概述 ........................................................... 252

11.1.3图像生成的评估方法 .............................................................. 255

11.1.4文本生成的评估方法 .............................................................. 256

11.1.5音频生成的评估方法 .............................................................. 258

11.1.6图像视频生成的评估方法........................................................ 260

11.1.7评估生成模型的挑战 .............................................................. 261

11.2伦理与社会影响 ................................................................................. 263

11.2.1生成式人工智能的伦理问题 .................................................... 263

11.2.2算法偏见和歧视风险 .............................................................. 264

11.2.3内容滥用的学术伦理风险........................................................ 264

11.2.4智能冲击人类主体性风险........................................................ 265

11.2.5生成模型的社会影响 .............................................................. 266

11.2.6生成式人工智能的监管与政策 ................................................. 268

11.2.7负责任的生成式人工智能........................................................ 270

11.2.8生成式人工智能的公平性与透明性 .......................................... 271

11.3本章小结 ........................................................................................... 272

11.4习题 .................................................................................................. 272

第 12章课程实践设计 ....................................................................................273

12.1文本生成实践..................................................................................... 273

12.1.1数据到文本的生成.................................................................. 273

12.1.2文本到文本生成 ..................................................................... 276

12.1.3对话系统 ............................................................................... 277

12.2语音生成实践..................................................................................... 278

12.2.1语音生成的背景和传统方法 .................................................... 279

12.2.2拼接合成 ............................................................................... 280

12.2.3现代语音生成模型.................................................................. 283

12.3图像生成实践..................................................................................... 287

12.3.1基于 c-GAN的条件图像生成.................................................. 287

12.3.2从 GAN到 c-GAN ................................................................ 288

12.3.3基于扩散模型的文本条件图像生成 .......................................... 290

12.4视频生成实践..................................................................................... 291

12.4.1文生视频 ............................................................................... 291

12.4.2图生视频 ............................................................................... 293

参考文献 ...........................................................................................................295