现代自然语言处理

"本书是一部系统阐述自然语言处理与大语言模型原理、方法及应用的教材。全书共分为8 章：
第1 章绪论，介绍自然语言处理的发展历程、研究内容与基本方法，梳理了从规则方法、机器学习
方法到深度学习与大模型时代的技术演进；第2 章数学基础，系统讲解了自然语言处理所需的数学
工具，包括概率论、线性代数与信息论基础；第3 章神经网络基础，介绍神经元结构、前馈与卷积
网络、循环网络及注意力机制；第4 章语言模型，深入探讨统计语言模型、词向量模型以及神经网
络语言模型；第5 章大语言模型基础，系统分析大模型的宏观与微观发展、典型架构、训练流程与
优化方法，并介绍提示工程与指令微调等关键技术；第6 章大语言模型进阶，进一步讲解强化学习、
思维链推理、大模型智能体、分布式训练与模型评估体系；第7 章多模态大模型，扩展至跨模态理
解与生成，涵盖视觉、文本等多源信息的融合与建模方法；第8 章现代自然语言处理基础任务，结
合前沿模型介绍词性标注、命名实体识别、句法分析、语义分析、信息检索、智能问答与机器翻译
等典型任务及实现方法。
本书内容体系化、覆盖面广，既注重理论讲解，又结合大量实例与模型演进分析，适合作为高
等院校人工智能、计算机科学与技术等专业的教材或研究生课程参考书，也可作为自然语言处理、
大模型研发及人工智能应用领域从业者的自学与进阶用书。
"

目录
第1 章绪论/ 1
1.1 深度学习的历史/ 1
1.2 深度学习的应用/ 4
1.3 深度学习研究的前沿与趋势/ 7
1.3.1 深度学习研究的发展趋势/ 8
1.3.2 深度学习研究的挑战/ 10
第2 章基础知识/ 12
2.1 学习算法与评价方法/ 12
2.1.1 任务与机器学习算法/ 12
2.1.2 性能度量与评价指标/ 14
2.2 假设空间、过拟合和欠拟合/ 22
2.3 偏差和方差/ 23
2.3.1 偏差、方差与噪声的定义/ 23
2.3.2 泛化误差的分解/ 23
2.3.3 偏差与方差的权衡/ 24
2.4 最大似然估计/ 24
2.5 贝叶斯决策/ 27
2.5.1 贝叶斯定理/ 27
2.5.2 贝叶斯分类器/ 27
2.5.3 最小化错误率/ 28
2.5.4 贝叶斯风险/ 28
2.6 无监督、半监督和自监督学习/ 30
2.6.1 无监督学习/ 30
2.6.2 半监督学习/ 32
2.6.3 自监督学习/ 33
2.7 损失函数/ 34
2.7.1 分类任务/ 34
2.7.2 回归任务/ 35
2.7.3 密度估计任务/ 36
2.7.4 目标检测任务/ 36
2.7.5 图像分割任务/ 37
2.7.6 自然语言处理任务/ 37
2.8 习题/ 38
第3 章经典神经网络/ 39
3.1 感知机算法/ 39
3.1.1 基本模型/ 39
3.1.2 学习策略/ 40
3.1.3 感知机的特点与局限/ 40
3.2 多层感知机/ 41
3.2.1 基本结构/ 41
3.2.2 隐含层的作用/ 41
3.3 反向传播/ 42
3.3.1 链式法则/ 42
3.3.2 反向传播算法/ 42
3.3.3 反向传播示例/ 45
3.3.4 反向传播面临的挑战/ 47
3.4 典型优化算法/ 47
3.4.1 梯度下降法/ 48
3.4.2 牛顿法/ 49
3.4.3 拟牛顿法/ 50
3.4.4 高斯-牛顿法/ 52
3.4.5 L-M 方法/ 54
3.5 激活函数/ 55
3.5.1 Sigmoid 型函数/ 56
3.5.2 ReLU 型函数/ 58
3.5.3 门控型函数/ 60
3.5.4 Mish 函数/ 62
3.5.5 Maxout 单元/ 63
3.5.6 AconC 函数/ 63
3.5.7 各种激活函数的比较/ 64
3.6 习题/ 65
第4 章深度卷积网络/ 67
4.1 卷积运算及其特性/ 67
4.1.1 卷积运算/ 67
4.1.2 填充/ 68
4.1.3 步幅/ 69
4.1.4 卷积的特性/ 69
4.2 卷积函数的变体/ 72
4.2.1 空洞卷积/ 72
4.2.2 分组卷积/ 72
4.2.3 深度可分离卷积/ 74
4.2.4 可形变卷积/ 75
4.3 池化/ 75
4.3.1 池化的概念/ 75
4.3.2 池化的意义/ 76
4.3.3 池化层反向传播/ 77
4.4 归一化技术/ 77
4.4.1 批量归一化/ 78
4.4.2 其他归一化技术/ 78
4.5 卷积网络架构设计/ 79
4.5.1 LeNet-5 / 79
4.5.2 AlexNet / 80
4.5.3 VGGNet / 81
4.5.4 残差网络/ 82
4.5.5 密集连接网络/ 82
4.5.6 Squeeze-and-Excitation Network / 84
4.5.7 MobileNet / 84
4.5.8 EfficientNet / 85
4.5.9 High-Resolution Network / 86
4.5.10 ConvNeXt / 86
4.6 卷积网络的典型应用/ 87
4.6.1 图像分类/ 87
4.6.2 目标检测/ 88
4.6.3 图像分割/ 88
4.7 习题/ 89
第5 章循环神经网络/ 90
5.1 经典循环神经网络/ 91
5.1.1 循环神经网络的两种设计模式/ 91
5.1.2 前向传播和反向传播/ 93
5.1.3 深度循环网络/ 94
5.1.4 双向循环网络/ 96
5.1.5 基于编码-解码的序列到序列架构/ 97
5.2 长短时记忆网络/ 98
5.2.1 长序列的挑战/ 98
5.2.2 长短时记忆网络/ 99
5.3 门控网络/ 101
5.4 带外置记忆的循环网络/ 102
5.5 Mamba 架构/ 103
5.6 习题/ 104
第6 章Transformer / 106
6.1 自注意力机制/ 106
6.2 位置编码/ 108
6.3 Transformer 结构/ 109
6.3.1 前馈层/ 111
6.3.2 残差连接与层归一化/ 111
6.3.3 编码器和解码器结构/ 111
6.4 Transformer 与大语言模型/ 112
6.4.1 Encoder-only 架构/ 112
6.4.2 Encoder-Decoder 架构/ 113
6.4.3 Decoder-only 架构/ 114
6.5 视觉Transformer / 115
6.5.1 视觉Transformer 架构/ 116
6.5.2 典型视觉Transformer 模型/ 117
6.6 视觉Transformer 与卷积神经网络的关系/ 117
6.6.1 视觉Transformer 与卷积神经网络结构的异同/ 117
6.6.2 视觉Transformer 与卷积神经网络各自的优势/ 119
6.7 Transformer 的未来发展趋势/ 120
6.8 习题/ 120
第7 章图神经网络/ 121
7.1 图的表示/ 122
7.2 图机器学习任务/ 122
7.2.1 节点分类/ 123
7.2.2 关系预测/ 123
7.2.3 社群检测/ 123
7.2.4 图级别任务/ 123
7.3 图神经网络的基本框架/ 124
7.3.1 神经消息传递/ 124
7.3.2 节点嵌入的迭代更新过程/ 125
7.3.3 聚合函数/ 125
7.4 典型图神经网络/ 127
7.4.1 图卷积神经网络/ 127
7.4.2 图采样与聚合网络/ 128
7.4.3 图注意力网络/ 128
7.5 过度平滑问题/ 130
7.5.1 跳层连接/ 131
7.5.2 图循环神经网络/ 133
7.6 图神经网络的应用与趋势/ 133
7.6.1 图神经网络的典型应用/ 133
7.6.2 图神经网络的发展趋势/ 134
7.7 习题/ 134
第8 章深度生成模型/ 136
8.1 变分自编码器/ 136
8.1.1 自编码器/ 137
8.1.2 基本结构/ 137
8.1.3 目标函数/ 138
8.1.4 重参数化技巧/ 139
8.1.5 变分自编码器的变种/ 139
8.2 生成对抗网络/ 140
8.2.1 生成器和判别器/ 140
8.2.2 对抗训练的目标函数/ 141
8.2.3 训练过程/ 143
8.2.4 生成对抗网络的变种/ 143
8.3 扩散概率模型/ 145
8.3.1 正向扩散过程/ 145
8.3.2 逆向扩散过程/ 146
8.3.3 训练目标/ 147
8.3.4 扩散模型的改进形式/ 150
8.4 基于词元的生成模型/ 151
8.4.1 基于词元的生成方法/ 151
8.4.2 自回归生成模型/ 152
8.4.3 非自回归生成模型/ 152
8.5 生成模型的评价指标/ 153
8.5.1 Inception 分数/ 153
8.5.2 模式分数/ 154
8.5.3 核最大均值差异/ 154
8.5.4 Wasserstein 距离/ 155
8.5.5 Fréchet Inception 距离/ 155
8.5.6 峰值信噪比/ 156
8.5.7 结构相似性/ 156
8.5.8 CLIP 分数/ 156
8.6 生成模型的应用与趋势/ 157
8.6.1 生成模型的典型应用/ 157
8.6.2 生成模型的未来发展趋势/ 159
8.7 习题/ 160
第9 章深度神经网络的优化方法/ 162
9.1 深度神经网络优化的挑战/ 162
9.1.1 梯度悬崖/ 162
9.1.2 梯度消失和梯度爆炸/ 163
9.2 局部极小值与鞍点/ 163
9.2.1 局部极小值/ 164
9.2.2 鞍点/ 164
9.3 损失函数曲面分析/ 165
9.4 随机梯度方法/ 166
9.5 动量算法/ 168
9.6 自适应学习率优化算法/ 170
9.7 习题/ 173
第10 章深度学习中的正则化/ 174
10.1 参数范数惩罚/ 174
10.1.1 L2 参数正则化/ 175
10.1.2 L1 参数正则化/ 176
10.1.3 作为约束的范数惩罚/ 177
10.2 数据扩增/ 178
10.2.1 图像空间中的数据扩增/ 178
10.2.2 特征空间中的数据扩增/ 180
10.3 模型集成学习/ 180
10.3.1 多模型生成策略/ 181
10.3.2 多模型集成方法/ 182
10.4 随机失活方法/ 183
10.5 其他正则化方法/ 184
10.6 习题/ 185
第11 章自监督学习/ 186
11.1 自监督学习概述/ 186
11.1.1 监督学习范式的困难和局限/ 186
11.1.2 自监督和无监督学习/ 187
11.1.3 自监督学习与预训练-微调范式/ 187
11.2 计算机视觉中的自监督学习/ 188
11.2.1 对比学习/ 188
11.2.2 掩码学习/ 190
11.2.3 其他视觉自监督学习方法/ 191
11.3 自然语言处理中的自监督学习/ 193
11.3.1 词嵌入技术/ 194
11.3.2 掩码文本建模/ 194
11.3.3 自回归文本建模/ 195
11.4 多模态学习中的自监督学习/ 196
11.4.1 CLIP / 196
11.4.2 ALBEF / 198
11.4.3 VLMo / 199
11.4.4 BLIP / 200
11.5 自监督学习的发展趋势/ 201
11.6 习题/ 202
第12 章深度强化学习/ 203
12.1 任务与奖励/ 203
12.2 马尔可夫决策模型/ 205
12.2.1 马尔可夫决策过程/ 205
12.2.2 回报/ 207
12.2.3 价值函数与贝尔曼方程/ 208
12.3 策略迭代和价值迭代/ 209
12.3.1 价值迭代/ 210
12.3.2 策略迭代/ 210
12.3.3 广义策略迭代/ 212
12.4 策略学习/ 213
12.4.1 策略梯度定理/ 214
12.4.2 REINFORCE：蒙特卡洛策略梯度/ 215
12.5 离线强化学习/ 216
12.6 模仿学习/ 216
12.6.1 行为克隆/ 218
12.6.2 逆强化学习/ 219
12.6.3 对抗式模仿学习/ 219
12.7 强化学习与深度学习的结合/ 220
12.8 深度强化学习应用与展望/ 220
12.8.1 围棋/ 221
12.8.2 视频游戏/ 221
12.8.3 人类反馈强化学习/ 221
12.8.4 机器人控制/ 222
12.9 习题/ 222
第13 章深度神经网络的高效计算/ 223
13.1 参数量化/ 223
13.1.1 常见的量化实现方式/ 223
13.1.2 量化方法分类/ 224
13.1.3 常见的量化方法/ 225
13.2 网络剪枝/ 226
13.2.1 剪枝的基本类型/ 226
13.2.2 神经网络剪枝算法/ 227
13.3 知识蒸馏/ 231
13.3.1 神经网络中的知识/ 232
13.3.2 蒸馏方法/ 233
13.3.3 师生架构/ 234
13.4 重参数化/ 234
13.4.1 基于卷积核分解的重参数化/ 235
13.4.2 多样化分支合并的重参数化/ 235
13.5 低秩近似/ 237
13.5.1 奇异值分解/ 237
13.5.2 高维张量分解/ 238
13.5.3 低秩适应/ 239
13.6 动态计算/ 239
13.6.1 样本自适应动态网络/ 240
13.6.2 空间自适应动态网络/ 242
13.6.3 时间自适应动态网络/ 243
13.7 神经架构搜索/ 244
13.7.1 搜索空间/ 245
13.7.2 搜索策略/ 246
13.7.3 性能估计策略/ 247
13.8 习题/ 247
第14 章PyTorch 深度学习框架/ 248
14.1 PyTorch 深度学习框架简介/ 248
14.1.1 什么是PyTorch / 248
14.1.2 PyTorch 框架发展历史/ 249
14.1.3 PyTorch 的特点和优势/ 249
14.2 张量/ 250
14.2.1 张量初始化/ 250
14.2.2 张量属性/ 251
14.2.3 张量操作/ 251
14.3 自动求导机制/ 254
14.3.1 自动求导机制简介/ 254
14.3.2 PyTorch 自动求导机制介绍/ 254
14.4 常用的激活函数/ 256
14.5 常用的神经网络层/ 257
14.5.1 全连接层/ 257
14.5.2 卷积层/ 257
14.5.3 池化层/ 257
14.5.4 循环神经网络层/ 258
14.5.5 常用的预训练模型/ 258
14.6 PyTorch 训练神经网络的简单实例/ 259
14.6.1 前向传播和损失计算/ 260
14.6.2 反向传播/ 260
14.6.3 梯度下降/ 262
14.6.4 训练循环/ 264
14.7 训练一个真实数据上的图像分类器/ 265
14.7.1 数据准备/ 265
14.7.2 训练图像分类器/ 266
14.8 训练文本分类器/ 270
14.8.1 访问原始数据集迭代器/ 270
14.8.2 数据处理的流程/ 270
14.8.3 生成数据批次和迭代器/ 271
14.8.4 定义模型/ 272
14.8.5 实例化模型/ 274
14.8.6 分割数据集并运行模型/ 274
14.8.7 定义模型训练和评估函数/ 275
14.8.8 训练模型并评估结果/ 276
14.8.9 用测试数据集评估模型/ 278
14.9 习题/ 279
附录A 线性代数/ 280
A.1 标量、向量、矩阵和张量/ 280
A.2 矩阵的乘法和逆/ 281
A.3 线性相关和生成子空间/ 282
A.4 范数/ 283
A.5 特征分解/ 283
A.6 奇异值分解/ 284
附录B 微积分/ 286
B.1 导数与偏导数/ 286
B.1.1 一元函数的导数/ 286
B.1.2 多元函数的偏导数/ 286
B.2 链式法则/ 286
B.3 梯度与Hessian 矩阵/ 287
B.3.1 梯度/ 287
B.3.2 Hessian 矩阵/ 287
B.4 常见函数的求导规则/ 287
附录C 概率统计/ 289
C.1 随机变量/ 289
C.1.1 定义/ 289
C.1.2 分布函数/ 290
C.1.3 概率质量函数与概率密度函数/ 290
C.1.4 条件独立性/ 291
C.2 期望、方差和协方差/ 291
C.2.1 期望/ 291
C.2.2 方差/ 292
C.2.3 协方差/ 293
C.3 常用概率分布/ 294
C.3.1 离散型分布/ 294
C.3.2 连续型分布/ 295
C.4 贝叶斯规则/ 296
C.4.1 全概率公式与贝叶斯公式/ 296
C.4.2 连续贝叶斯准则/ 296
C.5 信息论/ 296
C.5.1 香农熵/ 297
C.5.2 互信息/ 297
C.6 结构化概率模型/ 297
C.6.1 贝叶斯网络/ 298
C.6.2 马尔可夫随机场/ 299
参考文献/ 301