TensorFlow自然语言处理及应用

本书以TensorFlow为平台，讲述TensorFlow与自然语言的技术及开发。书中每章都以理论开始，以TensorFlow应用及自然语言分析结束，将理论与实践相结合，让读者可以快速掌握TensorFlow与自然语言分析。本书共9章，主要内容为TensorFlow与编程、自然语言处理与深度学习基础、神经网络算法基础、词嵌入、卷积神经网络分析与文本分类、几种经典的卷积神经网络、循环神经网络及语言模型、长短期记忆及自动生成文本、其他网络的经典分析与应用。本书注重应用，实例丰富，可作为高等院校人工智能相关专业的教材，也可作为研究TensorFlow与自然语言分析的广大科研人员、学者、工程技术人员的参考书籍。

第1章 TensorFlow与编程 1

1.1 语言与系统的支持 1

1.2 TensFlow的特点 2

1.3 TensorFlow的环境搭建 3

1.3.1 安装环境介绍 3

1.3.2 安装TensorFlow 5

1.3.3 安装测试 6

1.4 张量 7

1.4.1 张量的概念 7

1.4.2 张量的使用 8

1.4.3 NumPy库 9

1.4.4 张量的阶 10

1.4.5 张量的形状 10

1.5 认识变量 11

1.5.1 变量的创建 11

1.5.2 变量的初始化 19

1.6 矩阵的操作 21

1.6.1 矩阵的生成 22

1.6.2 矩阵的变换 25

1.7 图的实现 31

1.8 会话的实现 34

1.9 读取数据方式 36

1.9.1 列表格式 37

1.9.2 读取图像数据 38

第2章 自然语言处理与深度学习基础 40

2.1 自然语言概述 40

2.1.1 自然语言处理面临的困难 40

2.1.2 自然语言处理的发展趋势 41

2.1.3 自然语言处理的特点 42

2.2 NLP技术前沿与未来趋势 43

2.2.1 挑战与突破 43

2.2.2 人机交互的未来 43

2.2.3 未来发展趋势与展望 44

2.2.4 技术挑战与解决路径 44

2.3 深度学习 44

2.3.1 深度学习背景 45

2.3.2 深度学习的核心思想 46

2.3.3 深度学习的应用 47

2.4 深度学习的优势与劣势 51

第3章 神经网络算法基础 52

3.1 激活函数及实现 53

3.1.1 激活函数的用途 53

3.1.2 几种激活函数 53

3.1.3 几种激活函数的绘图 57

3.2 门函数及实现 59

3.3 单个神经元的扩展及实现 62

3.4 构建多层神经网络 65

第4章 词嵌入 69

4.1 词嵌入概述 69

4.2 分布式表示 69

4.2.1 分布式假设 70

4.2.2 共现矩阵 70

4.2.3 存在的问题 73

4.3 jieba分词处理 73

4.3.1 jieba库的三种模式和常用函数 74

4.3.2 jieba库分词的其他操作 75

4.3.3 中文词频统计实例 81

4.4 离散表示 82

4.4.1 one-hot编码 82

4.4.2 词袋模型 87

4.4.3 TF-IDF算法 90

4.4.4 n-gram模型 92

4.5 word2vec模型 98

4.5.1 word2vec模型介绍 98

4.5.2 word2vec模型结构 103

4.5.3 Skip-gram算法 105

4.5.4 CBOW算法 106

4.5.5 CBOW算法与Skip-gram算法的对比 107

4.5.6 算法改进 108

4.5.7 训练概率 109

4.5.8 word2vec实现 110

第5章 卷积神经网络分析与文本分类 120

5.1 全连接网络的局限性 120

5.2 卷积神经网络的结构 121

5.2.1 卷积层 122

5.2.2 池化层 129

5.2.3 全连接层 131

5.3 卷积神经网络的训练 131

5.3.1 池化层反向传播 132

5.3.2 卷积层反向传播 134

5.4 卷积神经网络的实现 139

5.4.1 识别0和1数字 139

5.4.2 预测MNIST数字 145

5.5 NLP的卷积 149

5.5.1 NLP卷积概述 149

5.5.2 用于文本分类的CNN 151

第6章 几种经典的卷积神经网络 161

6.1 AlexNet 161

6.1.1 AlexNet的结构 161

6.1.2 AlexNet的亮点 162

6.1.3 AlexNet的实现 163

6.2 DeepID网络 168

6.3 VGGNet 169

6.3.1 VGGNet的特点 169

6.3.2 VGGNet的结构 169

6.3.3 VGGNet的实现 171

6.4 Inception Net 175

6.4.1 Inception Net的原理 175

6.4.2 Inception Net的经典应用 176

6.5 ResNet 181

6.5.1 ResNet的结构 181

6.5.2 ResNet的实现 184

第7章 循环神经网络及语言模型 190

7.1 循环神经网络概述 190

7.1.1 循环神经网络的原理 191

7.1.2 循环神经网络的简单应用 194

7.2 损失函数 195

7.3 梯度求解 196

7.3.1 E3关于参数V的偏导数 197

7.3.2 E3关于参数W的偏导数 197

7.3.3 E3关于参数U的偏导数 197

7.3.4 梯度消失问题 198

7.4 循环神经网络的经典应用 198

7.4.1 实现二进制数加法运算 198

7.4.2 实现拟合回声信号序列 202

7.4.3 基于字符级循环神经网络的语言模型 209

7.4.4 使用PyTorch实现基于字符级循环神经网络的语言模型 213

第8章 长短期记忆及自动生成文本 220

8.1 长短期记忆网络 220

8.1.1 LSTM核心思想 221

8.1.2 LSTM详解与实现 222

8.2 窥视孔连接 230

8.3 GRU网络对MNIST数据集分类 231

8.4 双向循环神经网络对MNIST数据集分类 233

8.5 CTC实现端到端训练的语音识别模型 237

8.6 LSTM生成文本预测 244

8.6.1 模型训练 244

8.6.2 预测文本 246

第9章 其他网络的经典分析与应用 248

9.1 自编码网络及实现 248

9.1.1 自编码网络的结构 248

9.1.2 自编码网络的代码实现 249

9.2 栈式自编码器及实现 256

9.2.1 栈式自编码概述 256

9.2.2 栈式自编码训练 256

9.2.3 栈式自编码实现MNIST手写数字分类 257

9.2.4 栈式自编码器的应用场合与实现 259

9.3 变分自编码及实现 268

9.3.1 变分自编码原理 268

9.3.2 变分自编码模拟生成MNIST数据 269

9.4 条件变分自编码及实现 275

9.4.1 条件变分自编码概述 275

9.4.2 条件变分自编码网络生成MNIST数据 275

参考文献 281