深度学习算法与实践

1.这是一本深度学习入门级图书，侧重于介绍与应用相关的重点算法与理论；
2.代码应用与理论相结合，帮助读者做到学以致用；
3.力求以统一的数学语言详细而完整地描述深度学习理论；
4.提供代码下载，且代码可重用。

本书旨在为读者建立完整的深度学习知识体系。全书内容包含3个部分，部分为与深度学习相关的数学基础；第二部分为深度学习的算法基础以及相关实现；第三部分为深度学习的实际应用。通过阅读本书，读者可加深对深度学习算法的理解，并将其应用到实际工作中。
本书适用于对深度学习感兴趣并希望从事相关工作的读者，也可作为高校相关专业的教学参考书。

于子叶，中国科学院博士研究生，曾就职于生物科技公司。从事数值模拟算法以及智能算法设计研究。曾参与四川地区灾害监测智能算法设计工作，将深度学习算法应用于灾害检测领域。人工智能讲师，参与AI线下课程设计，普及TensorFlow使用。

第 一部分
第  1章 空间几何与线性代数  3
1.1  多维几何空间  3
1.1.1  空间、函数和向量  3
1.1.2  空间变换与矩阵  7
1.2  矩阵和运算  9
1.2.1  矩阵基本运算  9
1.2.2  矩阵分块运算和线性变换  10
1.2.3  矩阵分解  11
1.2.4  方阵的线性变换：特征值分解  12
1.2.5  非方阵线性变换：奇异值分解  13
1.2.6  其他线性变换：字典学习  14
1.3  实践部分  14
1.3.1  矩阵定义与计算  14
1.3.2  仿射变换实例  16
1.3.3  数据压缩  18
1.4  小结  20
第  2章 概率与统计  22
2.1  概率基础概念  22
2.2  随机变量数字特征  25
2.3  信息熵  28
2.4  概率模型下的线性变换  30
2.5  优选似然估计与优选后验估计  31
2.6  常见分布  34
2.7  实践部分  36
2.8  小结  40
第3章  函数建模与优化  41
3.1  函数与建模  41
3.1.1  机器学习问题描述  42
3.1.2  函数的展开与建模  44
3.2  优化问题  45
3.2.1  多元函数展开和梯度  45
3.2.2  无约束最优化问题  46
3.2.3  约束最优化问题提出  49
3.2.4  等式约束的最优化问题示例  50
3.2.5  不等式约束的最优化问题示例  51
3.2.6  约束最优化与优选熵  53
3.3  损失函数的多元函数表示  54
3.3.1  基于梯度的优化算法  54
3.3.2  动量加入  55
3.3.3  AdaGrad与Adam算法  55
3.4  过拟合与欠拟合问题  57
3.4.1  问题阐述  57
3.4.2  过拟合与欠拟合判断  59
3.5  集成学习  61
3.5.1  方差和偏差  61
3.5.2  Bagging和Boosting  62
3.6  实践部分  63
3.6.1  线性回归问题  63
3.6.2  使用TensorFlow进行曲线拟合  65
3.6.3  多元线性回归问题  66
3.7  小结  68

第4章  机器学习库的使用  69
4.1  TensorFlow执行过程  69
4.2  建模与优化所需的函数  72
4.2.1  自动求导  72
4.2.2  矩阵以及相关的计算  73
4.2.3  从手写数字识别例子来完整学习建模和优化过程  75
4.3  多个计算图  80
4.4  变量命名  80
4.5  小结  83
第二部分
第5章  深度学习模型与全连接网络  87
5.1  多层神经网络与理解  87
5.1.1  表格类型数据与线性模型  87
5.1.2  多层神经网络模型引入  90
5.1.3  过拟合问题  94
5.2  链式求导与反向传播  96
5.2.1  矩阵相乘可训练参数导数与误差传播  96
5.2.2  偏置项导数可训练参数导数与误差传播  97
5.2.3  通过函数可训练参数导数与误差传播  97
5.3  实践部分  98
5.3.1  多层全连接网络从零实现  98
5.3.2  调用TensorFlow实现全连接网络  101
5.3.3  空间变换  102
5.3.4  TensorFlow高层API  103
5.4  小结  104
第6章  卷积神经网络  105
6.1  连续型数据  105
6.2  信号处理中的卷积  107
6.2.1  滑动互相关与特征提取  107
6.2.2  滤波概念与滑动互相关关系  109
6.3  从神经网络的角度看待卷积神经网络  112
6.4  卷积神经网络  113
6.4.1  输入数据形式  113
6.4.2  卷积的数学形式  114
6.4.3  感受野  114
6.4.4  加深网络与调整步长  115
6.4.5  池化层的数学形式  115
6.4.6  空洞卷积  116
6.4.7  图像金字塔  117
6.5  卷积神经网络反向传播算法  117
6.5.1  卷积层反向传播  118
6.5.2  池化层反向传播  118
6.5.3  展开层反向传播  118
6.6  实践部分  118
6.6.1  卷积结构滤波  118
6.6.2  卷积神经网络从零实现  121
6.6.3  卷积神经网络的TensorFlow实现  125
6.6.4  卷积神经网络其他API  127
6.7  小结  127
第7章  循环神经网络基础  128
7.1  文本数据类型  128
7.1.1  无顺序文本  128
7.1.2  顺序文本处理  130
7.2  文本问题建模  130
7.2.1  无顺序文本建模  130
7.2.2  顺序文本建模  132
7.3  循环神经网络模型  132
7.3.1  基本循环神经网络模型  132
7.3.2  循环神经网络结构改进  133
7.3.3  卷积神经网络处理时序数据  134
7.4  反向传播过程  134
7.5  实践部分  134
7.5.1  从零实现循环神经网络  134
7.5.2  文本分类问题  139
7.5.3  TensorFlow的Embedding示例  141
7.5.4  TensorFlow的RNN输入与输出示例  141
7.5.5  中文分词示例  142
7.6  小结  142
第8章  循环神经网络扩展  144
8.1  双向RNN  144
8.2  联结主义时间分类器  146
8.2.1  CTC-Loss  146
8.2.2  CTC解码  147
8.3  编码-解码结构（基于RNN）  149
8.3.1  结构说明  149
8.3.2  序列损失函数（Sequence Loss）  151
8.3.3  预测过程  151
8.4  实践部分  151
8.4.1  使用RNN进行文本分类  151
8.4.2  使用RNN进行文本生成实例  152
8.4.3  中文文本分词实践  155
8.5  小结  162
第9章  深度学习优化  163
9.1  网络结构优化  163
9.1.1  Inception结构  163
9.1.2  残差网络  164
9.1.3  注意力机制  165
9.2  神经网络辅助结构  167
9.2.1  批正则化  167
9.2.2  DropOut  168
9.3  深度学习参数优化  169
9.3.1  学习率  169
9.3.2  批尺寸  169
9.3.3  Embedding大小与DropOut数值  169
9.3.4  网格搜索方法  169
9.3.5  初始化策略  170
9.3.6  数据预处理  170
9.3.7  梯度剪裁  170
9.4  实践部分  171
9.5  小结  172
第三部分
第  10章 图像处理任务  175
10.1  图像多分类问题  175
10.1.1  人脸识别类任务分析  179
10.1.2  三元损失函数  179
10.1.3  使用分类问题训练  180
10.1.4  CenterLoss  180
10.1.5  结果  181
10.2  任意大小图像处理  182
10.2.1  纯卷积结构  182
10.2.2  图像处理任务中的分类与回归问题  184
10.2.3  预测过程  186
10.3  物体检测问题  189
10.3.1  RCNN类物体检测算法  189
10.3.2  Yolo类物体检测方法  195
10.4  小结  199
第  11章 自然语言处理  200
11.1  语音识别任务  200
11.1.1  语音信号特征  201
11.1.2  语音处理模型  204
11.1.3  结果输出  205
11.2  自然语言翻译  205
11.2.1  编码结构  206
11.2.2  解码结构  206
11.2.3  Attention机制  211
11.2.4  网络结构图像解释  214
11.2.5  损失函数  214
11.3  文本转语音（TTS）模型  215
11.3.1  网络模型  215
11.3.2  自定义RNN结构：ZoneoutLSTM  215
11.3.3  自定义RNN：带有卷积层的循环网络  218
11.3.4  自定义解码器  219
11.3.5  自定义Helper  221
11.3.6  自定义Attention机制  222
11.3.7  模型描述  223
11.3.8  后处理  225
11.3.9  结果展示  226
11.4  小结  227
第  12章 非监督学习模型  228
12.1  对抗生成网络  228
12.1.1  反卷积结构  229
12.1.2  对抗神经网络的搭建  230
12.1.3  结果展示  234
12.2  去噪自编码器  234
12.2.1  去噪自编码器结构  235
12.2.2  去噪结果  235
12.2.3  与对抗生成网络对比  236
12.3  增强学习  236
12.3.1  游戏说明  238
12.3.2  网络模型  239
12.3.3  损失函数构建  240
12.4  小结  242