深度学习(下)

深度学习是当前人工智能的引领技术，是引发新一轮人工智能热潮的原动力。本书从模型、算法、原理等角度全面介绍深度学习技术，包括近两年近期新成果。全书由三大部分组成。部分是机器学习和神经网络基础，包括机器学习问题、浅层机器学习、早期神经网络等；第二部分是深度学习模型及算法，包括深度生成模型、卷积网络、循环和递归网络、表示学习等。第三部分是深度学习理论基础和前沿课题，包括深度学习表达能力分析、深度学习泛化能力分析、深度学习可视化、深度学习的数学、物理、神经科学基础等。

前言
9 深度置信网络和深度玻尔兹曼机
9.1 深度置信网络和深度玻尔兹曼机的起源
9.1.1 玻尔兹曼机
9.1.2 受限玻尔兹曼机
9.2 模型参数学习
9.2.1 吉布斯采样
9.2.2 对比散列算法
9.3 深度置信网络
9.3.1 深度置信网络模型
9.3.2 深度置信网络训练
9.4 深度玻尔兹曼机
9.4.1 深度玻尔兹曼机模型
9.4.2 深度玻尔兹曼机参数学习
9.5 深度置信网络和深度玻尔兹曼机的应用
9.5.1 深度置信网络的应用
9.5.2 深度玻尔兹曼机的应用
9.6 阅读材料
参考文献
10 自编码器
10.1 自编码器介绍
10.1.1 自编码器的结构
10.1.2 自编码器的训练
10.2 深度自编码器
10.3 自编码器的变形
10.3.1 稀疏自编码器
10.3.2 降噪自编码器
10.3.3 收缩自编码器
10.3.4 掩码自编码器
10.3.5 其他自编码器
10.4 变分自编码器
10.4.1 变分推断
10.4.2 详解变分自编码器
10.5 变分自编码器的变形
10.5.1 半监督变分自编码器
10.5.2 反向自回归流变分自编码器
10.5.3 信息优选化变分自编码器
10.5.4 优选均值差异变分自编码器
10.5.5 向量量化变分自编码器
10.5.6 降噪变分自编码器
10.5.7 梯形变分自编码器
10.6 变分自编码器的应用
10.6.1 机器翻译
10.6.2 文本分类
10.7 阅读材料
参考文献
11 生成对抗网络
11.1 原始生成对抗网络
11.1.1 生成对抗网络的基本结构
11.1.2 深入理解生成对抗网络
11.1.3 原始生成对抗网络中的问题
11.2 生成对抗网络的发展
11.2.1 深度卷积生成对抗网络
11.2.2 基于Wasserstein距离的生成对抗网络
11.2.3 加罚项的基于Wasserstein距离的生成对抗网络
11.2.4 带有一致化项的生成对抗网络
11.2.5 损失敏感的生成对抗网络
11.2.6 信息优选化生成对抗网络
11.3 生成对抗网络的训练
11.3.1 训练生成对抗网络的问题与发展
11.3.2 训练生成对抗网络的一些技巧
11.3.3 渐进增大方式训练生成对抗网络
11.3.4 生成对抗网络的谱归一化
11.3.5 通过原始-对偶次梯度方法训练生成对抗网络
11.3.6 用优化镜像下降的方法训练生成对抗网络
11.3.7 一阶惩罚生成对抗网络
11.4 深度生成模型的联合模型
11.4.1 对抗变分贝叶斯方法
11.4.2 建立深度生成模型之间的原则性联系
11.4.3 对抗自编码器
11.4.4 Wasserstein自编码器
11.5 最优传输理论与生成对抗网络
11.5.1 从最优传输理论到生成模型
11.5.2 利用最优传输理论改善生成对抗网络
11.6 生成对抗网络的评估
11.6.1 几何评分：一种比较样本的方法
11.6.2 调节生成器对生成对抗网络性能的影响
11.7 生成对抗网络的其他模型
11.8 生成对抗网络的应用
11.8.1 图像的生成与操作
11.8.2 文本
11.9 早期的对抗模型
11.10 生成对抗网络的总结
11.11 阅读材料
参考文献
12 像素级生成模型
12.1 PixelCNN
12.1.1 PixelCNN介绍
12.1.2 mask卷积
12.1.3 盲点问题
12.2 PixelRNN
12.2.1 行LSTM PixelRNN
12.2.2 对角线BiLSTM PixelRNN
12.3 门PixelCNN
12.4 条件PixelCNN
12.5 PixelVAE
12.6 PixelGAN
12.7 阅读材料
参考文献
13 深度聚类
13.1 聚类概述
13.1.1 传统聚类与深度聚类之间的关系
13.1.2 深度聚类模型结构
13.1.3 深度聚类损失函数
13.1.4 簇的更新策略
13.2 深度嵌入聚类算法
13.2.1 自编码器与聚类结合
13.2.2 变分自编码器与聚类的结合
13.2.3 梯子网络与聚类的结合
13.2.4 卷积神经网络与聚类的结合
13.3 深度谱聚类
13.4 深度子空间聚类
13.5 阅读材料
参考文献
14 深度强化学习
14.1 基于值函数的深度强化学习
14.1.1 深度Q网络
14.1.2 双重深度Q网络
14.1.3 优先化经验回放的深度Q网络
14.1.4 基于竞争网络架构的深度Q网络
14.2 基于策略搜索的深度强化学习
14.2.1 深度确定性策略梯度算法
14.2.2 异步的优势行动者-评论家算法
14.3 基于模型的深度强化学习
14.3.1 AlphaGo发展史
14.3.2 AlphaGo原理介绍
14.4 深度强化学习的应用
14.5 深度强化学习的未来
14.6 阅读材料
参考文献
15 深度学习的可解释性
15.1 可解释性概述
15.1.1 什么是可解释性
15.1.2 可解释的必要性
15.1.3 可解释性研究进展
15.2 可视化
15.2.1 可视化方法分类
15.2.2 特征可视化
15.2.3 关系可视化
15.2.4 过程可视化
15.3 深度学习内部工作机制探查
15.3.1 局部可解释模型
15.3.2 关系反向传播
15.3.3 决策树量化解释
15.3.4 信息论的角度解释模型
15.4 深度学习工作机制理论分析
15.4.1 基于统计的分析
15.4.2 基于信息论的分析
15.4.3 基于认知科学的分析
15.5 阅读材料
参考文献
16 对抗样本攻防和深度学习的鲁棒性
16.1 深度神经网络的脆弱性
16.2 对抗样本攻击
16.2.1 攻击策略
16.2.2 对抗样本的产生
16.2.3 对抗样本的迁移
16.3 对抗攻击的检测与防御
16.3.1 对抗样本的检测
16.3.2 对抗攻击的防御
16.4 深度神经网络的鲁棒性
16.4.1 分类器的鲁棒性
16.4.2 Parseval网络
16.4.3 评估神经网络的鲁棒性
16.4.4 为深度神经网络提供可保证的鲁棒性
16.5 深度学习测试
16.5.1 白盒测试
16.5.2 黑盒测试
16.6 深度学习验证
16.6.1 可满足性模理论
16.6.2 线性实数算法和单纯形
16.6.3 从Simplex到Reluplex
16.6.4 有效实施Reluplex
16.6.5 案例研究：ACASXu系统
16.7 阅读材料
参考文献