基于深度学习的视频物体分割方法与技术

本书介绍了视频物体分割任务的理论、技术与应用。全书分为四大部分，第一部分（第1章～第3章）介绍了视频物体分割的研究现状和理论基础，主要包含国内外相关研究、视频物体分割基础概念、两类融合算法的具体实现与实验分析；第二部分（第4，5章）介绍了视频物体分割算法在训练阶段和测试阶段的优化技巧，主要包含训练阶段针对性的样本扩充、损失函数设计与测试阶段的后处理算法对比分析；第三部分（第6章）介绍了算法的评价方式，重点针对无监督条件下如何评价算法性能进行了细致解析；第四部分（第7，8章）给出了技术的具体应用，包括视频编辑、人机交互、智能监控、智慧医疗等场景，并对视频物体分割进行总结、展望未来发展趋势。

目录
前言
第1章 绪论 1
1.1 视频物体分割的概念 1
1.1.1 计算机视觉处理任务的语义层级划分 1
1.1.2 视频物体分割的定义 4
1.1.3 视频物体分割的任务划分 5
1.2 视频物体分割的应用领域 8
1.3 视频物体分割中的关键问题 10
1.4 视频物体分割的研究现状 11
1.4.1 图像分割技术的研究现状 11
1.4.2 无监督视频物体分割的研究现状 14
1.4.3 半监督视频物体分割的研究现状 15
1.4.4 交互式视频物体分割的研究现状 17
1.5 本章小结 18
第2章 运动和表观特征融合的视频物体分割技术 21
2.1 引言 21
2.2 视频的运动光流预测 22
2.3 基于运动和表观特征融合的视频物体分割模型 23
2.3.1 神经网络架构 25
2.3.2 双向传播与迭代优化 27
2.4 实验结果与分析 30
2.4.1 数据集和评测指标 30
2.4.2 算法的有效性验证 31
2.4.3 算法评价 32
2.5 本章小结 38
第3章 追踪和前景分割融合的视频物体分割技术 39
3.1 引言 39
3.2 视频目标追踪算法 40
3.3 基于部件追踪的快速视频物体分割技术 42
3.3.1 部件追踪 43
3.3.2 部件分割 46
3.3.3 基于相似度的掩模合成 47
3.4 实验结果与分析 49
3.4.1 数据集和评测指标 49
3.4.2 追踪器对比实验 50
3.4.3 算法有效性验证实验 51
3.4.4 算法评价 53
3.5 本章小结 57
第4章 视频物体分割算法的训练优化 59
4.1 引言 59
4.2 训练样本扩增技术 60
4.2.1 视频物体分割中的掩模数据扩充 60
4.2.2 视频物体分割中的光流数据扩充 62
4.3 训练损失函数设计 64
4.3.1 联合学习 64
4.3.2 视频物体分割中的掩模边缘问题分析 65
4.3.3 视频物体分割的掩模-边缘联合损失函数设计 66
4.4 实验结果与分析 69
4.4.1 数据集和评测指标 69
4.4.2 训练样本扩增技术的有效性验证 70
4.4.3 掩模-边缘联合损失函数的参数分析 73
4.4.4 掩模-边缘联合损失函数的有效性验证 75
4.4.5 联合学习网络的性能分析 76
4.5 本章小结 78
第5章 视频物体分割算法的掩模优化 79
5.1 引言 79
5.2 掩模优化技术概述 80
5.3 条件随机场掩模优化技术 82
5.3.1 基于平均场近似的 CRF 掩模优化 82
5.3.2 基于神经网络的 CRF 掩模优化 84
5.4 基于空间传播网络的掩模优化 86
5.5 基于目标连通域的掩模优化 89
5.6 实验结果与分析 92
5.6.1 CRF掩模优化效果 92
5.6.2 SPN掩模优化效果 93
5.6.3 基于连通域的掩模优化效果 94
5.7 本章小结 95
第6章 视频物体分割算法的质量评估 96
6.1 引言 96
6.2 分割掩模质量评估方法 97
6.2.1 有标注条件下的掩模质量评估 97
6.2.2 无标注条件下的掩模质量评估 100
6.3 基于深度学习的视频物体分割掩模质量自动评估算法 102
6.3.1 数据准备 102
6.3.2 模型介绍 106
6.3.3 模型训练 107
6.3.4 模型应用 107
6.4 实验结果与分析 108
6.4.1 网络各模块有效性分析 108
6.4.2 网络对不同评价指标的预测能力分析 109
6.4.3 模型参数分析 110
6.4.4 模型特征组合方式分析 111
6.4.5 模型通用性验证 113
6.5 自动质量评估算法的实际应用 114
6.5.1 自动质量评估算法用于掩模筛选 114
6.5.2 自动质量评估算法用于参数搜索 114
6.5.3 自动质量评估算法用于任意视频的掩模质量评价 116
6.6 本章小结 118
第7章 视频物体分割算法的应用推广 119
7.1 引言 119
7.2 视频物体分割在视频编辑中的应用实例 119
7.2.1 背景替换 119
7.2.2 实时特效 121
7.3 视频物体分割在人机交互中的应用实例 122
7.3.1 人机交互 122
7.3.2 增强现实 124
7.4 视频物体分割在智能监控中的应用实例 125
7.4.1 天网地面监控 125
7.4.2 无人机遥感监控 127
7.5 视频物体分割在智能医疗中的应用实例 128
7.5.1 医学影像分析 128
7.5.2 手术机器人 130
7.6 视频物体分割在自动驾驶中的应用实例 131
7.7 本章小结 133
第8章 总结与展望 134
参考文献 135
彩图