基于真实测量三维人脸的识别技术研究

本书主要对三维人脸识别中涉及的若干关键问题进行了深入的探讨与研究。书中首先介绍了人脸识别的概念、应用领域、实用价值，论述了二维人脸识别关键的预处理方法，如基于二维人脸的特征点定位方法，并着重介绍了基于改进级联形状回归的多视角二维人脸特征点定位方法。接着对几种常见人脸姿态估计方法做了详细的论述，如基于改进的随机森林、基于稠密多变量标签分布和深度卷积神经网络学习的方法等。很后在三维人脸识别的内容中，分别介绍了三维人脸识别的概念、难点以及三维人脸测量的基本原理，同时也讨论了三维人脸图像的预处理，并对基于真实测量三维人脸识别中常用的方法做了论述，如基于三维人脸模型辅助的姿态鲁棒的二维人脸识别方法和表情鲁棒的三维人脸识别方法，并在几个常见的三维人脸数据库上进行了评估。本书可作为计算机或电子信息专业高年级本科生、研究生的教科书及教师的参考用书，也可供从事相关领域研究的科技人员、工程技术人员参考使用。

章 绪论 1 1.1 人脸识别研究的背景 1 1.2 人脸识别研究的意义 3 1.3 二维人脸识别存在的困难与挑战 6 1.4 三维人脸识别方法综述 7 1.5 三维人脸识别存在的困难与挑战 9 1.6 三维人脸测量的基本原理 11 1.6.1 平视双目立体视觉系统 11 1.6.2 立体视差原理 11 1.6.3 极线约束 14 1.6.4 结构光 15 1.7 本书的主要工作与贡献 18 参考文献 21第2章 基于改进级联形状回归的多视角二维人脸特征点定位 25 2.1 问题的提出 26 2.2 前人相关工作 27 2.3 级联形状回归算法描述 28 2.4 基于改进级联形状回归的多视角二维人脸特征点定位 29 2.4.1 对姿态变化的鲁棒性 30 2.4.2 有效特征提取 32 2.5 实验结果与分析 33 2.5.1 AFLW数据库上实验结果 33 2.5.2 Color FERET数据库上实验结果 35 2.5.3 MultiPIE数据库上实验结果 37 2.6 本章小结 39 参考文献 39第3章 基于改进的随机森林的人脸姿态估计 41 3.1 问题的提出 41 3.2 前人相关工作 42 3.2.1 随机森林原理介绍 42 3.2.2 随机森林用于人脸姿态估计 44 3.3 基于改进的随机森林的人脸姿态估计 44 3.3.1 特征加权 45 3.3.2 训练随机森林 46 3.3.3 生成树评估与筛选 48 3.3.4 人脸姿态估计 48 3.4 实验结果与分析 49 3.4.1 生成树数量的选取 50 3.4.2 Pointing’04上的实验结果 50 3.4.3 CASPEAL上的实验结果 53 3.4.4 NCKU上的实验结果 54 3.4.5 FacePix上的实验结果 55 3.4.6 监控数据库上的实验结果 56 3.4.7 阈值的选择 60 3.5 本章小结 61 参考文献 62第4章 基于稠密多变量标签分布的人脸姿态估计 65 4.1 问题的提出 66 4.2 前人相关工作 69 4.3 基于稠密多变量标签分布的人脸姿态估计 70 4.3.1 基于稠密多变量标签分布 71 4.3.2 特征提取 73 4.3.3 多变量标签分布学习方法 74 4.3.4 人脸姿态估计 75 4.4 实验结果与分析 76 4.4.1 实验设置 76 4.4.2 参数选择 77 4.4.3 训练样本中不存在姿态的预测能力 79 4.4.4 Pointing’04数据库上结果比较 81 4.4.5 CASPEAL数据库上结果比较 83 4.4.6 MultiPIE数据库上结果比较 85 4.5 本章小结 86 参考文献 86第5章 基于稠密多变量标签分布和深度卷积神经网络的人脸姿态估计方法 88 5.1 问题的提出 89 5.2 前人相关工作 90 5.2.1 深度卷积网络原理 92 5.2.2 深度卷积网络用于人脸姿态估计 93 5.3 基于稠密多变量标签分布和深度卷积神经网络的人脸姿态估计方法 93 5.3.1 基于深度卷积神经网络的有效特征提取 94 5.3.2 基于稠密多变量标签分布的分类器学习 96 5.4 实验结果与分析 97 5.4.1 实验设置 97 5.4.2 方法的对齐鲁棒性测试 99 5.4.3 稠密多变量标签分布的有效性测试 101 5.4.4 与其他 stateoftheart方法结果比较 102 5.4.5 算法实时性测试 105 5.5 本章小结 105 参考文献 106第6章 基于三维人脸模型辅助姿态鲁棒的二维人脸识别 109 6.1 问题的提出 110 6.2 前人相关工作 111 6.3 基于三维人脸模型辅助姿态鲁棒的二维人脸识别 112 6.3.1 三维人脸模型辅助的二维人脸对齐 113 6.3.2 稀疏表示分类 115 6.4 实验结果与分析 116 6.4.1 数据库介绍 116 6.4.2 三维辅助的二维人脸识别结果 118 6.4.3 时间复杂度 120 6.5 本章小结 121 参考文献 122第7章 表情鲁棒的三维人脸识别方法 124 7.1 问题的提出 125 7.2 前人相关工作 125 7.3 三维人脸模型的自动预处理 126 7.4 表情鲁棒的三维人脸识别方法 128 7.4.1 刚性/非刚性区域划分 129 7.4.2 非刚性区域相似度计算方法 131 7.4.3 刚性区域相似度计算方法 134 7.5 实验结果与分析 135 7.5.1 实验设置及参数 135 7.5.2 含有表情变化的三维人脸识别 136 7.5.3 无表情变化的三维人脸识别 139 7.5.4 点云密度对识别率的影响 141 7.5.5 CurtinFaces数据库识别结果 143 7.6 本章小结 144 参考文献 145

人脸识别作为生物特征识别中的一个非常重要的分支，其在理论研究和现实应用两个方面都体现出了重要的意义和价值。目前，人脸识别已成为图像处理、人工智能、模式识别、机器视觉等领域的重要热门方向。历经几十年的发展，虽然人脸识别技术已经取得长足的进步，但是大量的实践和测试结果表明：要开发出真正鲁棒的、具有良好实际应用效果的人脸识别系统，还有很多关键问题需要解决。本书主要针对基于真实测量三维人脸识别中的若干关键问题进行了深入的探讨与研究，目的是为了让读者了解基于真实测量三维人脸识别涉及的基本概念及前沿动态，进而对于人脸识别技术有比较全面的认识和把握。本书共分为7个章节，各章内容如下：章，主要介绍了本书的研究背景、人脸识别研究的主要意义、二维人脸识别的局限性及当前存在的主要问题、三维人脸识别国内外研究现状综述和挑战以及三维人脸测量基本原理等。第2章，针对现有的人脸特征点定位方法在姿态偏转比较大的情况下，不能在同一训练模型框架下实现二维人脸特征点的精确定位的问题，提出基于改进级联形状回归的多视角二维人脸特征点定位方法。第3章，针对传统随机森林在人脸姿态估计中预测性能不高的问题，首先对经典的随机森林算法原理进行介绍；然后重点讨论了将随机森林用于人脸姿态估计的相关文献；最后分析了随机森林算法的优势以及可以提升算法的关键技术，如特征加权、生成树筛选。第4章，针对人脸姿态库中的训练样本姿态都是离散的，然而人脸姿态是连续的这一客观情况，提出使用基于稠密多变量标签分布的人脸姿态估计方法计算样本姿态。第5章，提出一种基于稠密多变量标签分布和深度卷积神经网络的人脸姿态估计方法。首先，为了消除人工设计特征对姿态估计算法的影响，提出利用深度卷积网络自动学习对头部姿态估计鲁棒的特征；然后，针对于现存人脸姿态库中存在的样本图像姿态标记不十分准确的问题以及姿态欠采样的问题，提出使用基于稠密多变量标签分布和深度卷积神经网络的人脸姿态估计方法，以进一步提高算法性能。第6章，针对二维人脸识别算法中，随着人脸姿态偏转增大而导致的识别率严重下降问题，提出基于三维人脸模型辅助姿态鲁棒的二维人脸识别。第7章，针对如何有效克服或降低表情变化对三维人脸识别效果的影响这一极具挑战的问题，提出表情鲁棒的三维人脸识别方法。本书具有很强的可读性和可操作性。通过本书的学习，能够对三维人脸识别有一个深刻的理解和系统的认识。本书受到国家科技部重大科学仪器设备开发专项“高速高精度结构光三维测量仪器开发与应用”（项目号：2013YQ490879）中“三维人脸识别”子项、国家青年自然科学基金（项目号：61703183）、浙江省自然科学基金（项目号：LQ18F020006，LQ18F020007）的资助，在此表示真诚的感谢。本书在编写过程中力求完美，但限于编者水平有限和时间仓促，书中难免存在不当之处，恳请读者批评指正，以便今后进一步修改、补充，使其逐步完善。