基于彩色和深度信息的头部姿势估计研究与应用

【类型】学位论文

【作者】唐云祁 

【关键词】 图像预处理 特征提取 姿态感知模型 头部姿势估计 Kinect传感器

【学位授予单位】中国科学院大学

【摘要】头部姿势估计是一个典型而复杂的模式识别问题，在人脸识别、虹膜识别、视线估计等研究领域有着广泛的应用前景，具有重要的学术研究价值。本文以Kinect传感器获取的RGB-D图像为头部姿态估计的数据基础，以实时应用系统为目标，对头部姿势估计的各个模块（如图像预处理、特征提取等）展开研究，试图构建统一的深度图像姿态感知模型，来指导头部姿势估计特征设计，并寻找区分性好、鲁棒性强的特征以描述头部姿势的变化规律。具体来说，本文的主要工作和贡献如下: ①针对Kinect传感器采集的RGB-D图像，融合深度图像和彩色图像的物理特性，设计了一种新颖的脸部定位分割算法。与传统多姿态人脸检测算法相比，该算法能精确、快速定位大姿态变化下人脸位置。 ②以人类视觉系统的深度信息处理能力为引导，提出了一个新颖的深度切片姿态感知模型。该模型采用“化整为零”的思想，将整幅深度图像分解成一系列切片，来描述目标的姿态变化规律，比较接近人类视觉系统对深度信息的处理过程，具有实现方式灵活多变、扩展性好和抗噪声能力强的特点。深度切片姿态感知模型为深度图像的表达提供了一个统一框架，为深度图像特征表达的设计提供了理论指导。 ③基于深度切片姿态感知模型，提出了三种新颖的头部姿势估计特征，它们是切片几何中心描述子、切片局部深度描述子和切片局部方向描述子。其中，切片几何中心描述子采用切片几何中心的归一化坐标来描述切片随头部姿态的变化规律，具有抗噪声能力强的特点;而切片局部深度描述子则不仅使用切片的方式沿像素值增长方向提取局部特征，而且还借鉴LBP的思想在切片图像上提取局部特征，把“局部”的思想运用到了极致;最后，切片局部方向描述子综合切片几何中心描述子和切片局部深度描述子的优点，既借鉴了切片局部深度描述子“多重局部”的思想，又吸纳了几何中心描述子高鲁棒性的特点，具有精度高和鲁棒性好的特点。 ④在借鉴积分图思想的基础上，设计了切片坐标积分数组、切片深度积分图和切片坐标积分图，将切片几何中心描述子特征、切片深度描述子特征和切片方向描述子特征的抽取工作简化为简单的减法和除法，分别实现了三种描述子特征的快速提取算法，从而保证了头部姿势估计方法的实时性。并且，以当前流行回归方法为工具，实现了三种实时头部姿势估计方法。 ⑤融合切片局部深度描述子和切片局部方向描述子的特点，设计并实现了一个由粗到精的头部姿势估计系统;同时，基于微软Face Tracking SDK提供的鼻尖位置，实现了一个基于切片方向描述子的实时头部姿势估计系统，并将其应用于人脸识别，提高了人脸识别的易用性。 本文的工作为进一步开展人脸识别、视线估计等相关研究打下了坚实的基础。

【学位年度】2013-01

【学位名称】博士

【分类号】TP391.41

【导师姓名】谭铁牛，孙哲南