负责人：徐胜超
导师：熊茂华
经费：12万
所在学院：数据科学学院
项目名称：基于多模态人脸识别的“人证合一”系统的关键技术研究
项目编号: 2021HSDS15
一、成果列表:
[1]徐胜超.流形学习降维算法中一种新动态邻域选择方法[J],计算机技术与发展. 2022,32(01):85-90(CSTPCD核心期刊)
[2]徐胜超,叶力洪.基于多方向特征融合的动态人脸微表情识别方法[J],计算机与数字工程. 2022,50(08):1818-1822(CSTPCD核心期刊)
[3]徐胜超.一种新的多姿态人脸图像识别方法[J],计算机与数字工程. 2023,51(02):468-471(CSTPCD核心期刊)
[4]徐胜超,熊茂华.基于子模式的人脸局部遮挡智能识别方法[J],信息技术. 2023,(03):35-39(CSTPCD核心期刊)
[5]周天绮,徐胜超.基于广义对称变换的多模态人脸面部特征识别方法[J],计算机工程与设计. 2022,43(09):2609-2613(CSTPCD核心期刊)
二、成果内容提要（含主要观点、学术价值及创新点等）
1. 主要观点
人脸识别技术已经广泛应用于各个领域中，其主要通过计算机设备对人脸面部进行扫描，从扫描结果中获取有效信息，从而完成身份识别。随着人脸识别与其他科学的交叉发展，人脸面部特征分析逐渐受到关注，针对面部特征的研究也有很多。
本项目的主要研究内容和观点是：(1)基于多方向特征融合的动态人脸微表情识别；(2)全新的多姿态人脸图像识别方法；(3)基于子模式的人脸局部遮挡智能识别方法；(4)基于广义对称变换的多模态人脸面部特征识别方法；具体的观点如下：
论文”基于多方向特征融合的动态人脸微表情识别方法” 提出基于多方向特征融合的动态人脸微表情识别方法。估计噪声动态人脸图像，分块处理噪声动态人脸图像，并求解动态人脸图像块系数，对动态人脸图像完成重构。增强去噪后动态人脸图像，通过AAM模型提取动态人脸图像中距离特征信息，对全部特征进行多方向融合，实现动态人脸微表情识别。实验结果表明，该方法的人脸微表情识别效果较好，能够精准完成动态人脸微表情识别，减小识别耗时。
论文”一种新的多姿态人脸图像识别方法”提出一种新的多姿态人脸图像识别方法。该方法首先通过小波包去噪方法对多姿态人脸图像进行阈值去噪，对人脸图像进行一层小波变换，去噪处理人脸图像，形成多个子图像，分别分解子图像和训练图像奇异值，在此基础上获取局部和整体特征向量，将两者进行结合，提取人脸图像的姿态信息，完成多姿态多人脸识别。仿真实验测试表明，该方法能够以较高的精度和较快的速度完成多姿态人脸图像识别，具有较好的性能。
论文”基于子模式的人脸局部遮挡智能识别方法”提出一种基于子模式的人脸局部遮挡智能识别方法，利用自适应小波变换方法，多尺度分解人脸图像，基于此，引入小波模最大值算法和Canny算子，有效提取图像边缘特征。引入局部方向纹理模式算子，经过计算获取各个子模式特征值，同时采用边缘返回值确定计算人脸图像纹理特征时的权重分配，将梯度和纹理信息进行融合，实现人脸局部遮挡智能识别。实验结果表明，所提方法的遮挡人脸误识率始终低于0.2%，当遮挡率为25%时，该方法的人脸识别率仍可达94%，可以为人脸识别的深入研究提供依据。
论文”基于广义对称变换的多模态人脸面部特征识别方法”设计基于广义对称变换的多模态人脸面部特征识别方法。通过积分投影获取面部含有特征点的最小边界矩形，通过能量函数获取下巴最低点，根据面部轮廓定义先验模板，完成左、右脸面部轮廓特征的提取。以左右脸特征的对称情况为基础分解人脸图像，加权处理人脸镜像对称性向量，凭借欧式距离完成人脸特征的识别。通过实验验证分析可知，该方法的特征识别准确率较高，且识别效率较高，说明该方法的实际应用价值较高。
2. 学术价值及创新点
本项目针对人脸识别身份验证系统中的关键技术，主要针对传统人工身份核验效率低、成本高等缺陷，采用人脸识别智能技术实现自助验证通关，同时通过多模态图像数据克服传统人脸识别中的光照问题，最终实现复杂环境下的人脸鲁棒识别，为构建智能化、自助化的新型安全认证业务模式提供了一种行之有效的身份核验算法和方案。
