【技术名称】一种面部表情识别方法和系统

【应用行业】人工智能

【技术领域】本发明属于表情识别技术领域，更具体地，涉及一种面部表情识别方法及系统。

【知识产权】发明专利

【成果完成单位】华中师范大学

【成果完成人姓名】刘三女牙、杨宗凯、何自力、朱晓亮、戴志诚、赵亮

【完成人团队简介】刘三女牙教授团队长期从事大数据、人工智能、教育技术等领域研究，承担国家科技创新2030重大专项、国家重点研发计划、国家科技支撑计划、国家自科基金重点项目、湖北省技术创新重大项目、湖北省自科基金创新群体等各类项目，在中国科学、教育研究、Nature Computational Science、ACM/IEEE Trans等高水平刊物发表系列论文，荣获高等学校科学研究优秀成果科学技术进步一等奖、湖北省科技进步一等奖、高等教育国家教学成果二等奖、湖北省高等学校教学成果一等奖、中国自动化学会科技进步特等奖、全国教育科学优秀成果二等奖等系列奖励。

【成果完成时间】2021-11-04

【专利号】CN202111302276.1

【授权日期】2025-01-28

【技术成熟度】研发阶段

【应用背景】面部表情是非语言交际的一种形式，它是表达人类之间的社会信息的主要手段，是一种生理及心理的反应，通常用于传递情感。面部表情识别技术主要的应用领域包括智能控制、安全、医疗、通信、教育等领域。

目前面部表情识别技术主要有两大分支，分别是静态的面部表情帧识别和动态的含有面部表情的视频识别。现有的人脸表情识别大多是使用静态的面部表情帧识别，即通过视频帧提取手段，采集面部表情帧后提取人脸表情相关特征(如：眼部区域的眼睛、眉毛的动作以及嘴部区域的动作或者是两侧脸颊的微小动作特征)，分类其面部表情。静态面部表情识别只考虑当前图像特征，但面部表情是一个动态变化的过程，静态图片识别忽略了表情在时间维度和空间维度上的变化，存在局限性。

目前基于静态图像面部识别的主流方法为卷积神经网络(CNN网络)，CNN网络是使用卷积操作对人脸图像进行特征的提取。通过CNN网络的卷积操作能够在浅层学习到颜色、边缘等低层次的特征，在网络的中间层学习的特征会稍微变得复杂，会学到一些纹理特征(如：网格纹理特征)，在网络的高层就会学习有区别性的关键特征。但是在CNN网络学习时，只能对于人脸图像的局部特征进行学习，不能对图像的整体空间域特征进行学习，缺乏图像的上下文信息。如果CNN网络的层数过高，会导致梯度消失或者梯度爆炸等问题，且CNN网络不能很好的抑制影响人脸表情识别的因素。

残差网络是卷积神经网络的一种，特点是容易优化，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失和梯度爆炸的问题，在一定程度上解决了网络退化的问题。全连接层(fullyconnected layers，FC)在整个卷积神经网络中起到“分类器”的作用，全连接层则起到将学到的“特征表示”映射到样本标记空间的作用。

特征金字塔(Feature Pyramid)是用于检测不同尺度的对象的识别系统中的基本组件。在多尺度上识别目标是计算机视觉的一个挑战，通过提取多尺度的特征信息进行融合，进而提高模型精度。特征金字塔在目标检测、实例分割、姿态识别、面部识别等领域均有广泛的应用。

综上，虽然现有的技术能够获得较好的识别性能，但仍有不足。许多方法是对实验诱导出的表情数据来进行验证方法的效果，但在提高人脸表情识别的准确率上有极大的困难。在此背景下，克服上述因素的影响，增加方法的鲁棒性是实验条件下的面部表情识别的一个重大问题。

【成果简介】本发明公开了一种面部表情识别方法及系统，属于表情识别技术领域，包括：视频数据处理得到人脸图像帧数据集；将各人脸图像帧输入到残差网络提取面部表情纹理特征和局部细腻度特征；将面部表情纹理特征输入特征金字塔模块获得多尺度立体空间特征，将其叠加局部细腻度特征，得到多尺度及空间上下文特征；将多尺度及空间上下文特征输入双重级联模块获得全局关键空间域上下文特征；将全局关键空间域上下文特征输入循环神经网络，提取包含时间特征的多重上下文特征；将多重上下文特征输入到全连接层，对面部表情进行分类识别。本发明能够有效提高面部表情识别的准确率。

【成果图片】

【联系方式】汪兵、安红高、刘树楠、吴涛，02767862377，02767862003