【技术名称】一种结合注意力机制的面部表情识别方法及系统

【应用行业】人工智能

【技术领域】表情识别技术

【知识产权】发明专利

【成果完成单位】华中师范大学

【成果完成人姓名】刘三女牙、杨宗凯、叶世豪、朱晓亮、戴志诚、赵亮

【成果完成时间】2020-11-24

【专利号】CN202011325980.4

【授权日期】2023-06-30

【技术成熟度】已有样品

【应用背景】面部表情是人类传达情绪状态生理和心理的反应，面部表情识别在机器人、智能医疗、人机交互和在线教育等多个领域都有广泛的应用。目前的面部表情识别技术主要分为静态图片识别和动态视频序列识别。图片识别只考虑当前图像特征，但面部表情是一个动态变化的过程，静态图片识别忽略了表情在时间维度和空间维度上的变化，存在局限性。因此进一步的研究面部表情识别需要考虑表情的空时特征，在视频序列上对面部表情识别以提升算法的性能。虽然现有的面部表情识别技术取得了较好的识别结果，但仍有不少缺点。大多方法都是对在实验环境下采集的表情数据集验证，对于在自然条件下，受到头部姿态偏移、光照变化、遮挡、运动模糊等因素影响的表情识别率大大降低，这使得自然条件下的面部表情识别仍然是一个具有挑战性的问题。

【成果简介】该成果提供一种结合注意力机制的面部表情识别方法及系统，包括：检测视频序列中每个视频帧内包括的人脸，并提取对应的人脸ROI，得到每个视频帧内的人脸图片；基于人脸图片的面部特征点的位置信息对每个视频帧内的人脸图片进行对齐；将对齐后的人脸图片输入到残差神经网络中，提取人脸图片对应的人脸面部表情的空间特征；将人脸面部表情的空间特征输入到混合注意力模块，获取人脸面部表情的融合特征；将人脸面部表情的融合特征输入到门控制循环单元，提取人脸面部表情的时间特征；将人脸面部表情的时间特征输入到全连接层，对人脸面部表情进行分类识别。该成果将混合注意力模块嵌入卷积神经网络和循环神经网络中，提高了面部表情识别的准确率。

【成果图片】

【联系方式】段治国、安红高、刘树楠、吴涛，02767868068，02767868067