【技术名称】一种基于多模态数据融合的学习者行为识别方法

【应用行业】教育行业

【技术领域】教育信息化

【知识产权】发明专利

【成果完成单位】华中师范大学

【成果完成人姓名】杨宗凯、廖盛斌、邓颖

【成果完成时间】2020-11-27

【专利号】CN202011355638.9

【授权日期】2023-05-16

【技术成熟度】已有样品

【应用背景】课堂是教师授课和学生获取知识的重要场所，随着社会的不断发展及对学生教育的重视程度提升，对课堂教学质量进行智能化分析变得越发重要。用信息化技术对课堂中学生的行为进行检测、处理和分析，不仅可以提醒学生规范，还可以反映课堂活跃程度，帮助教师改善教学方式。并且如果在学生行为分析后除了给出适合学生的学习模式，进行有效学习建议反馈和学习路径推荐外，对学生进行一定的学习行为干预，将会对学生的学习绩效提升更有意义。目前对学生行为识别的研究较少，研究方法主要集中在机器学习和深度学习上。主要的学生行为识别方法都是遵循以下两个步骤：(1)从原始视频或者图像数据中识别出学生；(2)对识别出的学生进行分类。然而，很多时候仅仅是单一的图片或者视频是不能够非常好地识别出学生行为的，其无法适应不同课堂环境和组成成分的多变性和复杂性。

【成果简介】该成果公开了一种基于多模态数据融合的学习者行为识别方法，该方法包括对xAPI活动流数据、视频数据以及音频数据进行预处理；将待识别的所述xAPI活动流数据输入BERT模型，将待识别的所述视频数据输入SlowFast模型，将待识别的所述音频数据输入VGGish模型，用以分别对不同模态数据进行特征提取；对三个模型进行特征提取后得到的特征向量分别进行PCA降维，并对降维后的三个所述特征向量进行TFN特征向量融合，得到多模态特征向量；将所述多模态特征向量输入卷积神经网络分类器中进行学生行为的分类，得到学生行为分类结果。该成果采用了一种新的多模态数据融合的办法，有效保留了每个模态数据的特点，使模型的分类准确率更高。

【成果图片】

【联系方式】段治国、安红高、刘树楠、吴涛，02767868068，02767868067