【成果推介】一种融入多模态视觉信息的学习意图监测方法及系统

【应用行业】教育

【技术领域】计算机技术、智慧教育技术

【知识产权】发明专利

【成果完成单位】华中师范大学

【成果完成人姓名】刘海、张昭理、张胜强、时振武、童宇航、吴远芳、李林峰、赵万里

【完成人团队简介】团队主要研究自我调节学习、教育大数据挖掘、智慧学习环境下学习行为感知与理解、基于深度学习的泛义学习资源推荐方法

【成果完成时间】2021-08-27

【专利号】CN2021109981629

【授权日期】2024-02-27

【技术成熟度】研发阶段

【应用背景】随着现代化科学技术的不断发展，我国教育事业发展迅速，教育制度、素质教育、创新人才培养已逐渐成为人们的共识。毫无疑问，教育是每个国家最为看重的国家资源。教学场景也从单独课上这一场景已经发展为课下、线上等多样化形式，教育机器人助手辅助提高该环境下的教学质量以及陪伴学生提高上课效率是十分重要的意义。

学习意图是指人的心里活动指向和集中于某种事物的意愿，特别是表现在人对事物的关注点、对于事物投入的时间和精力。因此，学习意图可以反映一个人感兴趣的区域或者感兴趣的方向，这种特性被广泛应用，其中，研究课堂上的学生意愿也是人们重点关注的一个领域。但是，值得注意的是，课下学习者学习场景多样性、复杂性，导致头部姿态、视线估计以及表情识别任务准确性难以得到保证，从而导致学习意图判别有所偏差。

【成果简介】本成果发明了一种融入多模态视觉信息的学习意图监测方法及系统。该方法包括步骤：分别采集学习者的红外图像数据和可见光图像数据；分别对所述红外图像数据和所述可见光图像数据进行预处理；将预处理后的所述红外图像数据和所述可见光图像数据输入到人脸检测器；将人脸检测器的输出数据输入到图像融合模型；将所述图像融合模块的输出数据输入到头部姿态识别模型，获取头部姿态识别数据，根据所述头部姿态识别数据判断学习者的学习意图。本成果可以实现不同模态的信息互补，提高光照变化或复杂背景下的头部姿态识别精准度，从而提高学习意图判断精准度。

【成果图片】

【联系方式】段治国、安红高、刘树楠、吴涛，02767868068，02767868067，02767862769