【成果推介】课堂行为识别方法、装置、电子设备及存储介质

【应用行业】教育

【技术领域】计算机技术、智慧教育技术

【知识产权】发明专利

【成果完成单位】华中师范大学

【成果完成人姓名】何秀玲、李洋洋、方静、杨凡、朱颂凯、熊壮、袁欢欢、门淇滨、张晶晶、汪鹏、王晨阳、肖雄、邹正新

【完成人团队简介】团队主要研究人工智能教育、智慧教学环境等方面的研究。近些年来，在国家科技支撑计划、国家自然科学基金、教育部人文社科等项目及横向项目的支持下，从事教育教学产品研发、情感识别、行为与文本数据挖掘、图示化学习及相关实证研究。

【成果完成时间】2020-11-05

【专利号】CN2020112272163

【授权日期】2024-04-02

【技术成熟度】研发阶段

【应用背景】课堂教学是学校教育教学的主要阵地，对课堂教学进行过程性评价对教学质量的提高具有重要的意义，而学生课堂行为表现又是课堂教学评价的重要组成部分。目前针对学生课堂行为理解进行的研究还不够广泛，有研究者在教室场景下利用Kinect设备提取人体骨骼特征向量，然后再用SVM分类器对特征向量进行分类和识别，此方法需要在教室里架设专门的设备，使用传统的机器学习方法进行分类，操作较复杂且准确率不高。随着深度学习技术的飞速发展，后续的研究者陆续将深度学习技术运用到课堂行为理解中，通过搭建学生课堂行为识别数据集，训练深度神经网络，使网络成功识别出上课、睡觉、玩手机、做笔记、看书、东张西望等行为，平均识别率为9191％。

深度学习技术的引入，为学生课堂行为理解的研究提供了新思路和方法，准确率也极大提升。然而学生课堂行为复杂，识别效果容易受学生体态、穿着、背景等的影响，在没有大规模学生课堂行为数据集的支持下，不利于深度神经网络的训练。

针对上述问题，目前尚未有有效的技术解决方案。

【成果简介】本成果为一种课堂行为识别方法、装置、电子设备及存储介质，包括：获取待识别目标的人体图像；采用第一预设网络模型提取所述人体图像的人体骨架图像；根据预先训练的目标神经网络模型对所述人体骨架图像进行识别，得到所述待识别目标的课堂行为类别。本成果能有效排除学生体态、穿着、背景等无关信息的干扰，突出关键有效信息，降低识别复杂度，具有良好的识别率与泛化能力。

【成果图片】

【联系方式】段治国、安红高、刘树楠、吴涛，02767868068，02767868067，02767862769