【技术名称】一种课堂实时人体动作识别方法、计算机设备及可读介质

【应用行业】数字教育

【技术领域】本申请涉及教育信息化技术领域，更具体地，涉及一种课堂实时人体动作识别方法、计算机设备及可读介质。

【知识产权】发明专利

【成果完成单位】华中师范大学

【成果完成人姓名】廖盛斌、杨宗凯

【完成人团队简介】廖盛斌副教授团队主要从事大数据与机器智能、网络系统控制与优化、网络效用建模及分布式算法设计的研究

【成果完成时间】2021-11-24

【专利号】CN202111407773.8

【授权日期】2025-01-28

【技术成熟度】研发阶段

【应用背景】近年来，基于深度学习的人工智能和计算机视觉等技术快速发展，加快了教育信息化领域的变革，“智慧教育”、“人工智能+教育”等概念被不断提出，利用机器进行辅助教学正成为研究的焦点和热点，这不仅减轻了教师的教学压力，也帮助教师制定教学计划。

课堂教学是学校进行教育的主阵地，学生课堂也越来越注重信息化和智能化，运用人工智能技术对学生课堂进行分析和评价对教育教学具有重要的意义，而学生的课堂行为动作是进行学生课堂评价的主要组成部分，通过对学生的课堂行为动作及进行分析不仅可以掌握学生的学习状态，而且可以在学生做出危险的非学习行为时对教师发出警告。

中国专利申请号201910674395.6公开了一种基于目标检测的学生课堂的人体行为识别方法，该方法可以识别端坐、书写、趴桌、左顾右盼、举手、起立等常见的课堂行为，但是忽略了课堂中存在的一些重要的非学习行为；而且该方法使用多管道的3D CNN网络作为基准模型进行训练和测试，虽在一定程度上减少了计算量，但不能进行实时的人体动作识别。

中国专利申请号201711200452.4公开了一种实时的人体动作识别方法，该方法首先获取视频的深度图像，然后根据深度图像提取人体骨架数据并进行归一化，所使用的训练数据需要事先标注好动作的起始位置并设置关键点集合，该方法虽然实现了实时的人体动作识别，但需要额外提取人体骨架数据，增加了计算量和复杂度。

综上可知，现有的面向学生课堂的人体动作识别方法主要有以下不足：1.主要关注学生的学习行为，从而忽略了重要的非学习行为；2.所使用的网络模型不能进行实时的人体动作识别；3.不能充分利用视频帧数据，人体骨架等数据获取较为繁琐。

【成果简介】本申请公开了一种课堂实时人体动作识别方法、计算机设备及可读介质，该方法包括：从待分析的课堂视频中实时提取RGB图像和光流图；将RGB图像或RGB图像和光流图输入训练好的混合卷积神经网络中，获取课堂视频中的人体动作分类结果；混合卷积神经网络具有宽残差网络结构，包括二维卷积网络以及与所述二维卷积网络并联的三维卷积网络，分别从RGB图像及光流图中提取二维特征向量和三维特征向量；基于将二维特征向量和三维特征向量进行融合后得到的特征图识别人体动作；本发明结合了深度卷积神经网络、RGB图像和光流图，并使用高效的数据提取算法，不仅使人体动作识别的精度得到进一步提升，而且，实时的视频人体动作识别过程中不存在掉帧和卡顿现象。

【成果图片】

【联系方式】汪兵、安红高、刘树楠、吴涛，02767862377，02767862003