【成果推介】在线视频关键帧定位方法、定位系统、设备及存储介质

【应用行业】互联网

【技术领域】计算机技术

【知识产权】发明专利

【成果完成单位】华中师范大学

【成果完成人姓名】闵秋莎、周忠薇、王志锋、左明章

【完成人团队简介】团队主要研究图像处理, 三维重建, 教育大数据分析, 移动应用开发

【成果完成时间】2020-11-04

【专利号】CN2020112178439

【授权日期】2024-01-23

【技术成熟度】研发阶段

【应用背景】目前，随着计算机科学的发展以及大数据时代的来临，越来越多领域应用计算机进行研究分析。目前，“互联网+教育”获政府大力支持，在线学习越来越普及，基于学习者在在线学习中的各种点击流事件，得到学习者各种行为分析，对教育质量的提升具有一定的意义。

在教育方面，对于学习者在在线学习中的各种事件数据，通过各种计算机应用技术，以及心理学方面的知识，在对大量数据进行处理、分析以及训练的情况下，能够得到学习者的性格，基础知识掌握情况以及学习能力等，对于在线因材施教具有一定的意义。但是，这些计算机应用技术所做的工作是否有意义是与心理学知识的发展息息相关的，计算机技术所做的工作需要随着这些心理学知识发展。

在线教育的最主要也是最重要的途径是资源学习行为，而视频学习是资源学习的一种重要方式，通常在线学习者在线学习过程中大部分时间都在观看视频。因此对于在线视频进行分析，对在线教育的更好完成具有一定意义。

对于在线视频的处理，重要的是对于篇幅较长的提取重点或者进行总结。通常采用的方法是人工观看视频并用语言文字进行总结，最终变为在线视频的简介发布，用户则能够快速获取视频的主要内容，但是这种方法成本高且效率低。为提高效率减少人力成本，提取重点减少检索量，出现了很多利用计算机技术获取关键帧(描述一个镜头内容的一个或多个帧)的方法。

目前的关键帧提取方法，可以分为一下几种。第一种是通过顺序的比较每一帧提取出最为关键的一帧，这种方法简单直接且时间复杂度不高，但是也有全局性低、关键帧寻找不准确的缺点；第二种是通过全局比较法来寻找关键帧，这一算法需要先设计一个判断方法，在全局寻找时，利用这种判断方法判定某一或某几帧是否属于关键帧。这种方法比第一种方法更具有全局特性，而且寻找的关键帧更为准确，但是它的时间复杂度更高。第三种方法是通过创建具有代表性的参考帧来提取关键帧，比如计算镜头的各帧颜色灰度等的均值，这种方法的准确度也不高；第四种方法是将一段视频中的所有帧进行聚类，常见的聚类方法有通过色彩分类、高斯混合模型分类等；第五种方法是把多个帧通过曲线表示最终找到能够代表曲线的点，即为关键帧。第六种方法则是通过是考虑场景中是否出现特定的对象或动作，如果有这些特征出现且描述能力强的话，即为关键帧。

用机器学习的方法能够比较快速的检测出关键帧，其中一种方法找出的是待检测视频中场景发生变化某一帧，但这种方法对于某些场景变化不明显的某些视频效果并不好；另一种方法是通过人工对于视频的关键帧打分的方法训练模型，利用文字描述得到的关键帧与视频分析得到的关键帧进行互相修正，最终训练出能够提取关键帧的模型。

在线教学视频是否能够完成教学任务，关键在于视频的重难点(关键帧)是否被解释清楚，而对于教育视频讲解的知识难点，不是教育者定义的，而是根据在线学习者能否快速理解某处知识点而定义的。因此对视频资源进行分析，定位出教学视频的知识难点，便于教育者着重该知识难点的解释，帮助教育的更好完成。而学习者对于视频的点击流行为能够直观的反映学习者在观看视频时不同的学习状态，分析这些点击流数据能够帮助寻找到教育视频的关键帧。因此设计一种专门的算法基于学习者点击流事件分析寻找教育视频中的关键帧是非常有必要的。

通过上述分析，现有技术存在的问题及缺陷为：

(1)现有关键帧定位方法需要手工调整，长串规则多，且定位不准确。

(2)现有关键帧定位方法需要划分模块，定位准确率过于依赖模块划分结果；且计算量大，灵活度不高。

解决以上问题及缺陷的难度为：

在线教学视频相对于其他种类的视频来说具有明显的区分特点：教学视频的画面往往变化较为缓慢，文字在网络教学视频中所占的作用一般非常大，但是文字在教学视频中的变化一般比较占画面的比例较小。因此，利用视频画面信息提取关键帧的各种方法都不适用。且由于在线学习发展的时间较短，目前对学生在线学习行为数据的研究和分析都发展不成熟。目前大规模在线学习平台对学习者观看在线教学视频的在线学习行为产生的数据并没有产生足够的重视，同时关于这个领域的开放数据集少之又少，且对数据进行分析可供参考的技术和方法也非常少。因此在数据获取、分析处理以及技术实现上都存在一定的困难。

解决以上问题及缺陷的意义为：

随着互联网的快速发展，除了传统的课堂教育之外，在线学习在现代教育中的占比越来越大。但是这种学习方式存在一定的弊端，不少学习者观看在线课程的过程中，存在使用设备放映课程而学习者不认真听课的“刷课”现象。但由于在线学习像在传统课堂上一样面对面授课，导致教师无法及时知道学习者的学习状态和学习行为，从而对自己的授课方式进行随时调整。因此，如果存在一种分析在线学习观看视频数据的方法，能够帮助在线学习的授课老师了解到全体学生在观看视频的时候产生的难点，从而对在线教学视频进行及时的调整。这种方法对提升在线学习教学效果，促进“互联网+教育”，提升教学质量存在一定的意义。

【成果简介】本成果属于计算机应用技术领域，发明了一种在线视频关键帧定位方法、定位系统、设备及存储介质，利用在线学习者观看视频的点击流数据预先得到观看行为中每一帧的停留时间，构建逻辑回归分类器，处理点击流数据以及学习者成绩分类数据分别得到训练集以及测试集；利用训练集对逻辑分类器不断训练，使用测试集数据对模型预测评估，对回归系数不断更新，最终拟合出逻辑回归模型的最佳参数，并得出与参数对应的比重较大的某几帧即为关键帧。本成果减少了定位过程中的大量手工调整，减少了长串规则，简化了代码，提高了性能。本成果专注于在线教学视频的关键帧获取，更加具有专注性，而且也为使用计算机应用技术实现互联网+教育带来了新思路。

【成果图片】

【联系方式】段治国、安红高、刘树楠、吴涛，02767868068，02767868067，02767862769