本发明涉及计算机技术领域,尤其涉及一种视频播放控制方法、装置、电子设备及存储介质。
背景技术:
目前,手机等移动终端能为用户提供更加丰富的多媒体内容,用户可以通过移动终端观看流媒体节目,或者播放存储在本地的视频节目等。目前多数app进行视频播放时都有自己的控制界面,控制界面包括播放/暂停,进度条,前进/快退,下一个视频等功能键。如果用户观看视频时遇到用户不感兴趣的内容,为此用户需要主动去关闭视频、调整视频进度或者切换视频等。
但是,对于一些举动不方便的人士可能不方便操作视频页面中的“小”功能按钮。而如果通过语音识别的方式操作视频播放器,但是用户输入的声音可能跟视频的音频冲突,识别结果不一定会准确,进而影响视频控制响应准确率。
技术实现要素:
本发明实施例提供一种视频播放控制方法、装置、电子设备及存储介质,以解决现有的视频播放控制方式不利用部分举动不便人士的控制操作,且容易影响视频控制过程中的响应准确率的问题。
为了解决上述技术问题,本发明是这样实现的:
第一方面,本发明实施例提供了一种视频播放控制方法,包括:
针对已触发通过面部识别控制的任一视频播放器,响应于所述视频播放器处于启动状态,通过摄像头监测用户表情以实时获取用户的面部动作;
响应于目标表情功能库中包含当前检测到的面部动作的面部动作类型,基于所述目标表情功能库获取与所述面部动作关联的控制操作类型,并针对所述视频播放器执行所述控制操作类型对应的视频控制操作;
其中,所述目标表情功能库为与所述视频播放器关联的表情功能库,且所述表情功能库中包含至少一个面部动作类型与控制操作类型之间的映射关系。
可选地,在所述响应于目标表情功能库中包含当前检测到的面部动作的面部动作类型,基于所述目标表情功能库获取与所述面部动作关联的控制操作类型,并针对所述视频播放器执行所述控制操作类型对应的视频控制操作的步骤之前,还包括:
获取与所述视频播放器关联的通用表情功能库,并结合在所述视频播放器所在移动终端本地设置的自定义表情功能库,构建与所述视频播放器关联的目标表情功能库;
其中,所述通用表情功能库为通过服务器统一设置并下发的表情功能库,所述自定义表情功能库为用户针对所述视频播放器自定义设置的表情功能库。
可选地,所述基于所述目标表情功能库获取与所述面部动作关联的控制操作类型,并针对所述视频播放器执行所述控制操作类型对应的视频控制操作的步骤,包括:
从所述目标表情功能库获取与所述面部动作关联的控制操作类型;
调用与所述控制操作类型对应的视频控制方法,并通过所述视频控制方法针对所述视频播放器执行所述视频控制操作。
可选地,所述响应于所述视频播放器处于启动状态,通过摄像头监测用户表情以实时获取用户的面部动作的步骤,包括:
在所述视频播放器启动后,响应于本次启动后每次进入视频播放界面,请求获取表情监测权限;
响应于获取得到用户授权的表情监测权限,启动摄像头监测用户表情以实时获取用户的面部动作;
所述方法还包括:
响应于所述视频播放界面中的视频播放完毕,且在指定时间段内未触发继续播放视频,停止监测用户表情。
可选地,所述方法还包括:
响应于接收到针对所述视频播放器中任一视频操作控件的触发指令,针对所述视频播放器执行所述视频操作控件对应的视频控制操作。
可选地,所述表情功能库中的面部动作类型包括连续n次眨眼、张开嘴、左摇头、右摇头、抬头、低头、持续闭眼指定时长中的至少一种,n为大于1的正整数;所述控制操作类型包括暂停状态与播放状态之间的切换操作、横屏状态和竖屏状态之间的切换操作、视频播放进度调整操作、视频音量调整操作中的至少一种。
第二方面,本发明实施例提供了一种视频播放控制装置,包括:
用户表情监听模块,用于针对已触发通过面部识别控制的任一视频播放器,响应于所述视频播放器处于启动状态,通过摄像头监测用户表情以实时获取用户的面部动作;
第一视频播放控制模块,用于响应于目标表情功能库中包含当前检测到的面部动作的面部动作类型,基于所述目标表情功能库获取与所述面部动作关联的控制操作类型,并针对所述视频播放器执行所述控制操作类型对应的视频控制操作;
其中,所述目标表情功能库为与所述视频播放器关联的表情功能库,且所述表情功能库中包含至少一个面部动作类型与控制操作类型之间的映射关系。
可选地,所述装置还包括:
表情功能库设置模块,用于获取与所述视频播放器关联的通用表情功能库,并结合在所述视频播放器所在移动终端本地设置的自定义表情功能库,构建与所述视频播放器关联的目标表情功能库;
其中,所述通用表情功能库为通过服务器统一设置并下发的表情功能库,所述自定义表情功能库为用户针对所述视频播放器自定义设置的表情功能库。
可选地,所述第一视频播放控制模块,包括:
操作类型获取子模块,用于从所述目标表情功能库获取与所述面部动作关联的控制操作类型;
视频播放控制子模块,用于调用与所述控制操作类型对应的视频控制方法,并通过所述视频控制方法针对所述视频播放器执行所述视频控制操作。
可选地,所述用户表情监听模块,包括:
监测权限获取子模块,用于在所述视频播放器启动后,响应于本次启动后每次进入视频播放界面,请求获取表情监测权限;
用户表情监听子模块,用于响应于获取得到用户授权的表情监测权限,启动摄像头监测用户表情以实时获取用户的面部动作;
所述装置还包括:
停止监测模块,用于响应于所述视频播放界面中的视频播放完毕,且在指定时间段内未触发继续播放视频,停止监测用户表情。
可选地,所述装置还包括:
第二视频播放控制模块,用于响应于接收到针对所述视频播放器中任一视频操作控件的触发指令,针对所述视频播放器执行所述视频操作控件对应的视频控制操作。
可选地,所述表情功能库中的面部动作类型包括连续n次眨眼、张开嘴、左摇头、右摇头、抬头、低头、持续闭眼指定时长中的至少一种,n为大于1的正整数;所述控制操作类型包括暂停状态与播放状态之间的切换操作、横屏状态和竖屏状态之间的切换操作、视频播放进度调整操作、视频音量调整操作中的至少一种。
第三方面,本发明实施例另外提供了一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如第一方面所述的视频播放控制方法的步骤。
第四方面,本发明实施例另外提供了一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的视频播放控制方法的步骤。
在本发明实施例中,通过预先为视频播放器设置表情功能库,而在视频播放的整个过程中,打开摄像头进行面部表情识别以监听用户的面部动作,当用户输入一个表情功能库中的面部动作时,调用对应的功能对视频播放器进行操作。从而针对一些举动不方便的人士提供方便的视频播放器控制入口,有助于视频播放控制。此外,本发明实施例通过面部动作控制的方式比起语音识别的方式操作视频播放器干扰的因素较少,使得通过面部动作操作视频播放器的方式更加准确。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例中的一种视频播放控制方法的步骤流程图;
图2是本发明实施例中的另一种视频播放控制方法的步骤流程图;
图3是本发明实施例中的一种通过面部动作进行视频播放控制的流程示意图;
图4是本发明实施例中的一种视频播放控制装置的结构示意图;
图5是本发明实施例中的另一种视频播放控制装置的结构示意图;
图6是本发明实施例中的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参照图1,示出了本发明实施例中一种视频播放控制方法的步骤流程图。
步骤110,针对已触发通过面部识别控制的任一视频播放器,响应于所述视频播放器处于启动状态,通过摄像头监测用户表情以实时获取用户的面部动作;
步骤120,响应于目标表情功能库中包含当前检测到的面部动作的面部动作类型,基于所述目标表情功能库获取与所述面部动作关联的控制操作类型,并针对所述视频播放器执行所述控制操作类型对应的视频控制操作;
其中,所述目标表情功能库为与所述视频播放器关联的表情功能库,且所述表情功能库中包含至少一个面部动作类型与控制操作类型之间的映射关系。
在本发明实施例中,为了方便举动不方便的人士在视频播放过程中随时触发针对视频的控制操作,通过面部识别功能,当用户输入某一个面部动作时可以对视频播放器的某一个功能进行触发操作,使视频播放器执行播放,暂停,前进,全屏等功能。
首先,需要设定面部动作所对应的控制操作并生成针对相应视频播放器的表情功能库,而且为了避免误操作,在设置表情功能库时可以尽量避免一些用户可能会频繁出现的面部动作,如一次眨眼等。
其中,面部动作所对应的控制操作可以先由开发者来定义,可选地用户也可以自定义面部动作所对应的控制操作,对此本发明实施例不加以限定。其中,不同的视频播放器可以共用同一表情功能库,也可以分别定义不同的表情功能库,对此本发明实施例也不加以限定。而且在视频播放控制过程中,表情功能库可以存储至手机、电脑等移动终端本地,也可以始终放置于线上,通过网络进行交互,对此本发明实施例也不加以限定。
每个表情功能库中均可以包含至少一个面部动作类型与控制操作类型之间的映射关系。
那么针对已触发通过面部识别控制的任一视频播放器,如果所述视频播放器处于启动状态,则可以通过摄像头监测用户表情以实时获取用户的面部动作,如果目标表情功能库中包含当前检测到的面部动作的面部动作类型,则可以基于所述目标表情功能库获取与所述面部动作关联的控制操作类型,并针对所述视频播放器执行所述控制操作类型对应的视频控制操作
其中,视频播放器可以为移动终端的任一可以播放视频的独立app(application,应用),或者是某一app中的组件或者插件等,对此本发明实施例不加以限定。而且,可以通过任何可用方式触发通过面部识别控制视频播放器,对此本发明实施例不加以限定。
例如,可以在用户第一次启动视频播放器并进入视频页面先询问用户是否允许通过面部识别表情操作视频播放器。若用户允许,则触发通过面部识别控制该视频播放器,而且在视频播放器运行过程中在视频开始加载时则可以打开面部识别功能,也即通过摄像头监测用户表情以实时获取用户的面部动作。若用户不允许,则通过与普通的视频页面一样通过控制页面中的控件来操作视频播放器。
在允许面部识别,也即已触发通过面部识别控制该视频播放器的情况下,可以在播放视频的全程打开面部识别功能,也即全程通过摄像头监测用户表情以实时获取用户的面部动作,当监测到用户输入该视频播放器对应的表情功能库,也即目标表情功能库中的某一个面部动作时,则可以从相应目标表情功能库中获取该面部动作所关联的控制操作类型,进而针对相应视频播放器进行与相应控制操作类型对应的视频控制操作。
在本发明实施例中,可以通过任何可用方式进行用户表情识别,对此本发明实施例不加以限定。
另外,本发明实施例中的面部动作可以理解为一种静态的面部表情,例如张嘴表情、微笑表情、单眼闭上单眼张开表情等;也可以理解为一种动态的面部表情或者是面部位置变化过程产生的面部动作,例如左右摇头动作、点头抬头动作、连续闭眼动作、连续张嘴动作等,对此本发明实施例不加以限定
参照图2,在本发明实施例中,在所述步骤120之前还可以包括:
步骤10,获取与所述视频播放器关联的通用表情功能库,并结合在所述视频播放器所在移动终端本地设置的自定义表情功能库,构建与所述视频播放器关联的目标表情功能库;
其中,所述通用表情功能库为通过服务器统一设置并下发的表情功能库,所述自定义表情功能库为用户针对所述视频播放器自定义设置的表情功能库。
在本发明实施例中,为了满足不同用户的个性化需求,视频播放器所在移动终端的用户可选地可以自定义面部动作类型与控制操作类型之间的映射关系,比如:将闭上眼睛5s以上的面部动作类型与暂停播放视频的控制操作类型之间的映射关系。
另外,如果不同用户需要完全自定义自身的面部动作类型与控制操作类型之间的映射关系,会导致表情功能库的构建过程耗时较长,且对于部分重合率较高的映射关系反复设置的过程也会造成资源浪费。因此在本发明实施例中,视频播放器的开发者也可以通过服务器预先定义通用的表情功能库,其中可以包括至少一个通用的面部动作类型与控制操作类型之间的映射关系。
那么在构建视频播放器的目标表情功能库时,为了在提高效率的同时满足用户个性化需求,可以获取与所述视频播放器关联的通用表情功能库,并结合在所述视频播放器所在移动终端本地设置的自定义表情功能库,构建与所述视频播放器关联的目标表情功能库;其中,所述通用表情功能库为通过服务器统一设置并下发的表情功能库,所述自定义表情功能库为用户针对所述视频播放器自定义设置的表情功能库。
而且,如果在构建目标表情功能库时,可能出现通用表情功能库和自定义表情功能库中同时存在与同一控制操作类型关联的不同面部动作类型,或者是通用表情功能库和自定义表情功能库中同时存在与同一面部动作类型关联的多个不同控制操作类型等冲突,可能会导致视频播放控制混乱。
因此,在本发明实施例中,为了避免上述问题,可以设置通用表情功能库和自定义表情功能库的优先级,在构建目标表情功能库时,可以合并通用表情功能库和自定义表情功能库中的映射关系,而如果出现冲突则可以优先级高的表情功能库中存在的映射关系为准,而忽略优先级低的表情功能库中与相应映射关系冲突的映射关系。
例如,假设设置自定义表情功能库的优先级高于通用表情功能库,如果在自定义表情功能库中包括面部动作类型a1与控制操作类型b1之间的映射关系1,面部动作类型a2与控制操作类型b2之间的映射关系2,同时通用表情功能库中存在一条面部动作类型a1与控制操作类型b2之间的映射关系1,那么在构建目标表情功能库时,由于通用表情功能库中包含的映射关系1与自定义表情功能库中包含的映射关系1和映射关系2均存在冲突,因此可以忽略通用表情功能库中包含的映射关系1,而仅在目标表情功能库中保留自定义表情功能库中的映射关系1和映射关系2。
此外,在实际应用中,如果映射关系的冲突为与同一控制操作类型关联的不同面部动作类型,也即可以通过多种不同的面部动作触发同一种控制操作,对于用户而言并不会导致操作混乱,因此针对此种冲突可以不做处理而直接合并。
例如,假设设置自定义表情功能库的优先级高于通用表情功能库,且在自定义表情功能库中包括面部动作类型a1与控制操作类型b1之间的映射关系1,面部动作类型a2与控制操作类型b2之间的映射关系2,同时通用表情功能库中包括面部动作类型a3与控制操作类型b1之间的映射关系3,面部动作类型a1与控制操作类型b2之间的映射关系4。那么在构建目标表情功能库时,可以合并自定义表情功能库中的映射关系1和通用表情功能库中的映射关系3,得到面部动作类型a1、a3与控制操作类型b1之间的映射关系,保留自定义表情功能库中的映射关系2,而忽略通用表情功能库中的映射关系4。
而如果自定义表情功能库的优先级低于通用表情功能库,构建目标表情功能库的过程可以参照上述过程进行确定,具体过程与上述过程类似,在此不加以赘述。
当然,在本发明实施例中,也可以仅基于与所述视频播放器关联的通用表情功能库,或是仅基于视频播放器所在移动终端本地设置的自定义表情功能库,构建与所述视频播放器关联的目标表情功能库,对此本发明实施例不加以限定。
参照图2,在本发明实施例中,所述步骤120进一步可以包括:
步骤121,从所述目标表情功能库获取与所述面部动作关联的控制操作类型;
步骤122,调用与所述控制操作类型对应的视频控制方法,并通过所述视频控制方法针对所述视频播放器执行所述视频控制操作。
在实际应用中,对于每个视频播放器而言,其本身一般具有针对执行播放,暂停,前进,全屏等视频控制操作的视频控制方法。因此,在本发明实施例中,为了避免在基于面部动作进行视频播放控制时针对上述各种视频控制操作重复设置视频控制方法,可以直接调用相应视频播放器对应已有的各种视频控制方法,也即可以通过视频播放器中的视频播放控件调用的各种视频控制方法。
具体地,可以从所述目标表情功能库获取与当前检测到的面部动作关联的控制操作类型,进而调用与所述控制操作类型对应的视频控制方法,并通过所述视频控制方法针对所述视频播放器执行所述视频控制操作。
参照图2,在本发明实施例中,所述步骤110进一步可以包括:
步骤111,在所述视频播放器启动后,响应于本次启动后每次进入视频播放界面,请求获取表情监测权限;
步骤112,响应于获取得到用户授权的表情监测权限,启动摄像头监测用户表情以实时获取用户的面部动作;
参照图2,在本发明实施例中,所述方法还可以包括:
步骤130,响应于所述视频播放界面中的视频播放完毕,且在指定时间段内未触发继续播放视频,停止监测用户表情。
实际应用中,用户在启动视频播放器后可能并未立即开始观看视频,而可能在首页、列表页等任意非播放页面停留,此时如果启动摄像头监测用户表情会造成资源浪费,而且也容易导致视频播放器无法正确执行视频播放控制操作。
因此,在本发明实施例中,可以在每次启动视频播放器后设置仅在每次进入视频播放界面后启动摄像头以监测用户表情以实时获取用户的面部动作,或者也可以在视频播放器启动后且每次进入视频播放界面时请求获取表情监测权限,并且在用户授权的情况下启动摄像头监测用户表情以实时获取用户的面部动作。
其中,可以通过任何可用方式请求获取表情监测权限,而且用户也可以通过任何可用方式进行表情监测权限的授权。例如,可以在视频播放器启动后每次进入视频播放界面时,触发在视频播放界面中通过弹窗等方式进行表情监测权限的授权提示,用户可以通过点击该弹窗或者语音控制等方式完成授权,当然在本发明实施例中,为了方便举动不方便的人士进行授权,可以设置用户通过指定面部动作进行授权,此时可以设置在每次进入视频播放界面之后默认启动摄像头一定时长以监测用户表情,如果在该默认启动时长内检测到授权的指定面部动作,即获取授权可以保持摄像头当前的启动状态并监测用户表情,而如果在该默认启动时长内未检测到授权的指定面部动作,则说明用户未完成授权,则可以关闭相应摄像头。其中的默认启动摄像头的时长可以根据需求进行自定义设置,对此本发明实施例不加以限定。例如,可以设置默认启动摄像头的时长为30秒等。而且在授权验证期间,可以在视频播放界面中同步展示默认启动摄像头的倒计时,以便于相关用户及时进行面部动作的验证。
那么在每次启动摄像头后,如果所述视频播放界面中的视频播放完毕,且在指定时间段内未触发继续播放视频,为了避免资源浪费可以及时关闭摄像头并停止监测用户表情。
参照图2,在本发明实施例中,所述方法还可以包括:
步骤140,响应于接收到针对所述视频播放器中任一视频操作控件的触发指令,针对所述视频播放器执行所述视频操作控件对应的视频控制操作。
另外,在本发明实施例中,为了满足不同用户针对视频播放控制方式的个性化需求,另外也可以在视频播放器中设置至少一个视频操作控件,用户可以在观看视频过程中通过触发视频播放器中任一视频操作控件,进而针对视频播放器执行于相应视频操作控件对应的视频控制操作。
而且为了避免通过视频操作控件触发视频控制操作的同时通过面部动作也触发了不同的视频控制操作,从而导致视频控制操作冲突影响视频控制效果,还可以根据需求设置通过视频操作控件触发视频控制操作和通过面部动作触发的视频控制操作的优先级,在出现冲突的情况下,可以执行优先级高的方式下的视频控制操作,对此本发明实施例不加以限定。当然,也可以不设置优先级,而直接依次执行两种方式下的视频控制操作,对此本发明实施例也不加以限定。
可选地,在本发明实施例中,所述表情功能库中的面部动作类型包括连续n次眨眼、张开嘴、左摇头、右摇头、抬头、低头、持续闭眼指定时长中的至少一种,n为大于1的正整数;所述控制操作类型包括暂停状态与播放状态之间的切换操作、横屏状态和竖屏状态之间的切换操作、视频播放进度调整操作、视频音量调整操作中的至少一种。
其中,暂停状态与播放状态之间的切换操作又可以包括但不限于由暂停状态切换至播放状态、由播放状态切换至暂停状态中的至少一种,横屏状态和竖屏状态之间的切换操作相应可以包括但不限于由横屏状态切换至竖屏状态、由竖屏状态切换至横屏状态中的至少一种,视频播放进度调整操作可以包括但不限于视频播放进度前调、视频播放进度后调、视频播放速度加快、视频播放速度放慢中的至少一种,视频音量调整操作可以包括但不限于视频音量调高、视频音量调低中的至少一种。而且,面部动作类型与控制操作类型之间的映射关系可以根据需求进行自定已设置,对此本发明实施例不加以限定。
如图3所示为一种通过面部动作进行视频播放控制的流程示意图。通过结合开发者定义的表情功能库和用户自定义的表情功能生成一个完整的表情功能库后保存到本地,根据表情功能库对视频播放器进行操作。在用户第一次进入视频页面(例如视频播放页面、视频播放器首页,或者其他指定页面)先询问用户是否允许通过识别面部表情操作视频播放器。若用户允许,视频开始加载时打开面部识别功能,若不允许,通过与普通的视频页面一样通过控制页面中的按钮来操作视频播放器。在允许面部识别的情况下,在播放视频的全程打开面部识别功能,实时监听用户的表情,当用户输入表情功能库中的某一个面部动作时,调用该面部动作所对应功能的方法对视频播放器进行操作。在视频结束时监听表情也会停止。
具体步骤可以如下:
步骤①:开发者可以先提供表情功能库,表情尽量不设为用户可能会频繁出现的表情,可选地用户可以自定义部分功能的表情。结合开发者提供的表情功能库和用户设置的功能表情生成完整的表情功能库,保存到本地。并提供一个随时修改的表情功能库的入口方便用户修改。
步骤②:第一次进入视频页面时询问用户是否允许识别面部表情来操作视频播放器,若用户选择允许,跳到步骤③,若用户选择不允许,跳到步骤⑤。可以提供一个用户随时可以修改是否允许识别面部表情以操作视频播放器的选项的入口。
步骤③~④:进入视频页面打开面部识别功能,并监听用户的面部表情。在监听过程中,若获取到一个表情功能库中的面部动作,获取所对应的功能,也即对应的控制操作类型并跳转到步骤⑥。若直到视频结束用户没有输入表情功能库中的任意一个面部动作,结束监听。
步骤⑤:若用户不允许通过面部识别操作播放器,通过传统的方式,点击控制界面的功能中按钮(也即视频操作控件)操作播放器。若知道视频结束用户没有点击按钮并退出,控制界面将销毁。
步骤⑥:通过点击按钮或用户输入的面部动作的方式获取所需要调用的控制操作类型后,调用所对应的视频控制方法对视频播放器进行操作。
步骤⑦:根据步骤②中用户的选择,判断是否继续监听面部表情,若继续跳转到步骤④,若不需要,等待用户的下一个按钮操作。若视频播放结束,停止所有的监听,并销毁页面。
在本发明实施例中,根据开发者提供的表情功能库、用户自定义的表情功能等,生成一个完整的表情功能库,存为本地用于在视频播放过程中操作视频播放器。而且,在视频播放的整个过程中,打开摄像头进行面部表情识别以监听用户的面部动作,当用户输入一个表情功能库中的面部动作时,调用对应的功能对视频播放器进行操作。从而针对一些举动不方便的人士提供方便的视频播放器控制入口,有助于视频播放控制。此外,本发明实施例通过面部动作控制的方式比起语音识别的方式操作视频播放器干扰的因素较少,使得通过面部动作操作视频播放器的方式更加准确。
参照图4,示出了本发明实施例中一种视频播放控制装置的结构示意图。
本发明实施例的视频播放控制装置包括:用户表情监听模块210和第一视频播放控制模块220。
下面分别详细介绍各模块的功能以及各模块之间的交互关系。
用户表情监听模块210,用于针对已触发通过面部识别控制的任一视频播放器,响应于所述视频播放器处于启动状态,通过摄像头监测用户表情以实时获取用户的面部动作;
第一视频播放控制模块220,用于响应于目标表情功能库中包含当前检测到的面部动作的面部动作类型,基于所述目标表情功能库获取与所述面部动作关联的控制操作类型,并针对所述视频播放器执行所述控制操作类型对应的视频控制操作;
其中,所述目标表情功能库为与所述视频播放器关联的表情功能库,且所述表情功能库中包含至少一个面部动作类型与控制操作类型之间的映射关系。
参照图5,在本发明实施例中,所述装置还可以包括:
表情功能库设置模块200,用于获取与所述视频播放器关联的通用表情功能库,并结合在所述视频播放器所在移动终端本地设置的自定义表情功能库,构建与所述视频播放器关联的目标表情功能库;
其中,所述通用表情功能库为通过服务器统一设置并下发的表情功能库,所述自定义表情功能库为用户针对所述视频播放器自定义设置的表情功能库。
参照图5,在本发明实施例中,所述第一视频播放控制模块220,进一步可以包括:
操作类型获取子模块221,用于从所述目标表情功能库获取与所述面部动作关联的控制操作类型;
视频播放控制子模块222,用于调用与所述控制操作类型对应的视频控制方法,并通过所述视频控制方法针对所述视频播放器执行所述视频控制操作。
参照图5,在本发明实施例中,所述用户表情监听模块210,进一步可以包括:
监测权限获取子模块211,用于在所述视频播放器启动后,响应于本次启动后每次进入视频播放界面,请求获取表情监测权限;
用户表情监听子模块212,用于响应于获取得到用户授权的表情监测权限,启动摄像头监测用户表情以实时获取用户的面部动作;
相应地,所述装置还可以包括:
停止监测模块230,用于响应于所述视频播放界面中的视频播放完毕,且在指定时间段内未触发继续播放视频,停止监测用户表情。
参照图5,在本发明实施例中,所述装置还可以包括:
第二视频播放控制模块240,用于响应于接收到针对所述视频播放器中任一视频操作控件的触发指令,针对所述视频播放器执行所述视频操作控件对应的视频控制操作。
可选地,所述表情功能库中的面部动作类型包括连续n次眨眼、张开嘴、左摇头、右摇头、抬头、低头、持续闭眼指定时长中的至少一种,n为大于1的正整数;所述控制操作类型包括暂停状态与播放状态之间的切换操作、横屏状态和竖屏状态之间的切换操作、视频播放进度调整操作、视频音量调整操作中的至少一种。
本发明实施例提供的视频播放控制装置能够实现图1至图2的方法实施例中实现的各个过程,为避免重复,这里不再赘述。
优选的,本发明实施例还提供了一种电子设备,包括:处理器,存储器,存储在存储器上并可在处理器上运行的计算机程序,该计算机程序被处理器执行时实现上述视频播放控制方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述视频播放控制方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(read-onlymemory,简称rom)、随机存取存储器(randomaccessmemory,简称ram)、磁碟或者光盘等。
图6为实现本发明各个实施例的一种电子设备的硬件结构示意图。
该电子设备500包括但不限于:射频单元501、网络模块502、音频输出单元503、输入单元504、传感器505、显示单元506、用户输入单元507、接口单元508、存储器509、处理器510、以及电源511等部件。本领域技术人员可以理解,图6中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本发明实施例中,电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
应理解的是,本发明实施例中,射频单元501可用于收发信息或通话过程中,信号的接收和发送,具体的,将来自基站的下行数据接收后,给处理器510处理;另外,将上行的数据发送给基站。通常,射频单元501包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元501还可以通过无线通信系统与网络和其他设备通信。
电子设备通过网络模块502为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元503可以将射频单元501或网络模块502接收的或者在存储器509中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元503还可以提供与电子设备500执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元503包括扬声器、蜂鸣器以及受话器等。
输入单元504用于接收音频或视频信号。输入单元504可以包括图形处理器(graphicsprocessingunit,gpu)5041和麦克风5042,图形处理器5041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元506上。经图形处理器5041处理后的图像帧可以存储在存储器509(或其它存储介质)中或者经由射频单元501或网络模块502进行发送。麦克风5042可以接收声音,并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元501发送到移动通信基站的格式输出。
电子设备500还包括至少一种传感器505,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板5061的亮度,接近传感器可在电子设备500移动到耳边时,关闭显示面板5061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器505还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。
显示单元506用于显示由用户输入的信息或提供给用户的信息。显示单元506可包括显示面板5061,可以采用液晶显示器(liquidcrystaldisplay,lcd)、有机发光二极管(organiclight-emittingdiode,oled)等形式来配置显示面板5061。
用户输入单元507可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元507包括触控面板5071以及其他输入设备5072。触控面板5071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板5071上或在触控面板5071附近的操作)。触控面板5071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器510,接收处理器510发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板5071。除了触控面板5071,用户输入单元507还可以包括其他输入设备5072。具体地,其他输入设备5072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
进一步的,触控面板5071可覆盖在显示面板5061上,当触控面板5071检测到在其上或附近的触摸操作后,传送给处理器510以确定触摸事件的类型,随后处理器510根据触摸事件的类型在显示面板5061上提供相应的视觉输出。虽然在图6中,触控面板5071与显示面板5061是作为两个独立的部件来实现电子设备的输入和输出功能,但是在某些实施例中,可以将触控面板5071与显示面板5061集成而实现电子设备的输入和输出功能,具体此处不做限定。
接口单元508为外部装置与电子设备500连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(i/o)端口、视频i/o端口、耳机端口等等。接口单元508可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到电子设备500内的一个或多个元件或者可以用于在电子设备500和外部装置之间传输数据。
存储器509可用于存储软件程序以及各种数据。存储器509可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器509可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器510是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器509内的软件程序和/或模块,以及调用存储在存储器509内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。处理器510可包括一个或多个处理单元;优选的,处理器510可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器510中。
电子设备500还可以包括给各个部件供电的电源511(比如电池),优选的,电源511可以通过电源管理系统与处理器510逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
另外,电子设备500包括一些未示出的功能模块,在此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。
本领域普通技术人员可以意识到,结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
1.一种视频播放控制方法,其特征在于,包括:
针对已触发通过面部识别控制的任一视频播放器,响应于所述视频播放器处于启动状态,通过摄像头监测用户表情以实时获取用户的面部动作;
响应于目标表情功能库中包含当前检测到的面部动作的面部动作类型,基于所述目标表情功能库获取与所述面部动作关联的控制操作类型,并针对所述视频播放器执行所述控制操作类型对应的视频控制操作;
其中,所述目标表情功能库为与所述视频播放器关联的表情功能库,且所述表情功能库中包含至少一个面部动作类型与控制操作类型之间的映射关系。
2.根据权利要求1所述的方法,其特征在于,在所述响应于目标表情功能库中包含当前检测到的面部动作的面部动作类型,基于所述目标表情功能库获取与所述面部动作关联的控制操作类型,并针对所述视频播放器执行所述控制操作类型对应的视频控制操作的步骤之前,还包括:
获取与所述视频播放器关联的通用表情功能库,并结合在所述视频播放器所在移动终端本地设置的自定义表情功能库,构建与所述视频播放器关联的目标表情功能库;
其中,所述通用表情功能库为通过服务器统一设置并下发的表情功能库,所述自定义表情功能库为用户针对所述视频播放器自定义设置的表情功能库。
3.根据权利要求1所述的方法,其特征在于,所述基于所述目标表情功能库获取与所述面部动作关联的控制操作类型,并针对所述视频播放器执行所述控制操作类型对应的视频控制操作的步骤,包括:
从所述目标表情功能库获取与所述面部动作关联的控制操作类型;
调用与所述控制操作类型对应的视频控制方法,并通过所述视频控制方法针对所述视频播放器执行所述视频控制操作。
4.根据权利要求1所述的方法,其特征在于,所述响应于所述视频播放器处于启动状态,通过摄像头监测用户表情以实时获取用户的面部动作的步骤,包括:
在所述视频播放器启动后,响应于本次启动后每次进入视频播放界面,请求获取表情监测权限;
响应于获取得到用户授权的表情监测权限,启动摄像头监测用户表情以实时获取用户的面部动作;
所述方法还包括:
响应于所述视频播放界面中的视频播放完毕,且在指定时间段内未触发继续播放视频,停止监测用户表情。
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述方法还包括:
响应于接收到针对所述视频播放器中任一视频操作控件的触发指令,针对所述视频播放器执行所述视频操作控件对应的视频控制操作。
6.根据权利要求1-4中任一项所述的方法,其特征在于,所述表情功能库中的面部动作类型包括连续n次眨眼、张开嘴、左摇头、右摇头、抬头、低头、持续闭眼指定时长中的至少一种,n为大于1的正整数;所述控制操作类型包括暂停状态与播放状态之间的切换操作、横屏状态和竖屏状态之间的切换操作、视频播放进度调整操作、视频音量调整操作中的至少一种。
7.一种视频播放控制装置,其特征在于,包括:
用户表情监听模块,用于针对已触发通过面部识别控制的任一视频播放器,响应于所述视频播放器处于启动状态,通过摄像头监测用户表情以实时获取用户的面部动作;
第一视频播放控制模块,用于响应于目标表情功能库中包含当前检测到的面部动作的面部动作类型,基于所述目标表情功能库获取与所述面部动作关联的控制操作类型,并针对所述视频播放器执行所述控制操作类型对应的视频控制操作;
其中,所述目标表情功能库为与所述视频播放器关联的表情功能库,且所述表情功能库中包含至少一个面部动作类型与控制操作类型之间的映射关系。
8.根据权利要求7所述的装置,其特征在于,还包括:
表情功能库设置模块,用于获取与所述视频播放器关联的通用表情功能库,并结合在所述视频播放器所在移动终端本地设置的自定义表情功能库,构建与所述视频播放器关联的目标表情功能库;
其中,所述通用表情功能库为通过服务器统一设置并下发的表情功能库,所述自定义表情功能库为用户针对所述视频播放器自定义设置的表情功能库。
9.根据权利要求7所述的装置,其特征在于,所述第一视频播放控制模块,包括:
操作类型获取子模块,用于从所述目标表情功能库获取与所述面部动作关联的控制操作类型;
视频播放控制子模块,用于调用与所述控制操作类型对应的视频控制方法,并通过所述视频控制方法针对所述视频播放器执行所述视频控制操作。
10.根据权利要求7所述的装置,其特征在于,所述用户表情监听模块,包括:
监测权限获取子模块,用于在所述视频播放器启动后,响应于本次启动后每次进入视频播放界面,请求获取表情监测权限;
用户表情监听子模块,用于响应于获取得到用户授权的表情监测权限,启动摄像头监测用户表情以实时获取用户的面部动作;
所述装置还包括:
停止监测模块,用于响应于所述视频播放界面中的视频播放完毕,且在指定时间段内未触发继续播放视频,停止监测用户表情。
11.根据权利要求7-10中任一项所述的装置,其特征在于,所述装置还包括:
第二视频播放控制模块,用于响应于接收到针对所述视频播放器中任一视频操作控件的触发指令,针对所述视频播放器执行所述视频操作控件对应的视频控制操作。
12.根据权利要求7-10中任一项所述的装置,其特征在于,所述表情功能库中的面部动作类型包括连续n次眨眼、张开嘴、左摇头、右摇头、抬头、低头、持续闭眼指定时长中的至少一种,n为大于1的正整数;所述控制操作类型包括暂停状态与播放状态之间的切换操作、横屏状态和竖屏状态之间的切换操作、视频播放进度调整操作、视频音量调整操作中的至少一种。
13.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的视频播放控制方法的步骤。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的视频播放控制方法的步骤。
技术总结