本技术涉及计算机视觉,特别是涉及一种器械做功时长的统计方法、装置及电子设备。
背景技术:
1、通常,需要使用电、气等能源进行驱动,而不是直接由人体或者自身重力产生的能量进行驱动的器械可以称作有源器械,例如,超声手术刀的刀头、双极电凝器的双极镊、电动切割机的刀片,等等。其中,有源器械在运动也可以称作有源器械在做功,而有源器械运动的目的是对其操作对象执行目标动作。因此,有源器械在对其操作对象执行目标动作时所做的功可以称作有效功,有源器械只运动而未对其操作对象执行目标动作时所做的功可以称作无效功。例如,在手术过程中,超声手术刀的刀头在对人体组织进行切割时所做的功可以称作有效功,而超声手术刀的刀头只运动而未对人体组织进行切割时所做的功可以称作无效功。有源器械做有效功的时长,可以称作有源器械的有效做功时长。
2、由于有源器械在做有效功时,通常会与其操作对象发生接触和摩擦,因此,有源器械在做有效功时,可能发生一定程度的磨损,并且随着有源器械的有效做功时长的增长,有源器械的磨损程度会加重,从而导致有源器械的操作精度降低。因此,在有源器械的有效做功时长达到一定时长后,通常需要对有源器械进行更换或维护,以保障有源器械的操作质量。
3、因此,如何统计有源器械的有效做功时长是亟需解决的技术问题。
技术实现思路
1、本技术实施例的目的在于提供一种器械做功时长的统计方法、装置及电子设备,以统计有源器械的有效做功时长。具体技术方案如下:
2、第一方面,本技术实施例提供了一种器械做功时长的统计方法,所述方法包括:
3、获取待统计的目标视频流;
4、确定所述目标视频流中的有效视频帧;其中,所述有效视频帧为:所包括的目标器械对所包括的操作对象执行目标动作的视频帧;
5、利用所确定的有效视频帧的数量与所述目标视频流的帧率,计算所述目标器械的有效做功时长。
6、可选的,一种具体实现方式中,所述确定所述目标视频流中的有效视频帧,包括:
7、针对所述目标视频流中的每个视频帧,识别该视频帧中是否存在所述目标器械和所述操作对象,以及所述目标器械所执行的动作是否为所述目标动作,并确定所述目标器械是否与所述操作对象相接触;
8、若该视频帧中存在所述目标器械和所述操作对象、所述目标器械所执行的动作为所述目标动作,且所述目标器械与所述操作对象相接触,则确定该视频帧为有效视频帧。
9、可选的,一种具体实现方式中,所述确定所述目标器械是否与所述操作对象相接触,包括:
10、检测所述目标器械所在的器械区域以及所述操作对象所在的对象区域;
11、若所述器械区域与所述对象区域轮廓相接或存在重叠区域,则确定所述目标器械与所述操作对象相接触。
12、可选的,一种具体实现方式中,所述方法还包括:
13、针对所述目标视频流中的每个视频帧,确定该视频帧中的各个像素点的深度值;
14、针对所述目标视频流中的每个视频帧,基于该视频帧中所述器械区域的各个像素点的深度值,确定所述目标器械对应的最大深度值,并基于该视频帧中所述对象区域的各个像素点的深度值,确定所述操作对象对应的最小深度值;
15、所述若所述器械区域与所述对象区域轮廓相接或存在重叠区域,则确定所述目标器械与所述操作对象相接触,包括:
16、若所述器械区域与所述对象区域轮廓相接或存在重叠区域,且所述最大深度值大于所述最小深度值,则确定所述目标器械与所述操作对象相接触。
17、可选的,一种具体实现方式中,所述基于该视频帧中所述器械区域的各个像素点的深度值,确定所述目标器械对应的最大深度值,并基于该视频帧中所述对象区域的各个像素点的深度值,确定所述操作对象对应的最小深度值,包括:
18、将该视频帧中所述器械区域的各个像素点的深度值中的最大值,确定为所述目标器械对应的最大深度值,并将该视频帧中所述对象区域的各个像素点的深度值中的最小值,确定为所述操作对象对应的最小深度值;
19、或者,
20、将所述重叠区域的各个像素点的深度值中的最大值,确定为所述目标器械对应的最大深度值;并将指定区域内属于所述对象区域且不属于所述重叠区域的各个像素点的深度值中的最小值,确定为所述操作对象对应的最小深度值;其中,所述指定区域至少包括所述对象区域中的部分区域,所述部分区域包括所述重叠区域且尺寸大于所述重叠区域的尺寸。
21、可选的,一种具体实现方式中,所述针对所述目标视频流中的每个视频帧,确定该视频帧中的各个像素点的深度值,包括:
22、针对所述目标视频流中的每个视频帧,将该视频帧输入至预设的深度预测模型,并获取所述深度预测模型输出的该视频帧中的各个像素点的深度值;
23、其中,所述深度预测模型是基于标注有各个像素点的深度值的第一样本视频帧训练得到的。
24、可选的,一种具体实现方式中,所述利用所述目标视频流中的有效视频帧的数量与所述目标视频流的帧率,计算所述目标器械的有效做功时长,包括:
25、在每确定出一个有效视频帧时,将预设计数参数的当前参数值加1,得到新的当前参数值;其中,所述预设计数参数的初始值为:预设数值,或者,历史视频流中的有效视频帧的总数量;
26、若所述初始值为所述预设数值,则在确定出所述目标视频流中的全部有效视频帧后,计算所述预设计数参数的当前参数值与所述预设数值的差值,并计算所述差值与所述目标视频流的帧率的比值,得到所述目标器械在所述目标视频流的采集过程中的单次有效做功时长;并基于所述单次有效做功时长,确定所述目标器械的有效做功时长;
27、若所述初始值为所述总数量,则在确定出所述目标视频流中的全部有效视频帧后,计算所述预设计数参数的当前参数值与所述帧率的比值,得到所述目标器械的有效做功总时长,并将所述有效做功总时长,确定为所述目标器械的有效做功时长。
28、可选的,一种具体实现方式中,所述初始值为所述预设数值;所述基于所述单次有效做功时长,确定所述目标器械的有效做功时长,包括:
29、将所述单次有效做功时长,确定为所述目标器械的有效做功时长;
30、或者,
31、计算所述单次有效做功时长与所记录的所述目标器械的历史做功总时长的和值,得到所述目标器械的有效做功总时长,并将所述有效做功总时长,确定为所述目标器械的有效做功时长。
32、可选的,一种具体实现方式中,所述目标器械的有效做功时长为:所述有效做功总时长;所述方法还包括:
33、在所述有效做功时长超过第一预设时长,或者,在预设可用总时长与所述有效做功时长的差值小于第二预设时长时,输出用于提示维护或更换所述目标器械的提示信息。
34、第二方面,本技术实施例提供了一种器械做功时长的统计装置,所述装置包括:
35、视频流获取模块,用于获取待统计的目标视频流;
36、视频帧确定模块,用于确定所述目标视频流中的有效视频帧;其中,所述有效视频帧为:所包括的目标器械对所包括的操作对象执行目标动作的视频帧;
37、时长计算模块,用于利用所确定的有效视频帧的数量与所述目标视频流的帧率,计算所述目标器械的有效做功时长。
38、可选的,一种具体实现方式中,所述视频帧确定模块包括:
39、视频帧识别子模块,用于针对所述目标视频流中的每个视频帧,识别该视频帧中是否存在所述目标器械和所述操作对象,以及所述目标器械所执行的动作是否为所述目标动作,并确定所述目标器械是否与所述操作对象相接触;
40、视频帧确定子模块,用于若该视频帧中存在所述目标器械和所述操作对象、所述目标器械所执行的动作为所述目标动作,且所述目标器械与所述操作对象相接触,则确定该视频帧为有效视频帧。
41、可选的,一种具体实现方式中,所述视频帧确定子模块具体用于:
42、检测所述目标器械所在的器械区域以及所述操作对象所在的对象区域;
43、若所述器械区域与所述对象区域轮廓相接或存在重叠区域,则确定所述目标器械与所述操作对象相接触。
44、可选的,一种具体实现方式中,所述装置还包括:
45、第一深度值确定模块,用于针对所述目标视频流中的每个视频帧,确定该视频帧中的各个像素点的深度值;
46、第二深度值确定模块,用于针对所述目标视频流中的每个视频帧,基于该视频帧中所述器械区域的各个像素点的深度值,确定所述目标器械对应的最大深度值,并基于该视频帧中所述对象区域的各个像素点的深度值,确定所述操作对象对应的最小深度值;
47、所述视频帧确定子模块具体用于:
48、若所述器械区域与所述对象区域轮廓相接或存在重叠区域,且所述最大深度值大于所述最小深度值,则确定所述目标器械与所述操作对象相接触。
49、可选的,一种具体实现方式中,所述第二深度值确定模块具体用于:
50、将该视频帧中所述器械区域的各个像素点的深度值中的最大值,确定为所述目标器械对应的最大深度值,并将该视频帧中所述对象区域的各个像素点的深度值中的最小值,确定为所述操作对象对应的最小深度值;
51、或者,
52、将所述重叠区域的各个像素点的深度值中的最大值,确定为所述目标器械对应的最大深度值;并将指定区域内属于所述对象区域且不属于所述重叠区域的各个像素点的深度值中的最小值,确定为所述操作对象对应的最小深度值;其中,所述指定区域至少包括所述对象区域中的部分区域,所述部分区域包括所述重叠区域且尺寸大于所述重叠区域的尺寸。
53、可选的,一种具体实现方式中,所述第一深度值确定模块具体用于:
54、针对所述目标视频流中的每个视频帧,将该视频帧输入至预设的深度预测模型,并获取所述深度预测模型输出的该视频帧中的各个像素点的深度值;
55、其中,所述深度预测模型是基于标注有各个像素点的深度值的第一样本视频帧训练得到的;
56、可选的,一种具体实现方式中,所述时长计算模块包括:
57、参数值更新子模块,用于在每确定出一个有效视频帧时,将预设计数参数的当前参数值加1,得到新的当前参数值;其中,所述预设计数参数的初始值为:预设数值,或者,历史视频流中的有效视频帧的总数量;
58、时长计算子模块,用于若所述初始值为所述预设数值,则在确定出所述目标视频流中的全部有效视频帧后,计算所述预设计数参数的当前参数值与所述预设数值的差值,并计算所述差值与所述目标视频流的帧率的比值,得到所述目标器械在所述目标视频流的采集过程中的单次有效做功时长;并基于所述单次有效做功时长,确定所述目标器械的有效做功时长;
59、若所述初始值为所述总数量,则在确定出所述目标视频流中的全部有效视频帧后,计算所述预设计数参数的当前参数值与所述帧率的比值,得到所述目标器械的有效做功总时长,并将所述有效做功总时长,确定为所述目标器械的有效做功时长;
60、可选的,一种具体实现方式中,所述初始值为所述预设数值;所述时长计算子模块具体用于:
61、将所述单次有效做功时长,确定为所述目标器械的有效做功时长;
62、或者,
63、计算所述单次有效做功时长与所记录的所述目标器械的历史做功总时长的和值,得到所述目标器械的有效做功总时长,并将所述有效做功总时长,确定为所述目标器械的有效做功时长;
64、可选的,一种具体实现方式中,所述目标器械的有效做功时长为:所述有效做功总时长;所述装置还包括:
65、信息输出模块,用于在所述有效做功时长超过第一预设时长,或者,在预设可用总时长与所述有效做功时长的差值小于第二预设时长时,输出用于提示维护或更换所述目标器械的提示信息。
66、第三方面,本技术实施例提供了一种电子设备,包括:
67、存储器,用于存放计算机程序;
68、处理器,用于执行存储器上所存放的程序时,实现上述任一所述的器械做功时长的统计方法。
69、第四方面,本技术实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一所述的器械做功时长的统计方法。
70、本技术实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的器械做功时长的统计方法。
71、本技术实施例有益效果:
72、以上可见,应用本技术实施例提供的方案,在使用目标器械时,可以利用视频采集设备对目标器械进行视频采集,所采集的视频流可以作为待统计的目标视频流。进而,在统计目标器械的有效做功时长时,便可以先获取待统计的目标视频流。对于目标视频流中的每个视频帧,如果该视频帧中的目标器械对操作对象执行目标动作,则说明视频采集设备在采集该视频帧时,目标器械在做有效功,该视频帧便可以被确定为有效视频帧。
73、目标视频流的帧率,也就是视频采集设备在采集目标视频流的过程中每单位时间内所采集的视频帧的数量。在确定了目标视频流中的有效视频帧后,可以利用所确定的有效视频帧的数量与目标视频流的帧率,计算目标器械的有效做功时长。
74、基于此,应用本技术实施例提供的方案,可以通过对包括目标器械的目标视频流进行视觉分析统计目标器械的有效做功时长。并且,相较于一些具有有效做功时长统计功能的有源器械通过自身所安装的脉冲接口统计有效做功时长,本技术实施例提供的方案通过视觉分析统计目标器械的有效做功时长,而并不需要有源器械安装有用于进行有效做功时长统计的脉冲接口。因此,本技术实施例可以用于对各种有源器械进行有效做功时长的统计,使用范围较为广泛。并且,应用本技术实施例提供的方案,在生产制造目标器械时,可以不安装用于进行有效做功时长统计的脉冲接口,从而降低成本。
75、当然,实施本技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。
1.一种器械做功时长的统计方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述确定所述目标视频流中的有效视频帧,包括:
3.根据权利要求2所述的方法,其特征在于,所述确定所述目标器械是否与所述操作对象相接触,包括:
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
5.根据权利要求4所述的方法,其特征在于,所述基于该视频帧中所述器械区域的各个像素点的深度值,确定所述目标器械对应的最大深度值,并基于该视频帧中所述对象区域的各个像素点的深度值,确定所述操作对象对应的最小深度值,包括:
6.根据权利要求4所述的方法,其特征在于,所述针对所述目标视频流中的每个视频帧,确定该视频帧中的各个像素点的深度值,包括:
7.根据权利要求1所述的方法,其特征在于,所述利用所述目标视频流中的有效视频帧的数量与所述目标视频流的帧率,计算所述目标器械的有效做功时长,包括:
8.根据权利要求7所述的方法,其特征在于,所述初始值为所述预设数值;所述基于所述单次有效做功时长,确定所述目标器械的有效做功时长,包括:
9.根据权利要求7或8所述的方法,其特征在于,所述目标器械的有效做功时长为:所述有效做功总时长;所述方法还包括:
10.一种器械做功时长的统计装置,其特征在于,所述装置包括:
11.根据权利要求10所述的装置,其特征在于,所述视频帧确定模块包括:
12.一种电子设备,其特征在于,包括:
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-9任一所述的方法。
