本发明涉及计算机视觉技术领域，尤其是涉及一种电力设备双目三维立体识别系统。
背景技术：
突破二维图像限制，将空间信息提升到三维，是电力领域长久追求的目标。通过电力3dgis或数字孪生技术，在数字空间重现物理空间的电气设备、线路走廊、厂站信息,不仅可以提升运维精细化程度，完成设备完整性检测、故障可视化定位等目标，也可为线路规划、智能巡检、新能源分布提出三维立体空间参考。不仅如此，电力三维全景空间的获取，还能为线缆管廊、层叠设备集群等复杂场景提供多空间尺度切片，从而对虚拟重构、仿真培训、工程监理提供重要支撑。
在电力三维场景需求中，比较有代表性的是以巡检机器人和无人机为应用的智能巡检。常规巡检主要采用采用目标单一点特征及边缘特征的电力设备识别定位方法。该方法识别目标类型单一且易受环境因素影响，不适合复杂场景、多目标、细粒度的电力设备识别定位。另一方面，目前的图像巡检按照采集、处理、识别的分阶段检测流程，造成电力设备故障点难以及时排除。因此，由于深度维度信息的缺失，巡检机器人及无人机存在无法识别电力设备或错误定位等问题，不仅极大地影响了电网设备状态的评估，还降低了智能巡检设备自主导航的能力，由深度维度丢失造成了误操作、撞击和失控风险。提高机器人及无人机等远程自主巡检工具的识别定位准确率，有必要加入深度维度信息，提升智能化运检效率和准确率。
目前，深度卷积神经网络目标检测算法发展迅速，电力设备识别定位准确率大幅提升。但电力设备所处环境较为复杂，如电力设备群相互遮挡、设备构件群空间难以区分等，这些问题的存在，导致故障误检和漏检的问题仍大量存在，使得电网设备识别的准确率大大降低，全方位健康评估仍存在很大隐患。
技术实现要素：
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种识别准确率高、抗遮挡能力强的电力设备双目三维立体识别系统。
本发明的目的可以通过以下技术方案来实现：
一种电力设备双目三维立体识别系统，包括：
图像采集融合模块，用于获取双目rgb图像、当前场景的稠密深度图像以及三维的三通道融合图像；
识别定位模型训练模块，用于负责输入图像的标注以及训练目标分类模型；
目标定位修正模块，用于针对遮挡电力设备执行定位修正；
所述的图像采集融合模块、识别定位模型训练模块和目标定位修正模块依次相连，最终输出电力设备类型及电力设备边界框，完成电力设备的识别。
优选地，所述的图像采集融合模块包括：
双目图像采集单元，用于获取巡检场景的双目rgb图像以及当前场景的稠密深度图像；
深度图像融合单元，用于利用深度图像将其压缩生成平面二维加入深度维内容格式的三通道融合图像；
所述的双目图像采集单元与深度图像融合单元相连；所述的深度图像融合单元与识别定位模型训练模块相连。
更加优选地，所述的双目图像采集单元具体为：
获取巡检场景的双目rgb图像，然后利用既有的立体匹配算法及深度积分图像生成当前场景的稠密深度图像。
更加优选地，所述的深度图像融合单元具体为：
步骤101：绘制当前左通道rgb图像的红、绿、蓝三通道像素直方图曲线；
步骤102：获取各个曲线峰值对应的横坐标记为xr、xg和xb，然后将对三个横坐标按照升序排列记为xmin、x和xmax，最后按照下列公式获取三点距离的比值：
步骤103：若比值处于0.4到0.6之间，表明三通道颜色未出现混叠，则将预设红色通道替换为深度图像生成平面二维加入深度维内容格式的三通道融合图像；若比值不在上述区间则将x对应的颜色通道替换成深度图像，进而压缩生成平面二维加入深度维内容格式的三通道融合图像。
更加优选地，所述的识别定位模型训练模块包括：
电力设备数据集标注单元，存储有进行过类别标注的电力巡检数据集；
yolov3模型训练单元，用于获取电力设备细粒度目标检测模型；
所述的电力设备数据集标注单元的一端与输入图像采集融合模块相连，另一端与yolov3模型训练单元相连；
所述的yolov3模型训练单元的另一端与目标定位修正模块相连。
更加优选地，所述的yolov3模型训练单元中细粒度目标检测模型的获取方法为：
利用darknet-53特征提取网络对训练数据集进行特征提取，然后通过yolov3分类网络对目标进行分类训练，生成电力设备细粒度目标检测模型。
更加优选地，所述的目标定位修正模块包括：
深度计算单元，用于获取初步目标定位边界框的平均深度；
遮挡状态评估单元，用于利用各个目标的平均深度进行遮挡状态评估；
置信得分修正单元，用于对遮挡状态的电力设备置信得分进行修正；
所述的深度计算单元、遮挡状态评估单元和置信得分修正单元依次相连；所述的深度计算单元的输入端与识别定位模型训练模块相连。
更加优选地，所述的深度计算单元中目标定位边界框平均深度的计算方法为：
其中，h为目标边界框的高，w为目标边界框的宽，dm,n为目标边界框中第m列第n行的深度值。
更加优选地，所述的遮挡状态评估单元具体为：
通过电力设备遮挡评估因子nt对电力设备进行遮挡评估，遮挡评估因子nt的计算方法为：
其中，dm为最优边界框的平均深度，di为候选边界框的平均深度，ε为遮挡经验阈值；当nt为0时表示电力设备未受遮挡，当nt为1时表明当前设备处于遮挡状态。
更加优选地，所述的置信得分修正单元具体为：
目标置信得分修正策略采用：
其中，δd为深度修正因子，m为最优目标边界框，bi为候选目标边界框，iou为m与bi的交并比，s为目标边界框的置信得分。
与现有技术相比，本发明具有以下有益效果：
一、识别准确率高：本发明中的电力设备双目三维立体识别系统在复杂电力场景中可以有效区分电力设备的遮挡状态，进而对遮挡的电力设备进行置信得分修正，改善了传统nms算法的筛选策略，提高了电力设备的识别定位准确率。
二、抗遮挡能力强：本发明中的电力设备双目三维立体识别系统在未增加yolov3网络的卷积层数的情况下，保证了检测的实时性，同时融入了目标的深度信息，提高了电力设备识别定位算法的抗遮挡能力。
三、样本利用率高：本发明中的电力设备双目三维立体识别系统利用融合深度信息的图像作为输入图像，可以使相同的电力设备增加深度特征，提高了训练样本的利用率。
附图说明
图1为本发明中电力设备双目三维立体识别系统的流程示意图；
图2为本发明中图像采集及融合过程的流程示意图；
图3为本发明中基于yolov3网络的模型训练示意图；
图4为本发明中融合深度信息的dnms算法定位修正示意图。
图中标号所示：
110、图像采集融合模块，111、双目图像采集单元，112、深度图像融合单元；
120、识别定位模型训练模块，121、电力设备数据集标注单元，122、yolov3模型训练单元；
130、目标定位修正模块，131、深度计算单元，132、遮挡状态评估单元，133、置信得分修正单元。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
一种电力设备双目三维立体识别系统，其流程如图1所示，包括：
图像采集融合模块110；
识别定位模型训练模块120，用于负责输入图像的标注以及训练目标分类模型；
目标定位修正模块130，用于针对遮挡电力设备执行定位修正；
图像采集融合模块110、识别定位模型训练模块120和目标定位修正模块130依次相连，最终输出电力设备类型以及电力设备边界框，完成电力设备的识别。
下面对各个模块进行详细描述：
一、图像采集融合模块110
包括：
双目图像采集单元111，用于获取巡检场景的双目rgb图像，并利用立体匹配算法及深度积分图像生成当前场景的稠密深度图像；
深度图像融合单元112，用于利用深度图像将其压缩生成平面二维加入深度维内容格式的三通道融合图像；
双目图像采集单元111与深度图像融合单元112相连，深度图像融合单元112与识别定位模型训练模块120相连。
如图2所示，深度图像融合单元112基于接收到的双目左通道rgb图像和稠密深度图像进行深度图像融合。其融合步骤为：
步骤101：绘制当前左通道rgb图像的红、绿、蓝三通道像素直方图曲线；
步骤102：获取各个曲线峰值对应的横坐标记为xr、xg和xb，然后将对三个横坐标按照升序排列记为xmin、x和xmax，最后按照下列公式获取三点距离的比值：
步骤103：若比值处于0.4到0.6之间，表明三通道颜色未出现混叠，则将预设红色通道替换为深度图像生成平面二维加入深度维内容格式的三通道融合图像；若比值不在上述区间则将x对应的颜色通道替换成深度图像，进而压缩生成平面二维加入深度维内容格式的三通道融合图像。
二、识别定位模型训练模块120
包括：
电力设备数据集标注单元121，存储有进行过类别标注的电力巡检数据集；
yolov3模型训练单元122，利用darknet-53特征提取网络对训练数据集进行特征提取，然后通过yolov3分类网络对目标进行分类训练，生成电力设备细粒度目标检测模型；
电力设备数据集标注单元121的一端与输入图像采集融合模块110相连，另一端与yolov3模型训练单元122相连；yolov3模型训练单元122的另一端与目标定位修正模块130相连。
如图3所示，电力设备数据集标注单元121对平面二维加入深度维内容格式的融合图像进行类别标注，然后通过yolov3模型训练单元122训练生成电力设备细粒度识别定位模型。
三、目标定位修正模块130
包括：
深度计算单元131，用于获取初步目标定位边界框的平均深度；
遮挡状态评估单元132，用于利用各个目标的平均深度进行遮挡状态评估；
置信得分修正单元133，用于对遮挡状态的电力设备置信得分进行修正；
深度计算单元131、遮挡状态评估单元132和置信得分修正单元133依次相连，深度计算单元131的输入端与识别定位模型训练模块120相连。
识别定位模型训练模块120生成的电力设备细粒度识别定位模型会为目标电力设备生成一系列的候选定位。深度计算单元131会计算所有目标的平均深度，然后遮挡状态评估单元132按照类别排序，逐类判断目标间的遮挡状况。一旦发现目标处于遮挡状态，便会启动置信得分修正单元133对目标置信得分进行修正，调整该目标的筛选排序，最终选择出最优定位边界框。
如图4所示，目标定位修正模块130首先会对一系列候选定为边界框按照置信得分降序排列。其中置信得分最高的目标边界框为最优边界框m，其他一系列识别定位结果为候选边界框bi，然后深度计算单元131获取边界框的平均深度。
深度计算单元131中目标定位边界框平均深度的计算方法为：
其中，h为目标边界框的高，w为目标边界框的宽，dm,n为目标边界框中第m列第n行的深度值。
遮挡状态评估单元132具体为：
通过电力设备遮挡评估因子nt对电力设备进行遮挡评估：分别比较目标最优边界框m和候选目标边界框bi的平均深度，计算遮挡系数nt，评估其遮挡状况。
遮挡评估因子nt的计算方法为：
其中，dm为最优边界框的平均深度，di为候选边界框的平均深度，ε为遮挡经验阈值；当nt为0时表示电力设备未受遮挡，当nt为1时表明当前设备处于遮挡状态。
置信得分修正单元133结合遮挡系数nt并利用目标最优边界框m和候选目标边界框bi的平均深度进一步对候选目标边界框bi的置信得分进行修正，其融合深度信息的dnms算法的筛选策略为：
其中，δd为深度修正因子，m为最优目标边界框，bi为候选目标边界框，iou为m与bi的交并比，s为目标边界框的置信得分。
最后按照新的置信得分再进行降序排列，逐类对候选边界框进行筛选，直到候选边界框bi数目为零。
最终根据筛选出的边界框获得最终的电力设备标注框，完成对电力设备的识别。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
1.一种电力设备双目三维立体识别系统，其特征在于，所述的识别系统包括：
图像采集融合模块(110)，用于获取双目rgb图像、当前场景的稠密深度图像以及三维的三通道融合图像；
识别定位模型训练模块(120)，用于负责输入图像的标注以及训练目标分类模型；
目标定位修正模块(130)，用于针对遮挡电力设备执行定位修正；
所述的图像采集融合模块(110)、识别定位模型训练模块(120)和目标定位修正模块(130)依次相连，最终输出电力设备类型及电力设备边界框，完成电力设备的识别。
2.根据权利要求1所述的一种电力设备双目三维立体识别系统，其特征在于，所述的图像采集融合模块(110)包括：
双目图像采集单元(111)，用于获取巡检场景的双目rgb图像以及当前场景的稠密深度图像；
深度图像融合单元(112)，用于利用深度图像将其压缩生成平面二维加入深度维内容格式的三通道融合图像；
所述的双目图像采集单元(111)与深度图像融合单元(112)相连；所述的深度图像融合单元(112)与识别定位模型训练模块(120)相连。
3.根据权利要求2所述的一种电力设备双目三维立体识别系统，其特征在于，所述的双目图像采集单元(111)具体为：
获取巡检场景的双目rgb图像，然后利用既有的立体匹配算法及深度积分图像生成当前场景的稠密深度图像。
4.根据权利要求2所述的一种电力设备双目三维立体识别系统，其特征在于，所述的深度图像融合单元(112)具体为：
步骤101：绘制当前左通道rgb图像的红、绿、蓝三通道像素直方图曲线；
步骤102：获取各个曲线峰值对应的横坐标记为xr、xg和xb，然后将对三个横坐标按照升序排列记为xmin、x和xmax，最后按照下列公式获取三点距离的比值：
步骤103：若比值处于0.4到0.6之间，表明三通道颜色未出现混叠，则将预设红色通道替换为深度图像生成平面二维加入深度维内容格式的三通道融合图像；若比值不在上述区间则将x对应的颜色通道替换成深度图像，进而压缩生成平面二维加入深度维内容格式的三通道融合图像。
5.根据权利要求2所述的一种电力设备双目三维立体识别系统，其特征在于，所述的识别定位模型训练模块(120)包括：
电力设备数据集标注单元(121)，存储有进行过类别标注的电力巡检数据集；
yolov3模型训练单元(122)，用于获取电力设备细粒度目标检测模型；
所述的电力设备数据集标注单元(121)的一端与输入图像采集融合模块(110)相连，另一端与yolov3模型训练单元(122)相连；
所述的yolov3模型训练单元(122)的另一端与目标定位修正模块(130)相连。
6.根据权利要求5所述的一种电力设备双目三维立体识别系统，其特征在于，所述的yolov3模型训练单元(122)中细粒度目标检测模型的获取方法为：
利用darknet-53特征提取网络对训练数据集进行特征提取，然后通过yolov3分类网络对目标进行分类训练，生成电力设备细粒度目标检测模型。
7.根据权利要求2所述的一种电力设备双目三维立体识别系统，其特征在于，所述的目标定位修正模块(130)包括：
深度计算单元(131)，用于获取初步目标定位边界框的平均深度；
遮挡状态评估单元(132)，用于利用各个目标的平均深度进行遮挡状态评估；
置信得分修正单元(133)，用于对遮挡状态的电力设备置信得分进行修正；
所述的深度计算单元(131)、遮挡状态评估单元(132)和置信得分修正单元(133)依次相连；所述的深度计算单元(131)的输入端与识别定位模型训练模块(120)相连。
8.根据权利要求7所述的一种电力设备双目三维立体识别系统，其特征在于，所述的深度计算单元(131)中目标定位边界框平均深度的计算方法为：
其中，h为目标边界框的高，w为目标边界框的宽，dm,n为目标边界框中第m列第n行的深度值。
9.根据权利要求7所述的一种电力设备双目三维立体识别系统，其特征在于，所述的遮挡状态评估单元(132)具体为：
通过电力设备遮挡评估因子nt对电力设备进行遮挡评估，遮挡评估因子nt的计算方法为：
其中，dm为最优边界框的平均深度，di为候选边界框的平均深度，ε为遮挡经验阈值；当nt为0时表示电力设备未受遮挡，当nt为1时表明当前设备处于遮挡状态。
10.根据权利要求7所述的一种电力设备双目三维立体识别系统，其特征在于，所述的置信得分修正单元(133)具体为：
目标置信得分修正策略采用：
其中，δd为深度修正因子，m为最优目标边界框，bi为候选目标边界框，iou为m与bi的交并比，s为目标边界框的置信得分。
技术总结