本公开涉及图像处理,具体地,涉及一种融合场景相关性的目标检测方法、装置、介质及电子设备。
背景技术:
1、图像目标检测是指在图像中检测出用户关注和定义的目标,在工业级上具有非常广泛的应用和较大的应用价值。
2、近几年随着深度学习的发展,基于深度神经网络的各种检测方法被提出,包括ssd、faster r-cnn、yolo系列,这些方法在图像目标检测方面通过有监督的样本学习,在很大程度上解决了目标在光照、颜色、角度变化等情况下的检测问题。
3、但是,现有的检测网络模型也具有一些问题:
4、1)现有的检测网络模型没有充分利用垂直领域的先验信息来提升检测结果。
5、2)现有的检测网络模型均基于公开的数据集(例如coco,imagenet)进行基础模型的训练,在垂直领域数据上的泛化性较低,例如漏检多,误检高。
6、3)现有的检测网络模型依赖垂直行业数据的数量,较少的垂直领域数据难以获得较好的调优效果,而实际中垂直领域的数据量较少。
技术实现思路
1、针对现有技术中的缺陷,本公开的目的是提供一种融合场景相关性的目标检测方法、装置、介质及电子设备。
2、为实现上述目的,根据本公开的第一方面,提供一种融合场景相关性的目标检测方法,包括:
3、获取待测图像所在垂直领域的图像数据集;
4、根据所述图像数据集,确定所述待测图像所在垂直领域的场景类别和目标标签;
5、根据所述待测图像所在垂直领域的场景类别和目标标签,确定所述场景类别和所述目标标签的联合分布概率;
6、采用预训练的图像分类网络对待测图像进行分类检测,确定所述待测图像的场景类别的概率;
7、采用预训练的目标检测网络对所述待测图像进行目标检测,确定所述待测图像的目标标签的检测概率;
8、将所述联合分布概率、所述待测图像的场景类别的概率、所述待测图像的目标标签的检测概率进行融合处理,确定所述待测图像的目标检测结果。
9、可选地,所述将所述联合分布概率、所述待测图像的场景类别的概率、所述待测图像的目标标签的检测概率进行融合处理,确定所述待测图像的目标检测结果,包括:
10、将所述联合分布概率、所述待测图像的场景类别的概率、所述待测图像的目标标签的检测概率进行融合处理,确定所述待测图像的融合概率;
11、将所述待测图像的最大融合概率对应的目标标签,确定为所述待测图像的目标检测结果。
12、可选地,所述将所述联合分布概率、所述待测图像的场景类别的概率、所述待测图像的目标标签的检测概率进行融合处理,确定所述待测图像的融合概率,包括:
13、根据所述待测图像的场景类别的概率和所述联合分布概率,确定所述场景类别和所述目标标签的后验分布概率;
14、将所述后验分布概率和所述待测图像的目标标签的检测概率进行融合处理,确定待测图像的融合概率。
15、可选地,所述根据所述图像数据集,确定所述待测图像所在垂直领域的场景类别和目标标签,包括:
16、对所述图像数据集中的图像进行聚类处理,确定所述待测图像所在垂直领域的场景类别;
17、根据所述图像数据集中的图像上标注的目标标签,确定所述待测图像所在垂直领域的目标标签。
18、可选地,所述场景类别和所述目标标签的联合分布概率包括:
19、
20、其中,x表示所述场景类别,y表示所述目标标签,y=j表示所述图像类别为j,x=i表示所述目标标签为i,p(x,y)表示所述场景类别为j且所述目标标签为i的联合分布概率。
21、根据本公开的第二方面,提供一种融合场景相关性的目标检测装置,包括:
22、获取模块,用于获取待测图像所在垂直领域的图像数据集;
23、第一确定模块,用于根据所述图像数据集,确定所述待测图像所在垂直领域的场景类别和目标标签;
24、先验模块,用于根据所述待测图像所在垂直领域的场景类别和目标标签,确定所述场景类别和所述目标标签的联合分布概率;
25、场景类别检测模块,采用预训练的图像分类网络对待测图像进行分类检测,确定所述待测图像的场景类别的概率;
26、目标标签检测模块,用于采用预训练的目标检测网络对所述待测图像进行目标检测,确定所述待测图像的目标标签的检测概率;
27、检测模块,用于将所述联合分布概率、所述待测图像的场景类别的概率、所述待测图像的目标标签的检测概率进行融合处理,确定所述待测图像的目标检测结果。
28、可选地,所述融合处理模块包括:
29、融合子模块,用于将所述联合分布概率、所述待测图像的场景类别的概率、所述待测图像的目标标签的检测概率进行融合处理,确定所述待测图像的融合概率;
30、检测子模块,用于将所述待测图像的最大融合概率对应的目标标签,确定为所述待测图像的目标检测结果。
31、可选地,所述融合子模块包括:
32、第一确定子模块,用于根据所述待测图像的场景类别的概率和所述联合分布概率,确定所述场景类别和所述目标标签的后验分布概率;
33、第二确定子模块,用于将所述后验分布概率和所述待测图像的目标标签的检测概率进行融合处理,确定待测图像的融合概率。
34、根据本公开的第三方面,提供一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本公开第一方面提供的所述方法的步骤。
35、根据本公开的第四方面,提供一种电子设备,包括:
36、存储器,其上存储有计算机程序;
37、处理器,用于执行所述存储器中的所述计算机程序,以实现本公开第一方面提供的所述方法的步骤。
38、与现有技术相比,本公开实施例具有如下至少一种有益效果:
39、通过上述技术方案,采用待测图像所在垂直领域的场景类别和目标标签,确定该垂直领域的场景类别和目标标签的联合分布概率,即该领域的先验信息,并将联合分布概率、待测图像的场景类别概率以及待测图像的目标标签的检测概率进行融合处理,确定待测图像的目标检测结果,提高目标检测结果的准确性。
40、通过本公开的实施例,采用场景类别和目标标签的联合分布概率,能够提高目标检测网络在不同垂直领域数据中进行目标检测的泛化性,降低漏检率和误检率。
41、通过本公开的实施例,能够实现采用较少的垂直领域的数据量对目标检测网络进行调优处理,获取较好的调优效果,降低目标检测网络对垂直领域的数据量的依赖程度。
1.一种融合场景相关性的目标检测方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述将所述联合分布概率、所述待测图像的场景类别的概率、所述待测图像的目标标签的检测概率进行融合处理,确定所述待测图像的目标检测结果,包括:
3.根据权利要求2所述的方法,其特征在于,所述将所述联合分布概率、所述待测图像的场景类别的概率、所述待测图像的目标标签的检测概率进行融合处理,确定所述待测图像的融合概率,包括:
4.根据权利要求1所述的方法,其特征在于,所述根据所述图像数据集,确定所述待测图像所在垂直领域的场景类别和目标标签,包括:
5.根据权利要求1所述的方法,其特征在于,所述场景类别和所述目标标签的联合分布概率包括:
6.一种融合场景相关性的目标检测装置,其特征在于,包括:
7.根据权利要求6所述的装置,其特征在于,所述融合处理模块包括:
8.根据权利要求7所述的装置,其特征在于,所述融合子模块包括:
9.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-5中任一项所述方法的步骤。
10.一种电子设备,其特征在于,包括:
