本技术实施例涉及图像处理,尤其涉及一种车辆重识别方法、装置、介质和电子设备。
背景技术:
1、随着社会发展,车辆已经成为我们生活中不可或缺的一部分,车辆的普及也促使了智能交通的发展。车辆重识别(vehicle re-identification,veri)是智能交通系统的重要方面,旨在给定一幅待查询的车辆图片,通过图片特征确定是否存在相同id的车辆图片。
2、车辆重识别在智能交通系统等领域具有广泛应用。然而,复杂场景时,由于摄像头视角、光照条件和背景的变化,车辆重识别在实际应用中面临许多挑战。
3、现有的车辆重识别方法,通常依赖人的手工特征,不仅费时费力,在处理复杂场景时往往无法正常识别,车辆重识别的效率低下。因此,如何提供一种车辆重识别方法,解决车辆重识别过程中效率低下的问题,具有重要的现实意义。
技术实现思路
1、本技术实施例提供了一种车辆重识别方法、装置、介质和电子设备,可以提升车辆重识别过程的效率。
2、为达到上述目的,本技术实施例的技术方案是这样实现的:
3、第一方面,本技术实施例提供一种车辆重识别方法,包括:
4、获取待查车辆图像和基准车辆图像;
5、将所述基准车辆图像和所述待查车辆图像输入已训练的重识别模型包括的多角度特征提取网络,得到所述基准车辆图像的目标多角度特征以及所述待查车辆图像的待查多角度特征;多角度特征包括原图特征、旋转图特征和混合图特征;所述原图特征为对输入图像进行特征提取处理得到的;所述旋转图特征为对输入图像在镜像翻转后进行特征提取处理得到的;所述混合图特征为根据输入图像对应的原图特征和旋转图特征得到的;
6、基于所述目标多角度特征和所述待查多角度特征,确定所述待查车辆图像与各个所述基准车辆图像之间的特征综合相似度;
7、根据所述特征综合相似度,确定待查车辆图像对应的匹配车辆图像;所述匹配车辆图像为从基准车辆图像中选取的与待查车辆图像之间的特征综合相似度满足预设匹配条件的图像。
8、本技术实施例提供的车辆重识别方法,在车辆重识别的过程中,获取待查车辆图像和基准车辆图像;将所述基准车辆图像和所述待查车辆图像输入已训练的重识别模型包括的多角度特征提取网络,得到所述基准车辆图像的目标多角度特征以及所述待查车辆图像的待查多角度特征;多角度特征包括原图特征、旋转图特征和混合图特征;所述原图特征为对输入图像进行特征提取处理得到的;所述旋转图特征为对输入图像在镜像翻转后进行特征提取处理得到的;所述混合图特征为根据输入图像对应的原图特征和旋转图特征得到的;基于所述目标多角度特征和所述待查多角度特征,确定所述待查车辆图像与各个所述基准车辆图像之间的特征综合相似度;根据所述特征综合相似度,确定待查车辆图像对应的匹配车辆图像;所述匹配车辆图像为从基准车辆图像中选取的与待查车辆图像之间的特征综合相似度满足预设匹配条件的图像。该方法通过已训练的重识别模型包括的多角度特征提取网络,得到所述基准车辆图像的目标多角度特征以及所述待查车辆图像的待查多角度特征,并基于得到的多角度特征优化识别待查车辆图像对应的匹配车辆图像,能够减少车辆重识别的人为干预,节省人力成本,提升车辆重识别的准确性,有效提升车辆重识别的效率。
9、在一种可选的实施例中,通过下述步骤得到所述多角度特征:
10、对输入图像进行镜像翻转,得到水平镜像图像;
11、通过深度残差resnet网络对所述输入图像进行特征提取,得到第一深层特征图;以及,通过所述resnet网络对所述水平镜像图像进行特征提取,得到第二深层特征图;
12、对所述第一深层特征图进行特征强化,得到原图特征;以及,对所述第二深层特征图进行特征强化,得到旋转图特征;
13、根据所述原图特征和所述旋转图特征,得到混合图特征。
14、该实施例的方法,通过下述步骤得到所述多角度特征:对输入图像进行镜像翻转,得到水平镜像图像;通过深度残差resnet网络对所述输入图像进行特征提取,得到第一深层特征图;以及,通过所述resnet网络对所述水平镜像图像进行特征提取,得到第二深层特征图;对所述第一深层特征图进行特征强化,得到原图特征;以及,对所述第二深层特征图进行特征强化,得到旋转图特征;根据所述原图特征和所述旋转图特征,得到混合图特征,可以在车辆重识别时对输入图像进行镜像翻转,得到水平镜像图像,并基于输入图像和水平镜像图像得到原图特征、旋转图特征和混合图特征,实现基于多角度特征的车辆重识别,能够减少车辆重识别时的人为干预,节省人力成本,进一步提升车辆重识别的准确性,有效提升车辆重识别的效率。
15、在一种可选的实施例中,所述对所述第二深层特征图进行特征强化,得到旋转图特征,包括:
16、将所述第二深层特征图沿图片高度顺序划分,得到按划分顺序排列的预设数量个语义特征组;
17、通过与各所述语义特征组一一对应的通道注意力模块对所述语义特征组进行调整,得到所述语义特征组对应的通道增强特征;所述多角度特征提取网络包括空间注意力模块组;所述空间注意力模块组包括与各所述语义特征组按照得到所述语义特征组的划分顺序一一对应的所述通道注意力模块;
18、将各所述语义特征组对应的所述通道增强特征进行组合,得到旋转图特征。
19、该实施例的方法中,所述对所述第二深层特征图进行特征强化,得到旋转图特征,包括:将所述第二深层特征图沿图片高度顺序划分,得到按划分顺序排列的预设数量个语义特征组;通过与各所述语义特征组一一对应的通道注意力模块对所述语义特征组进行调整,得到所述语义特征组对应的通道增强特征;所述多角度特征提取网络包括空间注意力模块组;所述空间注意力模块组包括与各所述语义特征组按照得到所述语义特征组的划分顺序一一对应的所述通道注意力模块;将各所述语义特征组对应的所述通道增强特征进行组合,得到旋转图特征。该方法可以将车辆图像划分为不同部位的语义特征组,通过空间注意力模块组包含的预设数量个通道注意力模块调整对应的语义特征组实现特征增强,从而提供一种关注车辆显著的区分区域的机制,可以得到更关键的车辆部位的特征,不但能够减少车辆重识别时的人为干预,节省人力成本,还可以进一步提升车辆重识别的准确性,有效提升车辆重识别的效率。
20、在一种可选的实施例中,所述镜像翻转为将原图的像素沿着原图的竖直中线作水平镜像移动;将深层特征图沿图片高度划分得到的所述语义特征组包括核心语义特征组和辅助语义特征组;所述通道增强特征包括核心通道增强特征和辅助通道增强特征;所述核心语义特征组为与深层特征图中的预设的目标区域位置相对应的语义特征组;
21、所述根据所述原图特征和所述旋转图特征,得到混合图特征,包括:
22、将所述核心通道增强特征进行矩阵镜像翻转,得到复位增强特征;所述核心通道增强特征为所述核心语义特征组对应的通道增强特征;所述矩阵镜像翻转使所述核心通道增强特征的元素沿着矩阵的竖直中轴作水平镜像移动,以实现镜像翻转方位复原;
23、将所述复位增强特征和所述辅助通道增强特征按预设顺序进行组合,得到回调旋转图特征;所述预设顺序与将深层特征图沿图片高度划分得到的所述语义特征组的顺序相一致;
24、将所述回调旋转图特征与所述原图特征进行特征相加,得到所述混合图特征。
25、该实施例的方法,通过将所述核心通道增强特征进行矩阵镜像翻转,得到复位增强特征;所述核心通道增强特征为所述核心语义特征组对应的通道增强特征;所述矩阵镜像翻转使所述核心通道增强特征的元素沿着矩阵的竖直中轴作水平镜像移动,以实现镜像翻转方位复原;将所述复位增强特征和所述辅助通道增强特征按预设顺序进行组合,得到回调旋转图特征;所述预设顺序与将深层特征图沿图片高度划分得到的所述语义特征组的顺序相一致;将所述回调旋转图特征与所述原图特征进行特征相加,得到所述混合图特征,可以保持角度变化后得到的辅助通道增强特征,也可以加强与深层特征图中的预设的目标区域位置对应的核心语义特征组,提升车辆重识别的识别准确率,更有效地提升车辆重识别的效率。
26、在一种可选的实施例中,所述待查多角度特征包括待查原图特征、待查旋转图特征和待查混合图特征;
27、所述基于所述目标多角度特征和所述待查多角度特征,确定所述待查车辆图像与各个所述基准车辆图像之间的特征综合相似度,包括:
28、逐一选取与基准车辆图像对应的目标多角度特征;
29、每选取一个目标多角度特征,将当前选取的目标多角度特征作为待匹配多角度特征;所述待匹配多角度特征包括待匹配原图特征、待匹配旋转图特征和待匹配混合图特征;
30、根据所述待匹配多角度特征和所述待查多角度特征,确定原图相似度、旋转相似度和混合相似度;所述原图相似度为所述待查原图特征与所述待匹配原图特征的相似度;所述旋转相似度为所述待查旋转图特征与所述待匹配旋转图特征的相似度;所述混合相似度为所述待查混合图特征与所述待匹配混合图特征的相似度;
31、根据所述原图相似度、所述旋转相似度和所述混合相似度,得到所述目标多角度特征与所述待匹配多角度特征的特征综合相似度。
32、该实施例的方法,逐一选取与基准车辆图像对应的目标多角度特征;每选取一个目标多角度特征,将当前选取的目标多角度特征作为待匹配多角度特征;所述待匹配多角度特征包括待匹配原图特征、待匹配旋转图特征和待匹配混合图特征;根据所述待匹配多角度特征和所述待查多角度特征,确定原图相似度、旋转相似度和混合相似度;所述原图相似度为所述待查原图特征与所述待匹配原图特征的相似度;所述旋转相似度为所述待查旋转图特征与所述待匹配旋转图特征的相似度;所述混合相似度为所述待查混合图特征与所述待匹配混合图特征的相似度;根据所述原图相似度、所述旋转相似度和所述混合相似度,得到所述目标多角度特征与所述待匹配多角度特征的特征综合相似度。该方法,通过确定待查多角度特征与每一个基准车辆图像对应的目标多角度特征的原图相似度、所述旋转相似度和所述混合相似度,进而得到待查多角度特征与每一个基准车辆图像的特征综合相似度,能够减少车辆重识别的人为干预,节省人力成本,提升车辆重识别的准确性,有效提升车辆重识别的效率。
33、在一种可选的实施例中,所述根据所述原图相似度、所述旋转相似度和所述混合相似度,得到所述目标多角度特征与所述待匹配多角度特征的特征综合相似度,包括:
34、将所述原图相似度、所述旋转相似度和所述混合相似度的均值,作为所述目标多角度特征与所述待匹配多角度特征的特征综合相似度。
35、该实施例的方法,将所述原图相似度、所述旋转相似度和所述混合相似度的均值,作为所述目标多角度特征与所述待匹配多角度特征的特征综合相似度。该方法提供一种确定待查多角度特征与每一个基准车辆图像对应的目标多角度特征的特征综合相似度的机制,能够减少车辆重识别的人力成本,提升车辆重识别的准确性,有效提升车辆重识别的效率。
36、在一种可选的实施例中,所述重识别模型通过如下方法训练得到:
37、获得训练样本数据,所述训练样本数据包括带有车辆身份标签的车辆图料;
38、基于所述训练样本数据,选取批次训练图料;所述批次训练图料包括所述车辆图料中的一部分;
39、将所述批次训练图料输入待训练的车辆识别模型进行训练,并确定所述待训练的车辆识别模型的目标损失函数的识别损失值;所述车辆识别模型包括多角度特征提取网络和分类网络;所述目标损失函数为基于特征学习损失和分类损失的总损失;
40、判断所述识别损失值是否收敛至预设的目标值,如果判断结果为否,则根据确定的识别损失值对待训练的车辆识别模型的参数进行调整并进行再次训练;如果判断结果为是,则结束训练,得到已训练的重识别模型。
41、该实施例的方法,所述重识别模型通过如下方法训练得到:获得训练样本数据,所述训练样本数据包括带有车辆身份标签的车辆图料;基于所述训练样本数据,选取批次训练图料;所述批次训练图料包括所述车辆图料中的一部分;将所述批次训练图料输入待训练的车辆识别模型进行训练,并确定所述待训练的车辆识别模型的目标损失函数的识别损失值;所述车辆识别模型包括多角度特征提取网络和分类网络;所述目标损失函数为基于特征学习损失和分类损失的总损失;判断所述识别损失值是否收敛至预设的目标值,如果判断结果为否,则根据确定的识别损失值对待训练的车辆识别模型的参数进行调整并进行再次训练;如果判断结果为是,则结束训练,得到已训练的重识别模型。该方法提供一种重识别模型的训练机制,能够高效地进行多角度特征提取网络的训练,减少车辆重识别的人力成本,提升车辆重识别的准确性,有效提升车辆重识别的效率。
42、第二方面,本技术实施例还提供了一种车辆重识别装置,包括:
43、图像信息获取单元,用于获取待查车辆图像和基准车辆图像;
44、综合特征提取单元,用于将所述基准车辆图像和所述待查车辆图像输入已训练的重识别模型包括的多角度特征提取网络,得到所述基准车辆图像的目标多角度特征以及所述待查车辆图像的待查多角度特征;多角度特征包括原图特征、旋转图特征和混合图特征;所述原图特征为对输入图像进行特征提取处理得到的;所述旋转图特征为对输入图像在镜像翻转后进行特征提取处理得到的;所述混合图特征为根据输入图像对应的原图特征和旋转图特征得到的;
45、相似信息确定单元,用于基于所述目标多角度特征和所述待查多角度特征,确定所述待查车辆图像与各个所述基准车辆图像之间的特征综合相似度;
46、匹配图像识别单元,用于根据所述特征综合相似度,确定待查车辆图像对应的匹配车辆图像;所述匹配车辆图像为从基准车辆图像中选取的与待查车辆图像之间的特征综合相似度满足预设匹配条件的图像。
47、在一种可选的实施例中,所述综合特征提取单元,具体用于通过下述步骤得到所述多角度特征:
48、对输入图像进行镜像翻转,得到水平镜像图像;
49、通过深度残差resnet网络对所述输入图像进行特征提取,得到第一深层特征图;以及,通过所述resnet网络对所述水平镜像图像进行特征提取,得到第二深层特征图;
50、对所述第一深层特征图进行特征强化,得到原图特征;以及,对所述第二深层特征图进行特征强化,得到旋转图特征;
51、根据所述原图特征和所述旋转图特征,得到混合图特征。
52、在一种可选的实施例中,所述综合特征提取单元,具体用于:
53、将所述第二深层特征图沿图片高度顺序划分,得到按划分顺序排列的预设数量个语义特征组;
54、通过与各所述语义特征组一一对应的通道注意力模块对所述语义特征组进行调整,得到所述语义特征组对应的通道增强特征;所述多角度特征提取网络包括空间注意力模块组;所述空间注意力模块组包括与各所述语义特征组按照得到所述语义特征组的划分顺序一一对应的所述通道注意力模块;
55、将各所述语义特征组对应的所述通道增强特征进行组合,得到旋转图特征。
56、在一种可选的实施例中,所述镜像翻转为将原图的像素沿着原图的竖直中线作水平镜像移动;将深层特征图沿图片高度划分得到的所述语义特征组包括核心语义特征组和辅助语义特征组;所述通道增强特征包括核心通道增强特征和辅助通道增强特征;所述核心语义特征组为与第二深层特征图中的预设的目标区域位置相对应的语义特征组;所述综合特征提取单元,具体用于:
57、将所述核心通道增强特征进行矩阵镜像翻转,得到复位增强特征;所述核心通道增强特征为所述核心语义特征组对应的通道增强特征;所述矩阵镜像翻转使所述核心通道增强特征的元素沿着矩阵的竖直中轴作水平镜像移动,以实现镜像翻转方位复原;
58、将所述复位增强特征和所述辅助通道增强特征按预设顺序进行组合,得到回调旋转图特征;所述预设顺序与将深层特征图沿图片高度划分得到的所述语义特征组的顺序相一致;
59、将所述回调旋转图特征与所述原图特征进行特征相加,得到所述混合图特征。
60、在一种可选的实施例中,所述待查多角度特征包括待查原图特征、待查旋转图特征和待查混合图特征;
61、所述相似信息确定单元,具体用于:
62、逐一选取与基准车辆图像对应的目标多角度特征;
63、每选取一个目标多角度特征,将当前选取的目标多角度特征作为待匹配多角度特征;所述待匹配多角度特征包括待匹配原图特征、待匹配旋转图特征和待匹配混合图特征;
64、根据所述待匹配多角度特征和所述待查多角度特征,确定原图相似度、旋转相似度和混合相似度;所述原图相似度为所述待查原图特征与所述待匹配原图特征的相似度;所述旋转相似度为所述待查旋转图特征与所述待匹配旋转图特征的相似度;所述混合相似度为所述待查混合图特征与所述待匹配混合图特征的相似度;
65、根据所述原图相似度、所述旋转相似度和所述混合相似度,得到所述目标多角度特征与所述待匹配多角度特征的特征综合相似度。
66、在一种可选的实施例中,所述相似信息确定单元,具体用于:
67、将所述原图相似度、所述旋转相似度和所述混合相似度的均值,作为所述目标多角度特征与所述待匹配多角度特征的特征综合相似度。
68、在一种可选的实施例中,所述装置还包括识别模型训练单元;所述识别模型训练单元,用于:
69、获得训练样本数据,所述训练样本数据包括带有车辆身份标签的车辆图料;
70、基于所述训练样本数据,选取批次训练图料;所述批次训练图料包括所述车辆图料中的一部分;
71、将所述批次训练图料输入待训练的车辆识别模型进行训练,并确定所述待训练的车辆识别模型的目标损失函数的识别损失值;所述车辆识别模型包括多角度特征提取网络和分类网络;所述目标损失函数为基于特征学习损失和分类损失的总损失;
72、判断所述识别损失值是否收敛至预设的目标值,如果判断结果为否,则根据确定的识别损失值对待训练的车辆识别模型的参数进行调整并进行再次训练;如果判断结果为是,则结束训练,得到已训练的重识别模型。
73、第三方面,本技术实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时,实现第一方面的车辆重识别方法。
74、第四方面,本技术实施例还提供了一种电子设备,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,当所述计算机程序被所述处理器执行时,使得所述处理器实现第一方面的车辆重识别方法。
75、第二方面至第四方面中任意一种实现方式所带来的技术效果可参见第一方面中对应的实现方式所带来的技术效果,此处不再赘述。
1.一种车辆重识别方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,通过下述步骤得到所述多角度特征:
3.根据权利要求2所述的方法,其特征在于,所述对所述第二深层特征图进行特征强化,得到旋转图特征,包括:
4.根据权利要求3所述的方法,其特征在于,所述镜像翻转为将原图的像素沿着原图的竖直中线作水平镜像移动;将深层特征图沿图片高度划分得到的所述语义特征组包括核心语义特征组和辅助语义特征组;所述通道增强特征包括核心通道增强特征和辅助通道增强特征;所述核心语义特征组为与深层特征图中的预设的目标区域位置相对应的语义特征组;
5.根据权利要求1所述的方法,其特征在于,所述待查多角度特征包括待查原图特征、待查旋转图特征和待查混合图特征;
6.根据权利要求5所述的方法,其特征在于,所述根据所述原图相似度、所述旋转相似度和所述混合相似度,得到所述目标多角度特征与所述待匹配多角度特征的特征综合相似度,包括:
7.根据权利要求1~6任一所述的方法,其特征在于,所述重识别模型通过如下方法训练得到:
8.一种车辆重识别装置,其特征在于,所述装置包括:
9.一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,其特征在于:所述计算机程序被处理器执行时,实现权利要求1~7中任一项所述的方法。
10.一种电子设备,其特征在于,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,当所述计算机程序被所述处理器执行时,实现权利要求1~7中任一项所述的方法。