本发明涉及图像处理，特别涉及一种融合视角信息的顶视角行人重识别方法及系统。
背景技术：
1、行人重识别技术是跨多个摄像头的行人检索技术，其中摄像头间的视野通常不重叠；大部分的现有行人重识别技术都基于水平视角或倾斜视角，在此称之为通用行人重识别技术；近年来，通用行人重识别技术取得了快速的发展；如今通用行人重识别技术已经被广泛应用于公共场所如公园、铁路等的监控系统中，随着行人隐私安全保护的重要性日益增加，顶视角监控摄像头逐渐被许多公共场所如展览馆和商场等引入安装。
2、在通用行人重识别技术处理的行人图像中，其拍摄方式接近于水平，其拍摄视角(拍摄视角的定义为摄像头到行人双脚中点的连线与水平地面的夹角)一般小于30度，需要处理的视角变化大多为水平视角下的行人正、侧、背面的区分，行人在图像中的部位分布以及人体姿态差异不大；在顶视角拍摄下，行人图像的拍摄视角一般在30至90度之间，并且在顶视角拍摄下的行人图像，不仅有水平方向上正、侧、背面的区别，还有垂直方向上的姿态差异，行人在不同图像中的身体部位分布以及姿态变化差异巨大，然而，相比于水平视角或倾斜视角拍摄的图像，顶视角拍摄的图像具有更大的垂直视角变化，视角变化的差异更大，可辨别的行人信息更少，随着图像拍摄视角的增大，行人外观变得更加不可辨别，而现有技术的通用行人重识别技术无法在视角变化差异剧烈的情况下进行行人重识别。
3、因此，研究一种能在顶视角下进行行人重识别的技术具有重要意义。
技术实现思路
1、本发明的目的在于提供一种融合视角信息的顶视角行人重识别方法及系统，通过引入视角信息，并提出视角相关的度量损失，指导模型学习到更多视角变化与行人姿态变化的关系，从而解决现有技术无法在视角变化差异剧烈的情况下进行行人重识别的问题。
2、为了解决上述技术问题，第一技术方案，本发明提供了一种融合视角信息的顶视角行人重识别方法，包括以下步骤：
3、获取顶视角行人图像，并计算所述顶视角行人图像的拍摄视角；
4、利用所述顶视角行人图像和所述拍摄视角训练顶视角行人重识别模型；
5、将所述顶视角行人图像和所述拍摄视角输入至训练好的所述顶视角行人重识别模型，得到行人重识别结果；
6、其中，所述顶视角行人重识别模型的训练过程如下：
7、基于所述顶视角行人图像和所述拍摄视角，生成图像嵌入、视角编码和位置编码；
8、将所述视角编码和所述位置编码与所述图像嵌入叠加，得到叠加后的图像嵌入；
9、将所述叠加后的图像嵌入输入至transformer层中进行训练；
10、计算训练过程中的视角度量损失，利用所述视角度量损失构建总损失；
11、利用所述总损失优化所述顶视角行人重识别模型，迭代训练直至达到预设条件为止，得到训练好的所述顶视角行人重识别模型。
12、在第一技术方案的一些实施例中，所述视角度量损失至少包括四元组损失和样本挖掘损失。
13、在第一技术方案的一些实施例中，所述视角度量损失的计算公式如下：
14、lang＝lquin+λlmsml
15、上式中，lang为视角度量损失，lquin为四元组损失，lmsml为样本挖掘损失；
16、所述四元组损失的计算公式如下：
17、
18、上式中，β1为调节锚样本、与锚样本具有相同行人id和相同视角的样本与锚样本具有相同行人id和不同视角的样本之间的距离的参数，β2为调节锚样本、与锚样本具有相同行人id和不同视角的样本、与锚样本具有不同行人id和相同视角的样本之间的距离的参数，β3为调节锚样本、与锚样本具有不同行人id和相同视角的样本、与锚样本具有不同行人id和不同视角的样本之间的距离的参数，为锚样本和同类同视角样本特征的欧式距离，为锚样本和同类不同视角样本特征的欧式距离，m1、m2和m3为调节四元组损失内各距离差的超参数，为锚样本和不同类同视角样本特征的欧式距离，为锚样本和不同类不同视角样本特征的欧式距离；
19、所述样本挖掘损失的计算公式如下：
20、lmsml＝max[dmaxposid-dminnegid+m3，0]
21、上式中，dmaxposid为批次中距离最远的正样本对的距离，dminnegid为批次中距离最近的负样本对的距离。
22、在第一技术方案的一些实施例中，所述β1、β2和β3的计算公式如下：
23、
24、
25、
26、上式中，为与锚样本同类不同视角的样本视角，为与锚样本同类同视角的样本视角，为与锚样本不同类同视角的样本视角。
27、在第一技术方案的一些实施例中，所述视角度量损失的计算公式如下：
28、lang＝lquin+λlmsml
29、上式中，lang为视角度量损失，lquin为四元组损失，lmsml为样本挖掘损失；
30、所述四元组损失的计算公式如下：
31、
32、上式中，β1为调节同类样本对距离的参数，β2为调节同视觉样本对距离的参数，β3为调节不同类样本对距离的参数，为锚样本和同类同视角样本特征的欧式距离，为锚样本和同类不同视角样本特征的欧式距离，m1、m2为调节四元组损失内各距离差的超参数，为锚样本和不同类同视角样本特征的欧式距离，为锚样本和不同类不同视角样本特征的欧式距离。
33、所述样本挖掘损失的计算公式如下：
34、lmsml＝max[dmaxposid-dminnegid+m3，0]
35、上式中，dmaxposid为批次中距离最远的正样本对的距离，dminnegid为批次中距离最近的负样本对的距离，m3为调节样本挖掘损失内距离差的超参数。
36、在第一技术方案的一些实施例中，所述β1、β2和β3的计算公式如下：
37、
38、
39、
40、上式中，β1为调节同类样本对距离的参数，β2为调节同视觉样本对距离的参数，β3为调节不同类样本对距离的参数，为与锚样本同类不同视角的样本视角，为与锚样本同类同视角的样本视角，为与锚样本不同类同视角的样本视角。
41、在第一技术方案的一些实施例中，所述拍摄视角是指摄像头与行人双脚中点的连线与地面之间的直角或锐角。
42、在第一技术方案的一些实施例中，在基于所述顶视角行人图像和所述拍摄视角，生成得到图像嵌入、视角编码和位置编码，这一步骤中，具体包括以下步骤：
43、将所述顶视角行人图像分为若干个图像块，并将所述图像块输入线性映射层，得到所述图像嵌入；
44、基于所述拍摄视角，利用可学习的编码计算视角编码；
45、基于所述图像块在所述顶视角行人图像的位置，利用可学习的编码计算位置编码。
46、在第一技术方案的一些实施例中，在所述基于所述拍摄视角，利用可学习的编码计算视角编码，这一步骤中，具体包括以下步骤：
47、从视角范围大小与每个一维视角编码向量的维度大小乘积的集合选出所述可学习的编码；
48、将所述可学习的编码进行随机化处理；
49、基于所述拍摄视角，确定其对应位置值为1，其余位置值为0的one-hot向量；
50、将one-hot向量与可学习的编码进行组合，得到所述视角编码。
51、在第一技术方案的一些实施例中，在将所述视角编码和所述位置编码与所述图像嵌入叠加，得到叠加后的图像嵌入，这一步骤中，具体包括以下步骤：
52、将所述视角编码进行列向量扩展处理，得到处理后的视角编码；
53、将所述处理后的视角编码和所述位置编码与所述图像嵌入进行叠加处理，得到所述叠加后的图像嵌入。
54、在第一技术方案的一些实施例中，在将所述顶视角行人图像和所述拍摄视角输入至训练好的所述顶视角行人重识别模型，得到行人重识别结果，这一步骤中，具体包括以下步骤：
55、将所述顶视角行人图像和所述拍摄视角作为输入至所述训练好的顶视角行人重识别模型，得到行人图像特征；
56、以所述行人图像特征为输入，与行人特征库内的特征进行匹配，逐个计算所述行人图像特征与所述行人特征库中所有特征的余弦相似度，并对相似度排序；
57、将最大的相似度与预设阈值比较，当相似度大于预设阈值时，得到所述行人图像特征的行人身份。
58、第二技术方案，本发明提供了一种融合视角信息的顶视角行人重识别系统，应用了第一技术方案中所述的融合视角信息的顶视角行人重识别方法，包括：
59、获取模块，所述获取模块用于获取顶视角行人图像，并计算所述顶视角行人图像的拍摄视角；
60、训练模块，所述训练模块用于利用所述顶视角行人图像和所述拍摄视角训练顶视角行人重识别模型；其中，所述顶视角行人重识别模型的训练过程如下：基于所述顶视角行人图像和所述拍摄视角，计算得到图像嵌入、视角编码和位置编码；将所述视角编码和所述位置编码与所述图像嵌入叠加，得到叠加后的图像嵌入；将所述叠加后的图像嵌入输入至所述顶视角行人重识别模型中进行训练；计算训练过程中的视角度量损失，利用所述视角度量损失构建总损失；利用所述总损失优化所述顶视角行人重识别模型，迭代训练直至达到预设条件为止，得到所述训练好的顶视角行人重识别模型；
61、识别模块，所述识别模块用于将所述顶视角行人图像和所述拍摄视角输入至训练好的顶视角行人重识别模型，得到行人重识别结果。
62、本发明的有益效果如下：
63、本方案将视角信息通过视角编码的形式输入至神经网络transformer层中进行训练，并提出视角相关的视角度量损失，帮助网络识别模型学习视角变化对行人姿态的影响，指导识别模型学习到更多视角变化与行人姿态变化的关系，从而学习到更鲁棒的行人图像特征，当顶视角行人图像和拍摄视角输入至顶视角行人重识别模型时，能够更准确地实现顶视角行人重识别，并且在顶视角行人重识别的累计匹配特性上达到最好的效果。
1.一种融合视角信息的顶视角行人重识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的融合视角信息的顶视角行人重识别方法，其特征在于，所述视角度量损失至少包括四元组损失和样本挖掘损失。
3.根据权利要求2所述的融合视角信息的顶视角行人重识别方法，其特征在于，所述视角度量损失的计算公式如下：
4.根据权利要求3所述的融合视角信息的顶视角行人重识别方法，其特征在于，所述β1、β2和β3的计算公式如下：
5.根据权利要求1所述的融合视角信息的顶视角行人重识别方法，其特征在于，所述拍摄视角是指摄像头与行人双脚中点的连线与地面之间的直角或锐角。
6.根据权利要求1所述的融合视角信息的顶视角行人重识别方法，其特征在于，在基于所述顶视角行人图像和所述拍摄视角，生成得到图像嵌入、视角编码和位置编码，这一步骤中，具体包括以下步骤：
7.根据权利要求6所述的融合视角信息的顶视角行人重识别方法，其特征在于，在所述基于所述拍摄视角，利用可学习的编码计算视角编码，这一步骤中，具体包括以下步骤：
8.根据权利要求1所述的融合视角信息的顶视角行人重识别方法，其特征在于，在将所述视角编码和所述位置编码与所述图像嵌入叠加，得到叠加后的图像嵌入，这一步骤中，具体包括以下步骤：
9.根据权利要求1所述的融合视角信息的顶视角行人重识别方法，其特征在于，在将所述顶视角行人图像和所述拍摄视角输入至训练好的所述顶视角行人重识别模型，得到行人重识别结果，这一步骤中，具体包括以下步骤：
10.一种融合视角信息的顶视角行人重识别系统，其特征在于，应用了权利要求1至权利要求9任一项所述的融合视角信息的顶视角行人重识别方法，包括：
