本发明涉及计算机视觉对抗领域，尤其是一种对抗伪装生成方法、车辆及装置。
背景技术：
1、随着计算机视觉技术的快速发展，以深度神经网络为框架的感知系统在自动驾驶和安防监控等方面得到广泛的应用，因此使用目标检测算法的安全性变得极为重要。
2、然而，深度神经网络被证实对对抗噪声很敏感，预测结果容易受到特定图案的影响。
3、而现存的对抗纹理图案生成方法绝大多数是生成平面贴纸的对抗纹理，无法附着于物体表面，这使得伪装不能针对设备表面曲面特性进行优化，虽然有少数工作针对3d模型进行对抗训练，但是都是网格单面训练的方式，存在实际应用中无法直接使用的缺陷。
4、因此，研发一种针对目标检测网络模型的强对抗性高实用性的对抗伪装技术，是本领域技术人员亟待解决的技术问题。
技术实现思路
1、为解决现有技术中抗纹理图案不能支持具备表面曲面特性的设备进行任意角度的对抗的问题，本发明的目的是提供一种对抗伪装生成方法、车辆及装置，用以解决上述技术问题。
2、第一方面，根据一些实施例，本发明提供了一种对抗伪装生成方法，包括：
3、将待伪装的目标模型嵌入自动驾驶仿真环境引擎，生成目标数据集，所述目标数据集，包括测试集与训练集，所述训练集用于将对抗伪装的底图去训练3d伪装纹理，所述测试集将用于评测伪装的攻击成功率；
4、利用网格形式的待伪装的目标的3d模型，制作所述待伪装目标的3d模型对应的u-v映射，根据所述u-v映射，建立与坐标系同尺寸的u-v贴图，其中，所述u-v映射，是指3d到2d映射过程中的坐标映射关系；
5、根据所述u-v贴图及所述目标数据集，确定对应伪装的待涂装区域的掩膜数据，所述掩膜数据可躲避检测器的检测。
6、可选的，在一些实施例中，在确定对应伪装的待涂装区域的掩膜数据之后，还包括：
7、将所述掩膜数据打印，裁剪出待涂装区域纹理，将所述待涂装区域纹理贴在所述待伪装的目标的对应位置上。
8、可选的，在一些实施例中，所述将待伪装的目标模型嵌入自动驾驶仿真环境引擎，生成目标数据集，具体包括：
9、利用自动驾驶仿真引擎，生成多角度、多距离、多场景的目标数据集；
10、其中，生成所述目标数据集的同时，记录传感器相对于目标的角度和距离。
11、具体的，自动驾驶仿真引擎可以为carla。
12、可选的，在一些实施例中，所述利用自动驾驶仿真引擎carla，生成多角度、多距离、多场景的目标数据集，具体包括：
13、将需要伪装的目标模型v嵌入不同的自动驾驶仿真环境rp中，记录不同场景si下不同视角和距离的可见光传感器接收图像；
14、针对不同场景si及传感器位置获得对应的渲染结果，生成所述目标数据集；
15、其中，i为大于等于1的正整数，代表传感器的数量，p代表自动驾驶仿真环境的个数，通常情况下为1，即表示具有一个自动驾驶仿真环境。
16、可选的，在一些实施例中，所述不同场景si及传感器位置获得对应的渲染结果，具体包括：
17、所述传感器的相对坐标为(α，θ，d)，θ∈(0，π)，所述传感器位置为(αi，θi，di)；
18、根据传感器的数据，获得渲染结果，所述渲染结果采用如下公式获得：
19、ipi＝rp(v，αi，θi，di，si)
20、其中，(αi，θi，di)为传感器i针对于模型的球坐标系的坐标，αi为方位角，θi为极角，di为距离。
21、可选的，在一些实施例中，所述利用网格形式的目标3d模型，制作所述目标纹理对应的u-v映射，具体包括：
22、设计所述目标的3d模型的u-v坐标映射；
23、设计2d模型的u-v展开中三角面的点和所述目标的3d模型数据点之间的坐标映射关系，确定待涂装区域的u-v平铺在所述2d模型的映射中没有重叠；
24、根据所述坐标映射关系，制作所述目标纹理对应的u-v映射。
25、可选的，在一些实施例中，所述根据所述坐标映射关系，制作所述目标纹理对应的u-v映射，具体包括：
26、设计所述目标的u-v图中点的排布，不分离所述目标的u-v体中三角面，当所述2d模型映射的u-v图中三角面的面积与所述目标的3d模型三角面的面积趋近一致时，确定当前的映射关系为所述目标纹理对应的u-v映射。
27、可选的，在一些实施例中，所述2d模型映射的u-v图中三角面的面积与所述目标的3d模型三角面的面积趋近一致的方法，具体包括：
28、以降低所述2d模型的u-v映射中三角面的面积sk和所述目标3d模型网格对应面积的比值与1之间差值的平方之和作为目标，在3d软件中进行u-v排布，采用如下公式设计：
29、
30、其中k为三角面的数量，k值的大小取决于3d模型原本的设计。
31、可选的，在一些实施例中，在所述制作所述待伪装目标的3d模型对应的u-v映射之后，在根据所述u-v映射，建立与坐标系同尺寸的u-v贴图之前，还包括：
32、将所述u-v映射中需要伪装的部分，以所述u-v表达形式输出。
33、可选的，在一些实施例中，所述根据所述u-v贴图及所述目标数据集，确定对应伪装的待涂装区域的掩膜数据，具体包括：
34、将所述待伪装的目标的网格面对应的u-v图区域设置为与目标体异色；
35、利用神经网络渲染器，以相同角度距离渲染出2d模型，并将所述渲染结果二值化，得到与生成的数据集对应的待伪装区域的掩膜数据。
36、可选的，在一些实施例中，所述将所述待伪装的目标的网格面对应的u-v图区域设置为与目标体异色，具体包括：
37、选取所述待伪装的u-v体c中待涂装的部分的色彩ct设置为与所述目标体颜色{cj,j∈c}的反相色或纯白色，采用如下公式：
38、
39、其中，r、g、b代表图像中红、绿、蓝三个通道的颜色通道值，cj是目标伪装u-v体c的第j个像素，ct表示除目标伪装u-v体c以外的区域，j表示每个像素，t表示第t个像素。
40、可选的，在一些实施例中，所述利用神经网络渲染器，以相同角度距离渲染出2d模型，具体包括：
41、对于数据集中的每一张图片ipi，利用神经网络渲染器rn，针对其角度(αi,θi)和距离di，采用如下公式在暗光设置下渲染出结果图像imi：
42、imi＝rn(v,αi,θi,di)。
43、可选的，在一些实施例中，所述将所述渲染结果二值化，得到与生成的数据集对应的待伪装区域的掩膜数据，具体包括：
44、计算所述渲染结果中，伪装区域t和非伪装区域n的最值取中间值cmin将渲染结果二值化，其中cmid取值采用如下公式获得：
45、
46、形成与所述数据集中的每一张图片ipi对应的掩膜mi，所述掩膜mi上每一个像素的值mi,j由原始贴图的渲染结果imi上对应像素的值imi,j决定，其中伪装位置掩膜像素值为1，否则为0；
47、确定时，所述掩膜计算方法采用如下公式：
48、
49、可选的，在一些实施例中在根据所述u-v贴图及所述目标数据集，确定对应伪装的待涂装区域的掩膜数据之后，还包括：
50、对所述掩模数据优化。
51、可选的，在一些实施例中，所述对所述掩模数据优化，具体包括：
52、利用可微渲染器，对伪装的待涂装区域的u-v贴图映射后的图像进行渲染。
53、可选的，在一些实施例中，在对伪装的待涂装区域的u-v贴图映射后的模型进行渲染之后，还包括：
54、将渲染图像与掩膜相乘后与仿真引擎数据集融合，采用梯度下降算法优化初始纹理的方法，利用目标损失函数，对损失函数进行梯度回传，优化初始的u-v图像的待伪装区域。
55、可选的，在一些实施例中，所述采用梯度下降算法优化初始纹理的方法，利用目标损失函数，具体包括:
56、将所述渲染图像与掩膜相乘后与仿真引擎数据集融合，作为双阶段目标检测模型的输入；
57、采用梯度下降算法优化初始纹理的方法，计算所述检测模型中一阶段rpn网络的目标类别的置信分数和二阶段输出结果的检测框置信分数，同时计算所述u-v图像的图像梯度之和，将所述检测框置信分数和所述梯度之和，按权相加的结果作为目标损失函数。
58、可选的，在一些实施例中，所述利用可微渲染器，对伪装的待涂装区域的u-v贴图映射后的图像进行渲染，具体包括：
59、针对每一张数据集中的图片ipi，将所述u-v贴图t利用可微渲染器映射到3d模型，渲染后得到结果图其中k为迭代次数，初始时k＝0；
60、根据渲染过程中的设置(αi,θi,di,si)，利用所述掩膜将所述仿真渲染结果中的图像ipi与渲染器渲染出的结果图像融合，得到纹理贴图为ti,k时的渲染结果图像
61、可选的，在一些实施例中，所述采用梯度下降算法优化初始纹理的方法，计算所述检测算法faster r-cnn检测模型中一阶段rpn网络的目标类别的置信分数和二阶段输出结果的检测框置信分数，具体包括：
62、将所述渲染结果图像输入双阶段检测模型f，其中所述检测模型f的输出结果由两部分构成，第一部分为第一阶段的类置信度和检测推荐框的回归分数第二部分为第二阶段的检测框置信度
63、取被攻击类v的模型第一阶段计算得到的所有推荐框的所述类置信度以及第二阶段的所有所述检测框置信度设置降低模型检测准确率的目标函数如下所示：
64、
65、其中n为rpn网络中第一阶段计算得到的所有推荐框的总数。
66、可选的，在一些实施例中，所述计算所述u-v图像的图像梯度之和，将所述检测框置信分数和所述梯度之和，按权相加的结果作为目标损失函数，具体包括：
67、计算所述u-v图像上每一个像素点对应的变化值，采用如下公式：
68、
69、其中，x为对应u-v图像行坐标，y为对应u-v图像列坐标，所述u-v图像的平滑损失为各像素的变化值之和；
70、将所述平滑损失与降低模型检测准确率的损失函数以适当的参数μ,λ进行加权组合，采用如下公式得到梯度回传的损失函数
71、
72、利用所述损失函数进行梯度回传计算，优化所述3d模型上的伪装纹理区域，映射到初始所述u-v贴图上；
73、利用所述损失函数进行梯度回传计算，优化所述3d模型上的伪装纹理区域，映射到初始u-v贴图上。
74、第二方面，本发明实施例还提供了一种对抗伪装生成装置，包括：
75、训练模块，用于将待伪装的目标模型嵌入自动驾驶仿真环境引擎，生成目标数据集，所述目标数据集，包括测试集与训练集，所述训练集用于将对抗伪装的底图去训练3d伪装纹理，所述测试集将用于评测伪装的攻击成功率；
76、生成模块，用于利用网格形式的待伪装的目标的3d模型，制作所述待伪装目标的3d模型对应的u-v映射，根据所述u-v映射，建立与坐标系同尺寸的u-v贴图，其中，所述u-v映射，是指3d到2d映射过程中的坐标映射关系；还用于根据所述u-v贴图及所述目标数据集，确定对应伪装的待涂装区域的掩膜数据。
77、第三方面，本发明实施例还提供了一种车辆，所述车辆的部分车体，粘贴有上述第一方面中任一项方法步骤所制作出的包含所述掩膜数据的贴膜。
78、第四方面，本发明实施例还提供了一种可对抗伪装的装置，所述装置的部分外表面，粘贴有上述第一方面中任一项方法步骤所制作出的包含所述掩膜数据的贴膜，所述掩膜数据可对抗检测器的检测。
79、第五方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述第一方面中任一项所述方法的步骤。
80、第六方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述方法的步骤。
81、本发明的上述技术方案至少具有如下有益的技术效果：本技术发明实施例的技术方案，可适用于任何情况下的对抗，若需要对抗目标检测算法faster r-cnn的干扰，则根据目标检测算法faster r-cnn确定对应的对抗数据，若是其它对抗的算法，根对应检测算法确定对应的对抗数据即可，因此，本技术的一种对抗伪装生成方法的通用性强，可以根据实际需要确定需要对抗的算法；且，本技术的技术方案，针对任意模型可以生成全视角的对抗数据，生成对抗纹理，更贴合目标物体；本技术的技术方案，结合了深度神经网络框架，利用了u-v映射设计，通过制作待伪装目标的3d模型对应的u-v映射，根据u-v映射，建立与坐标系同尺寸的u-v贴图，使网格模型的相邻面的纹理在2d上得到有效的衔接，根据u-v映射建立的尺寸映射关系，即使表面为凸面或者曲面等各种情况，也可合理平铺，适用于物理实现，通过3d到2d映射过程中的坐标映射关系，将平面与立体曲面有效衔接，即使是平面的掩膜数据获得的贴图，也可实现3d的效果，与传统的平面贴纸的对抗纹理相较，本技术的技术方案，可更好的附着于物体表面，即使待伪装的物体的表面为曲面，在实际应用中也可直接使用，有效解决了即使具备表面曲面特性的设备也可进行任意角度的对抗的技术问题，且效果良好。
1.一种对抗伪装生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，在确定对应伪装的待涂装区域的掩膜数据之后，还包括：
3.根据权利要求1所述的方法，其特征在于，所述将待伪装的目标模型嵌入自动驾驶仿真环境引擎，生成目标数据集，具体包括：
4.根据权利要求3所述的方法，其特征在于，所述利用自动驾驶仿真引擎，生成多角度、多距离、多场景的目标数据集，具体包括：
5.根据权利要求4所述的方法，其特征在于，所述不同场景si及传感器位置获得对应的渲染结果，具体包括：
6.根据权利要求1所述的方法，其特征在于，所述利用网格形式的目标3d模型，制作所述目标纹理对应的u-v映射，具体包括：
7.根据权利要求6所述的方法，其特征在于，所述根据所述坐标映射关系，制作所述目标纹理对应的u-v映射，具体包括：
8.根据权利要求7所述的方法，其特征在于，所述2d模型映射的u-v图中三角面的面积与所述目标的3d模型三角面的面积趋近一致的方法，具体包括：
9.根据权利要求1所述的方法，其特征在于，在所述制作所述待伪装目标的3d模型对应的u-v映射之后，在根据所述u-v映射，建立与坐标系同尺寸的u-v贴图之前，还包括：
10.根据权利要求1所述的方法，其特征在于，所述根据所述u-v贴图及所述目标数据集，确定对应伪装的待涂装区域的掩膜数据，具体包括：
11.根据权利要求10所述的方法，其特征在于，所述将所述待伪装的目标的网格面对应的u-v图区域设置为与目标体异色，具体包括：
12.根据权利要求10所述的方法，其特征在于，所述利用神经网络渲染器，以相同角度距离渲染出2d模型，具体包括：
13.根据权利要求10所述的方法，其特征在于，所述将所述渲染结果二值化，得到与生成的数据集对应的待伪装区域的掩膜数据，具体包括：
14.根据权利要求1所述的方法，其特征在于，在根据所述u-v贴图及所述目标数据集，确定对应伪装的待涂装区域的掩膜数据之后，还包括：
15.根据权利要求14所述的方法，其特征在于，所述对所述掩模数据优化，具体包括：
16.根据权利要求15所述的方法，其特征在于，在对伪装的待涂装区域的u-v贴图映射后的模型进行渲染之后，还包括：
17.根据权利要求16所述的方法，其特征在于，所述采用梯度下降算法优化初始纹理的方法，利用目标损失函数，具体包括:
18.根据权利要求15所述的方法，其特征在于，所述利用可微渲染器，对伪装的待涂装区域的u-v贴图映射后的图像进行渲染，具体包括：
19.根据权利要求17所述的方法，其特征在于，所述采用梯度下降算法优化初始纹理的方法，计算所述检测算法faster r-cnn检测模型中一阶段rpn网络的目标类别的置信分数和二阶段输出结果的检测框置信分数，具体包括：
20.根据权利要求17所述的方法，其特征在于，所述计算所述u-v图像的图像梯度之和，将所述检测框置信分数和所述梯度之和，按权相加的结果作为目标损失函数，具体包括：
21.一种对抗伪装生成装置，其特征在于，包括：
22.一种车辆，其特征在于，所述车辆的部分车体，粘贴有所述权利要求1-19中任一项方法步骤所制作出的包含所述掩膜数据的贴膜。
23.一种可对抗伪装的装置，其特征在于，所述装置的部分外表面，粘贴有所述权利1-19中任一项方法步骤所制作出的包含所述掩膜数据的贴膜，所述掩膜数据用于干扰检测器的检测。
24.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-19任一项所述方法的步骤。
25.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1-19任一项所述方法的步骤。
