本发明涉及图像和视频处理以及计算机视觉领域，具体涉及一种基于骨架-边缘标签引导的伪装目标检测方法。
背景技术：
1、随着科学技术的不断发展，数字图像处理已经广泛应用于日常社会生活的方方面面，不仅如此，它也能应用于科学研究等方面。伪装目标检测是其中一项新兴的数字图像处理任务，旨在精确并高效地检测和分割出隐藏在场景中的伪装目标。伪装是自然界中的一种常见的现象，生物通过融入周围环境来欺骗捕食者或偷袭猎物。伪装目标检测的应用领域十分广阔，除了其学术研究的价值外，研究伪装目标检测还有助于推动诸如军事上伪装隐蔽目标的搜索探测、医学领域上病理区域的分割和诊断以及对珍稀动植物的保护等等。
2、早期的伪装目标检测方法采取传统的计算机视觉和模式识别技术处理了具有伪装对象的各种类型的图像，包括手工设计的模式，如颜色、纹理、几何梯度、运动等低级特征。然而，由于伪装目标与背景高度相似，伪装物体通常不显眼并且难以分辨，这给精确检测带来了很大的挑战，传统的方法虽然有一定的成效，但在情况复杂的场景中往往得不到良好的效果，例如基于颜色的方法在伪装目标与背景颜色高度相似时失效。
3、近年来，随着深度学习在计算机视觉各领域的深入应用，出现了许多基于卷积神经网络的伪装目标检测模型，该类模型以强大的特征提取能力和自主学习能力对伪装目标信息进行建模，能够提升伪装目标检测的精度，同时还能增强伪装目标检测模型的泛化性，效果较传统的伪装检测方法有明显提升。主流的方法是将图像输入到特征提取子网络，从子网络中提取图像特征，然后根据这些特征预测伪装目标的掩码，从而发现其中的伪装目标。这些方法充分利用卷积神经网络的语义信息和扩大感受野检测伪装目标。然而由于伪装目标在颜色和纹理上与背景有着很高的相似性，基于卷积神经网络的伪装目标检测模型难以学到伪装目标的特征来区分前景和背景。还有一些方法在原来的基础上引入了额外的线索，如边缘标签，从而帮助基于卷积神经网络的伪装目标检测模型更好地区分出伪装目标和背景。因此，利用好这些额外的信息，能够有效提高伪装目标检测的准确性。
技术实现思路
1、本发明的目的在于提供一种基于骨架-边缘标签引导的伪装目标检测方法，该方法通过将骨架-边缘特征进行融合，并进行信息交互以及特征蒸馏，有利于显著提高伪装目标检测的性能。
2、为实现上述目的，本发明的技术方案是：一种基于骨架-边缘标签引导的伪装目标检测方法，包括如下步骤：
3、步骤a、进行数据预处理，得到伪装目标的骨架-边缘标签，然后进行数据配对、数据增强处理，得到训练数据集；
4、步骤b、设计基于骨架-边缘标签引导的伪装目标检测网络，由特征提取子网络、骨架-边缘标签编码器、四个特征增强模块、六个信息交互模块、三个特征蒸馏模块和五个卷积块组成；
5、步骤c、设计损失函数，指导步骤b所设计网络的参数优化；
6、步骤d、使用步骤a得到的训练数据集训练步骤b中的基于骨架-边缘标签引导的伪装目标检测网络，得到训练好的基于骨架-边缘标签引导的伪装目标检测模型；
7、步骤e、将待测图像输入训练好的基于骨架-边缘标签引导的伪装目标检测模型，输出伪装目标的掩码图像。
8、在本发明一实施例中，所述步骤a包括以下步骤：
9、步骤a1、根据每张原图像对应的边缘标签图像，使用skimage库中的skimage.morphology.skeletonize算法进行内部骨架提取，将骨架和边缘组合得到对应的骨架-边缘标签。
10、步骤a2、将每张原图像与其对应的伪装目标标签图像和骨架-边缘标签图像三者组成图片三元组。
11、步骤a3、将每组图片三元组统一地进行随机左右翻转、随机裁剪、随机旋转，对数据进行增强；对原图像进行颜色增强，通过设置随机值作为参数调整原图像的亮度、对比度、饱和度和清晰度。
12、步骤a4、将数据集中的每张图像缩放为尺寸为h×w的大小相同的图像，得到训练数据集。
13、在本发明一实施例中，所述步骤b具体实现步骤如下：
14、步骤b1、构建特征提取子网络，提取图像特征；
15、步骤b2、设计骨架-边缘标签编码器，处理图像特征生成预测的骨架-边缘标签；
16、步骤b3、设计特征增强模块，使用步骤b2得到的骨架-边缘标签增强伪装目标内部特征以及边缘特征的表示；
17、步骤b4、设计信息交互模块，挖掘上下文语义信息并进行多层次间的双向交互以增强对象的特征；
18、步骤b5、构建特征蒸馏模块，进一步细化伪装目标的内部特征以及边缘特征；
19、步骤b6、设计基于骨架-边缘标签引导的伪装目标检测网络，包括特征提取子网络、骨架-边缘标签编码器、四个特征增强模块、六个信息交互模块、三个特征蒸馏模块和五个卷积块，使用基于骨架-边缘标签引导的伪装目标检测网络生成最终的伪装目标掩码。
20、在本发明一实施例中，所述步骤b1具体实现如下：
21、以pvt-v2作为特征提取子网络，对输入大小为h×w×3的原图像u进行特征提取，具体地，分别记原图像u经过第一阶段、第二阶段、第三阶段和第四阶段输出的特征图为f1、f2、f3和f4，其中特征图f1大小为特征图f2大小为特征图f3大小为特征图f4大小为c1＝64,c2＝128,c3＝320,c4＝512。
22、在本发明一实施例中，所述步骤b2具体实现如下：
23、步骤b21、设计骨架-边缘标签编码器，包括特征融合块和卷积块，骨架-边缘标签编码器的输入为步骤b1中提取的第一阶段特征图f1、第二阶段特征图f2、第三阶段特征图c3和第四阶段特征图f4，骨架-边缘标签编码器的输出为骨架-边缘预测掩码图mse；
24、步骤b22、设计骨架-边缘标签编码器中的特征融合块，其输入为步骤b1中提取的特征图f1、f2、f3和f4，首先，各特征图各自经过1×1卷积将通道维度统一为c1，得到特征图和使用双线性插值将特征图f'2、f'3、f'4的宽度和高度调整到与f'1相同的宽度和高度，得到特征图将f'1和f”2、f”3、f”4沿通道维度拼接，接着经过1×1卷积降低通道维度，得到特征图将特征图f'4经过一次双线性插值上采样到大小后与f'3进行逐元素相加，得到特征图接着将f'34经过一次双线性插值上采样到大小后与f'2逐元素相加，得到特征图将f'234再经过一次双线性插值上采样到大小后与f”1逐元素相加得到输出的融合特征图fse，具体公式表示如下：
25、f’i＝conv1(fi),i＝{1,2,3,4}
26、f”4＝upscale＝8(f’4)
27、f”3＝upscale＝4(f’3)
28、f”2＝upscale＝2(f’2)
29、f”1＝conv1(concat(f’1,f”2,f”3,f”4))
30、
31、
32、
33、
34、其中conv1(·)是卷积核大小为1×1的卷积层，up(·)是双线性插值上采样，scale表示上采样的尺度大小，concat(·,·)是沿通道维度拼接操作；是矩阵加法运算；
35、步骤b23、设计骨架-边缘标签编码器中的卷积块，由3×3卷积、批归一化、relu激活函数和3×3卷积组成；
36、步骤b24、输入特征图为步骤b22得到的融合特征图fse，经过一个卷积块，最终生成骨架-边缘预测掩码图具体公式表示如下：
37、mse＝convb(fse)
38、其中convb(·)是由3×3卷积、批归一化、relu激活函数和3×3卷积组成的卷积块。
39、在本发明一实施例中，所述步骤b3具体实现如下：
40、步骤b31、设计四个特征增强模块，分别记为fem1、fem2、fem3和fem4，其中fem1沿水平方向的输入为步骤b1中提取的第一阶段特征图f1，垂直方向的输入为步骤b2得到的骨架-边缘预测掩码图mse，输出为骨架-边缘引导的增强特征图fem2沿水平方向的输入为步骤b1中提取的第一阶段特征图f2，垂直方向的输入为步骤b2得到的骨架-边缘预测掩码图mse，输出为骨架-边缘引导的增强特征图fem3沿水平方向的输入为步骤b1中提取的第三阶段特征图f3，垂直方向的输入为步骤b2得到的骨架-边缘预测掩码图mse，输出为骨架-边缘引导的增强特征图fem4沿水平方向的输入为步骤b1中提取的第四阶段特征图f4，垂直方向的输入为步骤b2得到的骨架-边缘预测掩码图mse，输出为骨架-边缘引导的增强特征图在特征增强模块femi(i＝{1,2,3,4})中，将输入的骨架-边缘预测掩码图mse进行双线性插值下采样后与输入特征图fi(i＝{1,2,3,4})相乘，再与其进行残差连接后相加，接着经过一个卷积块，得到骨架-边缘引导的增强特征图具体公式表示如下：
41、
42、其中是矩阵乘法运算，是矩阵加法运算，down(·)是双线性插值下采样操作，convb(·)是由3×3卷积、批归一化、relu激活函数和3×3卷积组成的卷积块；
43、步骤b32、使用构建的四个特征增强模块fem1、fem2、fem3和fem4，分别得到骨架-边缘引导的增强特征图和
44、在本发明一实施例中，所述步骤b4具体实现如下：
45、步骤b41、首先将步骤b3中得到的骨架-边缘引导的增强特征图和各自经过1×1卷积将通道维度统一为c1，得到和具体公式如下：
46、
47、
48、
49、其中conv1(·)是卷积核大小为1×1的卷积层；
50、步骤b42、设计六个信息交互模块，分别记为ipm1、ipm2、ipm3、ipm1'、ipm2'和ipm3'，其中ipm3沿水平方向的输入为特征图垂直方向的输入为特征图水平方向的输出为特征图垂直方向的输出为融合本层以及上层信息的特征图ipm2沿水平方向的输入为特征图垂直方向的输入为特征图水平方向的输出为特征图垂直方向的输出为融合本层以及上层信息的特征图ipm1沿水平方向的输入为特征图垂直方向的输入为特征图水平方向的输出为特征图垂直方向的输出为融合本层以及上层信息的特征图将ipm1、ipm2、ipm3沿水平方向输出的特征图和分别通过残差连接与ipm1、ipm2、ipm3的输入特征图和相加得到特征图和ipm1'沿水平方向的输入为特征图垂直方向的输入为特征图水平方向的输出为特征图垂直方向的输出为特征图ipm2'沿水平方向的输入为特征图垂直方向的输入为特征图水平方向的输出为特征图垂直方向的输出为特征图ipm3'沿水平方向的输入为特征图垂直方向的输入为特征图水平方向的输出为特征图垂直方向的输出为特征图在信息交互模块中，记信息交互模块水平方向的输入以及垂直方向的输入分别为fi和fi-1，将fi-1经过双线性插值采样至fi大小后得到特征图fi和分别经过两个卷积块后将得到的两组特征相乘得到特征图ffusion，其中fi和经过第一个卷积块后的特征记为f'i和f'i-1，接着ffusion分别经过并行的空间注意力和通道注意力后得到的两组特征沿通道维度进行拼接，拼接后的特征经过一个1×1卷积后与特征图ffusion做残差连接，得到的特征图f'fusion，将特征图f'fusion拷贝为两个，分别记为f”i和f”i-1，其中f”i经过一个卷积块后与f'i做矩阵相加后再经过一个卷积块得到f”i-1经过一个卷积块后与f'i-1做矩阵相加后再经过一个卷积块得到具体公式表示如下：
51、f’i＝convb(fi)
52、
53、
54、ffusion＝convb(f′i)⊙convb(f′i-1)
55、
56、f’i＝f”i＝f’fusion
57、
58、
59、其中convb(·)是由3×3卷积、批归一化、relu激活函数和3×3卷积组成的卷积块，“⊙”是矩阵逐元素乘法运算，是矩阵加法运算，conv1(·)是卷积核大小为1×1的卷积层，sa(·)是空间注意力模块，ca(·)是通道注意力模块，concat(·,·)是沿通道维度拼接操作，sample(·)是将其中输入的宽度和高低双线性插值采样为另一个输入特征的宽度和高度大小；
60、步骤b43、将ipm3'沿垂直方向输出的聚合从最低层到最高层特征信息的特征图下采样后与步骤b3中提取的骨架-边缘引导的增强特征图进行矩阵相加，之后经过一个卷积块，得到特征图具体公式如下：
61、
62、其中是矩阵加法运算，down(·)是双线性插值下采样操作，convb(·)是由3×3卷积、批归一化、relu激活函数和3×3卷积组成的卷积块。
63、在本发明一实施例中，所述步骤b5具体实现步骤如下：
64、步骤b51、设计三个特征蒸馏模块，分别记为fdm1、fdm2和fdm3，其中fdm3沿水平方向的输入为步骤b42中得到的ipm3'输出的特征图垂直方向的输入为步骤b43中得到的特征图水平方向的输出为特征图垂直方向的输出为特征图fdm2沿水平方向的输入为步骤b42中ipm2'输出的特征图垂直方向的输入为fdm3输出的特征图水平方向的输出为特征图垂直方向的输出为特征图fdm1沿水平方向的输入为步骤b42中ipm1'输出的特征图垂直方向的输入为fdm2输出的特征图输出为特征图特征蒸馏模块，由六个浅层残差块、多个卷积和一个空间注意力组成；其中浅层残差块由一个3×3卷积，残差连接和relu激活函数组成，记为srb；在特征蒸馏模块fdmi(i＝{1,2,3})中，记特征蒸馏模块沿水平方向的输入以及垂直方向的输入分别为fi和fi-1，将fi经过三个浅层残差块后得到特征图将fi-1上采样至fi大小后得到特征图f'i-1，f'i-1经过三个浅层残差块后得到特征图其中fi和f'i-1在经过第一个浅层残差块之前分别拷贝为特征和fi和f'i-1在经过第一个浅层残差块之后的特征记为和fi和f'i-1经过第二个浅层残差块后的特征记为和接着将和分别经过一个1×1卷积后得到特征图和将这些特征图再与和进行沿通道维度的拼接，得到特征图fconcat，fconcat再经过一个1×1卷积降维以及空间注意力后与特征图fi做残差连接矩阵相加后得到特征图具体过程如下：
65、f’i-1＝upscale＝2(fi-1)
66、
67、
68、
69、
70、其中，是矩阵加法运算，srb(·)表示浅层残差块，即卷积核大小为1×1的卷积层，残差连接和relu激活函数的组合，up(·)是双线性插值上采样，scale表示上采样的尺度大小，conv1(·)是卷积核大小为1×1的卷积层，concat(·,·,·,·,·,·)是沿通道维度拼接操作，sa(·)是空间注意力，convb(·)是由3×3卷积、批归一化、relu激活函数和3×3卷积组成的卷积块；
71、步骤b52、使用步骤b51的设计的三个特征蒸馏模块fdm1、fdm2和fdm3，分别得到输出特征图和
72、步骤b53、将特征图以及分别经过三个卷积块得到预测特征图以及具体公式如下：
73、
74、
75、
76、其中，convb(·)是由3×3卷积、批归一化、relu激活函数和3×3卷积组成的卷积块。
77、在本发明一实施例中，所述步骤b6具体实现如下：
78、设计基于骨架-边缘标签引导的伪装目标检测网络，由特征提取子网络、骨架-边缘标签编码器、四个特征增强模块、六个信息交互模块、三个特征蒸馏模块和五个卷积块组成；输入原图像，在步骤b2得到骨架-边缘预测掩码图mse，在步骤b4得到特征图在步骤b5得到特征图和对于骨架-边缘预测掩码图mse，将其进行双线性插值上采样放大4倍，得到最终骨架-边缘预测掩码图m'se；对于特征图经过一个卷积块和双线性插值上采样放大4倍，得到伪装目标二阶段掩码m0；对于特征图经过双线性插值上采样放大16倍，得到伪装目标掩码m3；对于特征图经过双线性插值上采样放大8倍，得到伪装目标掩码m2；对于特征图经过双线性插值上采样放大4倍，得到最终伪装目标掩码m1；具体公式表示如下：
79、m’se＝upscale＝4(mse)
80、
81、
82、
83、
84、其中，upscale＝4(·)是倍数为4的双线性插值上采样，upscale＝8(·)是倍数为8的双线性插值上采样，upscale＝16(·)是倍数为16的双线性插值上采样，convb(·)是由3×3卷积、批归一化、relu激活函数和3×3卷积组成的卷积块。
85、在本发明一实施例中，所述步骤c具体实现步骤如下：
86、设计损失函数作为约束来优化基于骨架-边缘标签引导的伪装目标检测网络，具体的公式如下：
87、
88、其中，igt表示原图像i对应的伪装目标标签图像，ise表示原图像i对应的骨架-边缘标签图像，表示为总的损失函数，表示加权二元交叉熵损失，表示为加权交并比损失，表示dice系数损失，λ表示为该损失的权重。
89、在本发明一实施例中，所述步骤d具体实现步骤如下：
90、步骤d1、将步骤a得到的训练数据集随机划分为若干个批次，每个批次包含n对图像；
91、步骤d2、输入原图像i，经过步骤b中的基于骨架-边缘标签引导的伪装目标检测网络后得到最终骨架-边缘预测掩码图m'se，伪装目标掩码m0、m1、m2和m3，使用步骤c中的公式计算损失
92、步骤d3、根据损失使用反向传播方法计算网络中参数的梯度，并利用adam优化方法更新网络参数；
93、步骤d4、以批次为单位重复执行步骤d1至步骤d3，直至网络的目标损失函数数值收敛至纳什平衡，保存网络参数，得到基于骨架-边缘标签引导的伪装目标检测模型。
94、相较于现有技术，本发明具有以下有益效果：本发明设计了基于骨架-边缘标签引导的伪装目标检测方法，该方法首先通过特征提取子网络提取图像特征，然后设计骨架-边缘标签编码器模块，用于生成预测的骨架-边缘标签，之后设计特征增强模块，通过预测的骨架-边缘标签来增强子网络提取的初级特征，在此基础上，还设计了信息交互模块和特征蒸馏模块，最后使用所设计的网络生成伪装目标掩码。本发明方法通过将骨架-边缘特征进行融合，并进行信息交互以及特征蒸馏，有利于显著提高伪装目标检测的性能。
1.一种基于骨架-边缘标签引导的伪装目标检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于骨架-边缘标签引导的伪装目标检测方法，其特征在于，所述步骤b具体实现步骤如下：
3.根据权利要求2所述的基于骨架-边缘标签引导的伪装目标检测方法，其特征在于，所述步骤b1具体实现如下：
4.根据权利要求3所述的基于骨架-边缘标签引导的伪装目标检测方法，其特征在于，所述步骤b2具体实现如下：
5.根据权利要求4所述的基于骨架-边缘标签引导的伪装目标检测方法，其特征在于，所述步骤b3具体实现如下：
6.根据权利要求5所述的基于骨架-边缘标签引导的伪装目标检测方法，其特征在于，所述步骤b4具体实现如下：
7.根据权利要求6所述的基于骨架-边缘标签引导的伪装目标检测方法，其特征在于，所述步骤b5具体实现步骤如下：
8.根据权利要求7所述的基于骨架-边缘标签引导的伪装目标检测方法，其特征在于，所述步骤b6具体实现如下：
9.根据权利要求8所述的基于骨架-边缘标签引导的伪装目标检测方法，其特征在于，所述步骤c具体实现步骤如下：
10.根据权利要求9所述的基于骨架-边缘标签引导的伪装目标检测方法，其特征在于，所述步骤d具体实现步骤如下：
