本技术涉及缺陷检测，具体而言，涉及一种缺陷检测方法、缺陷检测装置、电子设备及计算机可读存储介质。
背景技术：
1、目前，物品一般在实际生产过程中存在多种缺陷，若坏品流入市场，可能会造成损失，目前工厂一般采用人工抽检，检测效率低，效果差并且无法全检；而为提高物品缺陷检测的精准度和检测效率，慢慢出现自动化视觉缺陷检测设备，该检测设备基于深度学习的目标检测算法进行缺陷检测，即通过大量rgb彩图类型的缺陷数据的学习，可以实现不错的识别准确率，但其在常见的rgb彩图成像下检测方式简单，导致检测算法检测困难，容易导致缺陷漏检。
技术实现思路
1、本技术的实施例提供了一种缺陷检测方法、缺陷检测装置、电子设备、计算机可读存储介质及计算机程序产品，提高了缺陷检测的鲁棒性，避免漏检，保证缺陷检测的准确性和可靠性。
2、本技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本技术的实践而习得。
3、根据本技术实施例的一个方面，提供了一种缺陷检测方法，包括：获取目标对象的检测数据；若所述检测数据包含彩色图像和目标模态数据，则对所述彩色图像和所述目标模态数据进行特征提取得到目标检测特征，所述目标检测特征融合有所述彩色图像的特征和所述目标模态数据的特征；通过预训练的目标检测模型的主干网络对所述彩色图像进行不同尺度的特征提取得到多尺度的彩色图特征，并将所述目标检测特征和所述多尺度的彩色图特征进行特征融合得到融合特征；根据所述融合特征对所述目标对象进行缺陷检测，得到所述目标对象的缺陷检测结果。
4、根据本技术实施例的一个方面，提供了一种缺陷检测装置，包括：获取模块，用于获取目标对象的检测数据；特征处理模块，用于若所述检测数据包含彩色图像和目标模态数据，则对所述彩色图像和所述目标模态数据进行特征提取得到目标检测特征；特征融合模块，用于通过预训练的目标检测模型的主干网络对所述彩色图像进行不同尺度的特征提取得到多尺度的彩色图特征，并将所述目标检测特征和所述多尺度的彩色图特征进行特征融合得到融合特征；缺陷检测模块，用于根据所述融合特征对所述目标对象进行缺陷检测，得到所述目标对象的缺陷检测结果。
5、在本技术的一实施例中，特征处理模块进一步用于若所述检测数据包含彩色图像和目标模态数据，且所述目标模态数据的数据类型包括向量图类型，则选择所述目标检测模型的图类型模态分支分别对所述彩色图像和所述目标模态数据进行特征提取，以分别得到彩图特征和向量图特征；对所述彩图特征和所述向量图特征进行特征融合得到目标图特征；对所述目标图特征进行卷积处理得到所述目标检测特征。
6、在本技术的一实施例中，所述目标检测模型还包括至少一个特征融合模块；特征处理模块进一步用于将所述目标图特征输入至所述特征融合模块的第一卷积层进行卷积处理得到第一特征；根据激活函数对所述第一特征进行非线性变换处理得到第二特征；将所述第二特征输入至所述特征融合模块的第二卷积层进行卷积处理得到所述目标检测特征。
7、在本技术的一实施例中，所述图类型模态分支包括第一卷积层和第二卷积层；特征处理模块进一步用于将所述彩色图像和所述目标模态数据输入至所述图类型模态分支的第一卷积层进行特征提取，得到彩图特征和向量图特征；对所述彩图特征和所述向量图特征进行特征拼接处理得到拼接特征；将所述拼接特征输入至所述图类型模态分支的第二卷积层进行特征提取得到所述目标图特征。
8、在本技术的一实施例中，所述图类型模态分支还包括自注意力层；模型选择模块进一步用于将所述彩图特征和所述向量图特征输入至所述自注意力层，以计算所述彩图特征和所述向量图特征的相似度，并根据所述相似度生成注意力权重；根据所述注意力权重对所述彩图特征和所述向量图特征进行特征对齐处理；将特征对齐处理后的彩图特征和向量图特征进行特征拼接处理得到所述拼接特征。
9、在本技术的一实施例中，所述特征处理模块还用于若所述检测数据包含彩色图像，则将所述彩色图像输入至所述目标检测模型的单模态分支的第一卷积层进行特征处理；将所述单模态分支的第一卷积层输出的特征输入至所述单模态分支的第二卷积层进行特征处理得到卷积图特征；对所述卷积图特征进行卷积处理得到所述目标检测特征。
10、在本技术的一实施例中，所述主干网络包括依次连接的多个主干网络层；特征融合模块进一步用于将所述彩色图像输入至首个主干网络层进行第一尺度的特征提取得到第一尺度的彩色图特征，并将所述第一尺度的彩色图特征和所述目标检测特征进行特征融合处理得到第一融合特征；将所述第一融合特征输入至下一主干网络层进行第二尺度的特征提取得到第二尺度的彩色图特征，并根据所述第二尺度的彩色图特征和所述目标检测特征进行特征融合处理得到第二融合特征；将所述第二融合特征输入至下一主干网络层，重新进行特征融合处理，直至末个主干网络层输出得到目标尺度的彩色图特征，并根据所述目标尺度的彩色图特征和所述目标检测特征得到所述融合特征。
11、在本技术的一实施例中，所述目标检测模型还包括依次连接的多个特征融合模块，所述特征融合模块的数量与所述主干网络层的数量相同；特征融合模块进一步用于通过所述首个特征融合模块所连接的下一特征融合模块对所述目标检测特征进行卷积处理，得到与所述第二尺度的彩色图特征对应的深度检测特征；所述目标检测特征是所述首个特征融合模块输出的特征；将所述第二尺度的彩色图特征和所述深度检测特征进行特征相加处理得到所述第二融合特征。
12、在本技术的一实施例中，特征融合模块进一步用于根据所述第二尺度的彩色图特征生成所述第二尺度的彩色图特征的第一权重；根据所述第一权重生成所述深度检测特征对应的第二权重；根据所述第一权重和所述第二权重对所述第二尺度的彩色图特征和所述深度检测特征进行特征加权求和得到所述第二融合特征。
13、在本技术的一实施例中，缺陷检测模块进一步用于将所述融合特征输入至所述目标检测模型的检测头模块进行缺陷检测；获取所述检测头模块输出的所述目标对象的缺陷类别和缺陷框，并根据所述缺陷类别和所述缺陷框得到所述缺陷检测结果。
14、在本技术的一实施例中，获取模块进一步用于在多个光照条件下，通过多个拍摄装置对目标对象的正面部位进行分别成像得到多张图像，其中每张图像对应一的光照条件；获取每张图像所对应的光度信息，并根据所述每张图像所对应的光度信息计算每个像素点的法向量，以生成所述目标对象的正面部位对应的法向量图，并将所述法向量图作为所述目标模态数据；从多张图像中选择所述正面部位对应的彩色图像，并基于所述彩色图像和所述目标模态数据生成所述目标对象正面部位对应的检测数据。
15、在本技术的一实施例中，所述装置还包括训练模块，训练模块用于获取包含样本对象的样本彩色图像和样本模态数据的样本检测数据，以及所述样本对象携带的标记样本缺陷结果；将所述样本检测数据输入至待训练模型的多模态分支，并将所述样本彩色图像输入至待训练模型的单模态分支，得到对应的样本检测特征；通过所述待训练模型的主干网络对所述样本彩色图像进行不同尺度的特征处理得到多尺度的样本彩色图特征，并将样本检测特征和多尺度的样本彩色图特征进行特征融合得到样本融合特征；通过所述待训练模型的检测头对所述样本融合特征进行缺陷检测得到样本缺陷检测结果；根据所述样本缺陷检测结果和所述标记样本缺陷结果的差异性构建模型损失，并根据所述模型损失对所述待训练模型的模型参数进行调整得到所述目标检测模型。
16、根据本技术实施例的一个方面，本技术实施例提供了一种电子设备，包括一个或多个处理器；存储装置，用于存储一个或多个计算机程序，当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述电子设备实现如上所述的缺陷检测方法。
17、根据本技术实施例的一个方面，本技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被电子设备的处理器执行时，使电子设备执行如上所述的缺陷检测方法。
18、根据本技术实施例的一个方面，本技术实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序存储在计算机可读存储介质中，电子设备的处理器从计算机可读存储介质读取并执行计算机程序，使得电子设备执行如上的缺陷检测方法。
19、在本技术的实施例所提供的技术方案中，获取目标对象的检测数据，若检测数据包含彩色图像和目标模态数据，则对彩色图像和目标模态数据进行特征提取得到目标检测特征，该目标检测特征融合有彩色图像的特征和目标模态数据的特征，之后通过目标检测模型的主干网络对彩色图像进行不同尺度的特征提取得到多尺度的彩色图特征，即在从彩色图像中提取出丰富的、具有不同尺度的特征表示，以全面捕获图像的视觉信息，并将目标检测特征和多尺度的彩色图特征进行特征融合得到融合特征，实现多模态多尺度特征的自适应融合，以确保在不同尺度下综合利用彩色图像和目标模态数据，进而根据融合特征进行缺陷检测，综合利用来自不同模态和不同尺度的信息，能够更全面地理解目标对象，从而提高缺陷检测的鲁棒性，避免漏检，保证缺陷检测的准确性和可靠性。
20、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
1.一种缺陷检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述若所述检测数据包含彩色图像和目标模态数据，则对所述彩色图像和目标模态数据进行特征提取得到目标检测特征，包括：
3.根据权利要求2所述的方法，其特征在于，所述目标检测模型还包括至少一个特征融合模块；所述对所述目标图特征进行卷积处理得到所述目标检测特征，包括：
4.根据权利要求2所述的方法，其特征在于，所述图类型模态分支包括第一卷积层和第二卷积层；所述选择所述目标检测模型的图类型模态分支分别对所述彩色图像和所述目标模态数据进行特征提取，以分别得到彩图特征和向量图特征，包括：
5.根据权利要求4所述的方法，其特征在于，所述图类型模态分支还包括自注意力层；所述对所述彩图特征和所述向量图特征进行特征拼接处理得到拼接特征，包括：
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
7.根据权利要求1至6任一项所述的方法，其特征在于，所述主干网络包括依次连接的多个主干网络层；所述通过预训练的目标检测模型的主干网络对所述彩色图像进行不同尺度的特征提取得到多尺度的彩色图特征，并将所述目标检测特征和所述多尺度的彩色图特征进行特征融合得到融合特征，包括：
8.根据权利要求7所述的方法，其特征在于，所述目标检测模型还包括依次连接的多个特征融合模块；所述特征融合模块的数量与所述主干网络层的数量相同；所述根据所述第二尺度的彩色图特征和所述目标检测特征进行特征融合处理得到第二融合特征，包括：
9.根据权利要求8所述的方法，其特征在于，所述将所述第二尺度的彩色图特征和所述深度检测特征进行特征相加处理得到所述第二融合特征，包括：
10.根据权利要求1所述的方法，其特征在于，所述根据所述融合特征对所述目标对象进行缺陷检测，得到所述目标对象的缺陷检测结果，包括：
11.根据权利要求1所述的方法，其特征在于，所述获取目标对象的检测数据，包括：
12.根据权利要求1所述的方法，其特征在于，所述目标检测模型的训练步骤包括：
13.一种缺陷检测装置，其特征在于，包括：
14.一种电子设备，其特征在于，包括：
15.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序被电子设备的处理器执行时，使得所述电子设备执行权利要求1至12中任一项所述的方法。
16.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中，电子设备的处理器从所述计算机可读存储介质读取并执行所述计算机程序，使所述电子设备执行权利要求1至12中任一项所述的方法。
