本发明属于人工智能大数据处理,更具体地涉及一种使用ar眼镜异常检测方法及系统。
背景技术:
1、现有技术中,通过使用各种异常检测技术和方法,已经可以做到及时识别和定位制造过程或系统中的异常情况并确保产品质量、提高生产效率和减少生产中的故障。但现有异常检测方法及系统也存在以下不足之处:
2、一:在施工现场,工作人员经常需要携带手持设备进行图像捕捉,这些图像将用于后续的异常检测和质量控制。虽然这些设备在提供了关键的质量监测手段方面起到了重要作用,但它们也不可避免地对正常施工作业产生一定的影响。工作人员需要投入额外的时间和精力来拍摄照片、处理图像数据以寻找可能的问题或缺陷,因此导致施工工序的延误和不便;
3、二:用于异常检测的人工智能模型部署通常需要较高的计算资源,这是因为这些模型往往涉及复杂的深度学习算法和大规模的数据处理,它们需要大量的计算能力来实时分析大数据集,并迅速识别潜在的异常情况。此外,稳定而高速的网络传输条件也是至关重要的,因为异常检测通常需要与远程服务器或云平台进行数据交互,以及实时传递分析结果。因此,为了确保有效的异常检测,工程负责方需要投资强大的计算基础设施和网络基础设施,造成巨大的额外开销;
4、三:现有的异常检测模型需要异常样本进行训练,以建立基于机器学习和深度学习的模型。这意味着在模型的训练过程中,必须提供已知的异常数据以便让模型学会区分正常和异常情况。然而,异常样本很难大量获取。因为在某些情况下异常情况可能是罕见的,甚至以前从未发生过,这使得构建足够多的异常样本训练集变得困难,从而影响了模型的性能。
技术实现思路
1、为解决现有技术中存在的不足,本发明的目的在于,结合卷积剪枝、像素块核心记忆库的一种使用ar眼镜异常检测方法及系统,可以减少模型的参数和计算复杂性,使得整个系统更轻便、响应更迅速,可以直接部署于ar眼镜上;在保持高效率的同时,实现对大规模数据的快速处理和实时异常检测,使ar眼镜能够快速响应并警示潜在问题,该方法和系统的轻量化设计和实时性使其模型适合应用于ar眼镜异常检测,提高了生产效率和质量保证。
2、为了实现上述目标,本发明采用如下技术方案:
3、本发明的第一方面提供一种使用ar眼镜的异常检测方法,包括以下步骤:
4、步骤1,构建训练数据集;
5、步骤2,在预训练时对深度残差网络卷积层的每个通道引入缩放因子后进行剪枝操作,并对修剪后的网络进行微调;
6、步骤3,使用已经过剪枝、微调的预训练深度残差网络模型在训练数据集上进行特征提取;
7、步骤4,对步骤3中提取得到的特征采用核心集合采样,进行降采样并生成核心特征集,即记忆库;
8、步骤5,将用于异常检测的神经网络系统部署以及记忆库到ar眼镜上,所述神经网络系统是步骤2中经过剪枝、微调的预训练深度残差网络模型,通过ar眼镜捕捉到的图片上传至系统来进行异常检测,对所述图片提取到特征后进行最近邻搜索,在该领域内计算距离最远的数据点;
9、步骤6,采用特征距离计算ar眼镜捕捉到的图片的特征与该领域内距离最远的数据点的异常分数,并根据此分数进行异常判断及异常分割,将异常检测结果显示在ar眼镜上。
10、优选地,步骤1中,在正常场景下获取ar眼镜捕捉到的图像,通过对图像采用翻转、裁剪、旋转、缩放操作来进行图像数据增强,以此构成训练集。
11、优选地,步骤2中,将批次数据规范化层即bn层中的γ参数作为网络瘦身所需的缩放因子,对bn层进行变换,以如下公式所示:
12、
13、
14、式中:zin为一个bn层的输入,zout为一个bn层的输出,b表示当前的图像数据批次所含图像数量,μb和σb是将当前的图像数据批次上输入激活的均值和标准差值,γ和β是bn层的仿射变换参数尺度和位移,为经过缩放后的数据,∈用于防止分母为零。
15、优选地,步骤2中,在深度残差网络的损失函数中引入缩放因子的稀疏正则化项,以如下公式所示:
16、
17、式中:(x,y)表示训练输入和目标,w表示可训练权重,∑γ∈γg(γ)为引入缩放因子的稀疏正则化项,g(·)是稀疏性引起的尺度因子惩罚,λ是平衡系数,l为当前训练输入和目标的损失值,l(·)为深度残差网络的损失函数,f(·)为深度残差网络,γ为缩放因子集合;
18、使用跨所有层的全局阈值修剪具有接近零缩放因子的通道,该阈值定义为所有缩放因子值的某个百分位数。
19、更进一步地,步骤2中,对修剪后的网络进行微调,将特征抽取层的参数冻结,根据微调的任务,使用训练数据集对网络的全连接层进行重新训练,在此过程中,只更新全连接层及其之后的层的参数,不更新冻结的特征抽取层,进行多次迭代微调,直到满足预期的性能要求。
20、优选地,步骤3具体包括:
21、步骤3.1,经过剪枝、微调的预训练深度残差模型,定义φi,j=φj(χi)来表示图像χi在预训练网络φ中第j层输出的特征,用φi,j(h,w)=φj(xi,h,w)来表示位置为(h,w)的特征切片;
22、步骤3.2,将φi,j(h,w)扩展到大小为le*le的邻域块,提取邻居的特征集合,以如下公式所示:
23、
24、式中:为在以(h,w)为中心、以le为直径的正方形范围内像素点p的集合,a为像素点p的横坐标,b为像素点p的纵坐标,h为领域块中心点的横坐标,w为领域块中心点的纵坐标,p为坐标为(a,b)的像素点;
25、步骤3.3,合并像素点p邻居的特征集合,获得位置(h,w)的局部感知特征,以如下公式所示:
26、
27、式中:fagg为作用在特征向量邻域上的聚合函数,φi,j(·)为特征抽取函数,φi,j(a,b)为像素点(a,b)经过抽取得到的特征;
28、步骤3.4,将获得的局部感知特征组成单个特征图。
29、优选地,步骤4具体包括:
30、步骤4.1,对每个特征映射进行局部平滑,并在预定义维度d的(h,w)处产生一个单一表示;
31、步骤4.2,对所有的(h,w)执行步骤3.1的操作,得到局部特征集合,以如下公式示:
32、
33、式中:ps,p(φi,j)为邻域块的特征集合,s为像素中心点位移数,h*为邻域块中心点横坐标集合,w*为领域块中心点纵坐标集合,为训练数据(正常图片)的分辨率;
34、步骤4.3,重复步骤4.2至遍历完整数据集,对特征集合提取并存集得到存储特征块,以如下公式所示:
35、
36、式中:m为特征集合记忆库,χi为单个训练数据样本,xn为训练数据集,φj(xi)为图像χi在预训练网络φ中第j层输出的特征;
37、步骤4.4,在特征集合记忆库m进行下采样,以如下公式所示:
38、
39、式中:为经过下采样的核心特征集合记忆库,mc为核心特征集合记忆库,n为记忆库中的特征,m为记忆库m中的特征;
40、步骤4.5,更新记忆库m为
41、优选地,步骤5具体包括:
42、步骤5.1,将用于异常检测的神经网络系统部署到ar眼镜上,将ar眼镜捕捉到的图片上传至系统作为测试的图片χtest;
43、步骤5.2,通过χtest的邻域块集合p(χtest)=ps,p(φj(χtest))来获得与记忆库中各自具有最大距离的邻居,以如下公式所示:
44、
45、式中:为xtest邻域块集合中的特征,mtest,*为领域块集合中与m*距离最大的特征,m*为记忆库中与mtest,*距离最大的特征,n为记忆库中的特征。
46、优选地,步骤6具体包括:
47、步骤6.1,对步骤5.2中得到的mtest,*和m*计算异常得分,以如下公式所示:
48、s*=||mtest,*-m*||2
49、式中:s*为mtest,*和m*的欧几里德范数;
50、步骤6.2,对步骤6.1中得到的s*进行缩放来增强异常评分结果,以如下公
51、式所示:
52、
53、式中:s为测试图片的异常得分,nb(m*)为测试图片领域块特征m*在
54、中找到的b个最近邻域块特征;
55、步骤6.3,将系统返回的异常检测结果显示在ar眼镜上。
56、本发明的第二方面提供一种使用ar眼镜的异常检测系统,基于所述的一种适用ar眼镜的异常检测方法,包括:
57、训练数据集构建模块,深度残差模型预训练修剪模块,图像特征提取模块,降采集像素核心生成模块,最近邻搜索距离计算模块,异常检测计算模块;
58、训练数据集构建模块,用于构建训练数据集,获取ar眼睛捕捉到的图像,并对图像采用翻转、裁剪、旋转、缩放操作来进行图像数据增强,构成训练集;
59、深度残差模型预训练修剪模块,用于对深度残差网络进行预训练及对训练好的网络进行修剪,使其轻量化易于部署到ar眼镜上;
60、图像特征提取模块用于对训练数据集进行特征提取;
61、降采集像素核心生成模块采用核心集合采样,对提取的特征进行降采样并生成更加核心的特征集即记忆库;
62、最近邻搜索距离计算模块对用ar眼镜捕捉到的图片进行最近邻搜索,在该领域内计算距离最大的数据点;
63、异常检测模型计算模块,用于特征距离ar眼镜捕捉到的图片的特征与该领域内距离最远的数据点的异常分数,并将异常检测结果显示在ar眼镜上。
64、本发明的有益效果在于,与现有技术相比,本发明首先通过卷积剪枝对模型进行轻量化设计,使得整个异常检测系统在ar眼镜等资源受限的设备上运行更加高效。通过卷积剪枝技术,模型参数的数量大幅减少,大幅度降低了ar眼镜的计算负担,有助于提高系统的实时性和响应速度;本发明结合卷积剪枝、像素块核心记忆库的轻量化ar眼镜异常检测方法来进行实时异常检测,允许ar眼镜在现场迅速识别和响应异常情况;通过卷积剪枝技术使得模型参数数量减少,降低了内存消耗和计算复杂度,使ar眼镜能够在资源受限的设备上高效运行;通过像素块核心记忆库,使得模型能够捕捉重要的图像特征,提高了异常检测的准确性。综上所述,本发明结合卷积剪枝、像素块核心记忆库的轻量化ar眼镜异常检测方法克服了传统异常检测方法的局限性,其具有包括实时性、资源高效、能源节约、高精度、部署灵活性和实用性等优点,这使得本发明成为解决应用于ar眼镜中的异常检测需求的一种有力工具。
1.一种使用ar眼镜的异常检测方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种使用ar眼镜的异常检测方法,其特征在于:
3.根据权利要求1所述的一种使用ar眼镜的异常检测方法,其特征在于:
4.根据权利要求3所述的一种使用ar眼镜的异常检测方法,其特征在于:
5.根据权利要求4所述的一种使用ar眼镜的异常检测方法,其特征在于:
6.根据权利要求1所述的一种使用ar眼镜的异常检测方法,其特征在于:
7.根据权利要求1所述的一种使用ar眼镜的异常检测方法,其特征在于:
8.根据权利要求1所述的一种使用ar眼镜的异常检测方法,其特征在于:
9.根据权利要求1所述的一种使用ar眼镜的异常检测方法,其特征在于:
10.一种实现权利要求1-9任一项权利要求所述方法的使用ar眼镜的异常检测系统包括:训练数据集构建模块,深度残差模型预训练修剪模块,图像特征提取模块,降采集像素核心生成模块,最近邻搜索距离计算模块,异常检测计算模块;其特征在于:
