本发明涉及行为检测，具体涉及一种基于自监督学习的工厂人员异常行为检测方法。
背景技术：
1、在工业生产环境中大部分的生产流程的共同点为依靠生产线进行生产，生产产品依次经过生产线的所有流程，在需要工人参与的阶段，大部分执行的是重复性的工作，然而这些工作是流水线生产系统的核心，因此有效的对工人工作情况进行监控，并检测非流程范围内的行为，对于提升工厂产品生产效率具有重要的意义。
2、目前，对于工作动作行为的监控主要分为两种手段，分别是基于可穿戴设备的以及基于摄像头的动作识别方法。基于可穿戴设备的监控方法，受制于移动设备的电量、工人活动便捷性、以及识别准确率的影响，无法大规模长时间进行行为监控与识别。基于摄像头监控的动作识别方法对于快速深度挖掘视频中的高层次信息有非常大的帮助。同时随着监控设备的发展，新型的彩色深度图像摄像机越来越多的应用在了监控领域，特别是室内监控领域。根据深度图像提供的额外深度信息能够较为准确的提取出人体骨骼三维信息，用以提高人体姿势、动作分析识别的准确性与高效性。
3、目前，国内外也有许多机构基于彩色深度图像数据、利用深度学习针对动作识别或者异常动作检测进行研究。基于彩色深度图像提取的骨骼信息成为了动作识别的重要的砝码之一，越来越多的研究者将关心的重点转移到骨骼信息或者多种信息融合处理上。目前使用最多的骨骼节点还是kinect采用的20个节点的骨骼信息，此外也还有15个节点或者25个节点组成的骨骼信息。骨骼信息的特征提取方法相对于图像而言更为简单，但是如何设计能够准确表达动作信息也成为了提高识别准确率的关键。对于骨骼点的特征提取方法，最简单的是直接采用各骨骼节点的坐标，hoj3d将关节点的坐标映射到一个球面坐标当中，并根据坐标的角度以及长度进行特征直方图的生成。eigenjoints提取了三种特征，包括静态的关节点距离，相邻帧的关节点的距离以及当前帧与初始帧的关键点的距离，并采用主成分分析方法进行降维。amir shahroudy等人对于深度图形提取了lop以及hon4d特征，同时融合了骨骼数据的特征，提出了一种分层的多模型多部位的动作识别方法。khaire等人分别训练了五个cnn模型对应着不同的图像、骨骼数据，并提出了一种wpm方法在决策层实现了多模型的融合。
4、此外，还有一些基于图卷积的动作识别方法。st-gcn首先在时间维度上多帧的骨骼点对应位置进行连接，形成了一个更为复杂了时空图结构，并针对该结构进行卷积操作。对于感受野的选择，该方法提出了三种空间划分方法来标记不用的相邻节点，从而进行卷积。zhang等人将边作为卷积的对象，提取边的方向、长度等特征，进行卷积同时融合顶点卷积进行动作特征表示的工作。然而这种融合并未考虑点与边直接的关系，只是将他们看作的两个独立的数据流进行融合。
5、综上所述，现有基于图卷积模型异常行为检测方法较为简单，未能挖掘人体骨骼信息更深层次的东西。对于骨骼数据的表达方法也较为单一，未能深度挖掘人体骨骼的图表示方法，算法准确率较低。摈弃现有方法必须依赖现场采集的数据，然而每个生产环境的数据量相对较小，导致算法在小样本情况下的表现较差。
6、因此，本发明针对以上问题，提出一种基于自监督学习的工厂人员异常行为检测方法。
技术实现思路
1、本发明的主要目的在于提供一种基于自监督学习的工厂人员异常行为检测方法，以解决现有技术中基于图卷积模型异常行为检测方法较为简单、算法准确率较低的问题。
2、为实现上述目的，本发明提供了一种基于自监督学习的工厂人员异常行为检测方法，具体包括如下步骤：
3、s1，构建四种图结构，包括：基于距离的图结构、基于二阶最近距离的图结构、基于纹理相似性的图结构和基于运动信息的图结构，并基于图卷积神经网络gcn进行动作帧的特征提取。
4、s2，基于3d卷积神经网络，对动作帧进行特征提取。
5、s3，基于对比学习的图卷积神经网络模型与3d卷积神经网络模型模型进行预训练。
6、s4，将3d卷积神经网络和图卷积神经网络提取的特征进行拼接，并利用时间卷积网络tcn对人员动作进行预测。
7、进一步地，步骤s1具体包括如下步骤：
8、s1.1，构建基于距离的图结构：将t时刻的骨骼节点定义为vi(t),i＝1,2,3…n,n为节点数量，为骨骼节点vi(t)对应的三维坐标，对于任意两个节点vi(t)和vj(t)，是否相连定义为式(1)：
9、
10、其中tlocation是设定的近邻距离的阈值，根据任意两个节点是否相连可以构建出基于距离的连通矩阵，即基于距离的图结构：矩阵中1代表对应的行列编号的节点相连，0代表不相连。
11、s1.2，构建基于二阶最近距离的图结构：
12、根据式(2)计算二阶邻接矩阵a2-loc(t)：
13、atemp(t)＝aloc(t)×aloc(t)-aloc(t)
14、
15、邻接矩阵a2-loc(t)表示对于某一个节点vi(t)，atemp(t)为中间矩阵，是否与节点vj(t)相连取决于是否存在第三个节点vk(t)同时是vi(t),vj(t)的近邻节点。
16、进一步地，步骤s1还包括如下步骤：
17、s1.3，构建基于纹理相似性的图结构：
18、采用距离方法计算任意两骨骼节点之间的ehd特征的距离作为是否连通的标准，其计算方法如下：
19、
20、connectivity(vi(t),vj(t))ehd用来描述骨骼节点vi(t)和vj(t)是否相连；tehd为阈值，ehd(vi(t))c为对于骨骼节点提取的ehd特征的第c个区间；为了扩大节点间连接的可能性，在距离计算时只要两个ehd特征的任意一个区间的差值小于阈值则认为它们连接，根据connectivity(vi(t),vj(t))ehd生成邻接矩阵aehd。
21、s1.4，构建基于运动信息的图结构：
22、对于t时刻的骨骼节点集合vi(t)＝{v1(t),v2(t),v3(t)...vn(t)}，提取其前后各m个帧的数据形成骨骼运动序列对于该序列计算每个节点vi(t)的在相邻帧产生的位移向量disi(t)＝||vi(t)-vi(t-1)||；同时计算位移向量在x，y平面内的旋转角度θ(t)，以及位移向量和z轴的夹角对应形成位移向量disi和夹角向量θi,则对于骨骼节点中任意两点i和j，根据式(4)计算位移向量以及夹角向量的相关系数cor()，其中tdis，tθ，分别为位移向量disi、夹角向量θi,对应的阈值，并根据式(5)生成邻接矩阵amo；
23、
24、
25、
26、cov(mi,mj)为mi与mj的协方差，var[mi]为mi的方差，var[mj]为mj的方差，connectivity(vi(t),vj(t))mo用来描述骨骼节点vi(t)和vj(t)是否相连。
27、进一步地，步骤s1还包括如下步骤：
28、s1.5，利用图卷积神经网络进行动作帧的特征提取，利用式(6)计算特征向量：
29、
30、其中h(l)表示第l层的特征向量矩阵，w(l)为第l层的线性变换矩阵，a表示邻接矩阵，表示归一化后的邻接矩阵，σ表示一个激活函数relu；经过四个图卷积网络得到四个图结构卷积后的l层特征矩阵，分别表示为
31、s1.6，对特征矩阵分别进行池化操作，获得图的向量表示，进行拼接之后，再经过全连接层得到t时刻的动作帧特征fg(t)；
32、
33、其中，pool为池化操作，[]为特征拼接操作，fc为全连接层，fg(t)为图卷积特征向量。
34、进一步地，步骤s2包括如下步骤：
35、s2.1，对于一个输入的人体骨骼信息，首先构建人体骨骼的三维包围区域。
36、s2.2，对三维包围区域进行离散，将人体骨骼离散成间隔为1像素的网格形状，每个像素采用在图像中的rgb颜色作为表示，形成3个三维网格，进而构建人体骨骼的3通道原始3d网格。
37、s2.3，利用高斯卷积核对原始3d网格进行卷积运算：
38、
39、
40、其中，x,y,z为网格中的人体骨骼对应像素所在坐标，s(x,y,z)定义了高斯卷积核的计算方法，σ为高斯方差；grid_init(x,y,z,t)为t时刻网格初始值，h为平滑范围。
41、对于经过高斯卷积之后的3d分子网格，采用三维卷积神经网络cnn进行特征提取，获取t时刻网格的表示向量fc(t)：
42、fc(t)＝fc(3dcnn(grid)) (9)；
43、其中，fc为全连接层，gridt为t时刻的网格数据，fc(t)为3d神经网络特征向量。
44、进一步地，步骤s3具体包括如下步骤：
45、s3.1，将图卷积特征向量fg(t)和3d神经网络特征向量fc(t)，利用公式(10)进行对比学习：
46、
47、其中，li,j为对比损失函数，为余弦相似度，用来衡量分子表示向量zi,zj的相似程度，τ是温度参数。
48、s3.2，经过对比学习后的特征向量再输入到图卷积神经网络模型和3d神经网络模型中，随后继续执行步骤s3.1，直到模型收敛或者达到预设的训练轮次。
49、进一步地，步骤s4具体为：
50、s4.1，对于每一帧的骨骼结构分别获得：经过预训练的图卷积神经网络模型的特征和经过预训练的3d神经网络模型的特征，并将特征进行拼接。
51、s4.2，拼接后的特征输入到时间卷积网络tcn网络，对动作进行建模并预测。
52、本发明具有如下有益效果：
53、本发明将隐含的关节点的相关性通过多种图结构进行挖掘，其中静态结构对人体姿势进行描述，动态结构对运动情况进行描述，将两者相融合提升特征提取的全面性与鲁棒性。
54、本发明为了丰富人体姿势的空间表示，采用三维模型对于人体骨骼信息进行特征提取，以挖掘骨骼的空间信息。
55、本发明提出基于对比学习的方法，充分学习图结构与3d结构的差异性，从而提升姿态描述的多样性以及行为检测的准确率。
1.一种基于自监督学习的工厂人员异常行为检测方法，其特征在于，具体包括如下步骤：
2.根据权利要求1所述的一种基于自监督学习的工厂人员异常行为检测方法，其特征在于，步骤s1具体包括如下步骤：
3.根据权利要求2所述的一种基于自监督学习的工厂人员异常行为检测方法，其特征在于，步骤s1还包括如下步骤：
4.根据权利要求3所述的一种基于自监督学习的工厂人员异常行为检测方法，其特征在于，步骤s1还包括如下步骤：
5.根据权利要求1所述的一种基于自监督学习的工厂人员异常行为检测方法，其特征在于，步骤s2包括如下步骤：
6.根据权利要求1所述的一种基于自监督学习的工厂人员异常行为检测方法，其特征在于，步骤s3具体包括如下步骤：
7.根据权利要求1所述的一种基于自监督学习的工厂人员异常行为检测方法，其特征在于，步骤s4具体为：
