本发明属于人体行为识别，尤其涉及基于异构骨架图的人体行为识别方法及系统。
背景技术：
1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
2、人体行为识别是指通过特定的算法，从人体本身的特征和所完成动作的特征出发，识别出视频中人物具体动作的识别性任务。行为识别任务一般有如下的基本过程：数据图像的预处理、运动中的人体检测、运动特征提取、特征的训练与分类、行为识别。
3、但，传统的识别方法是基于rgb数据集的，这种数据易受包括背景、光照等环境因素的影响。而人体骨架关节点数据是人体的高级特征，几乎不受外观影响，同时也能更好的避免背景、光照以及视角变化所产生的噪声影响，具有很好的鲁棒性，而且在计算和存储方面也是十分有效的。因此，对基于骨架数据的人体行为识别方法的研究不仅在理论学术研究中具有重要意义，而且在实际应用中也具有较大价值。
4、基于骨架数据的人体行为识别算法的输入通常是一系列点的坐标集合，这些坐标的表示骨架关节点的位置。常见的处理骨架关节点的深度学习方法主要分为三种：卷积神经网络(convolutional neural network,cnn)、循环神经网络(recurrent neuralnetwork,rnn)和图卷积网络(graph convolutional network,gcn)。目前，基于卷积神经网络和循环神经网络的方法已被广泛开发。但是骨架是一种内部结构不规则的图拓扑结构，这使得更适用规则数据的卷积神经网络和循环神经网络在提取骨架信息上出现困难。而为了图拓扑结构开发的图卷积网络成为了目前的主流方法。
5、然而，目前的基于图卷积网络的方法，应用的图结构都是同构图，将关节之间的物理连接和非物理连接视为同一种属性的边，同时建模。这与事实不符，两个关节点之间的联系包括两种：实际相连、虚拟相连；实际相连指得是在人体骨架中由骨头自然连接在一起；虚拟相连指得是在特定动作的中存在的交互关系。比如“拍手”动作之中两只手之间的关系，“戴眼镜”动作中，手部和头部之间的关系。实际相连和虚拟相连对不同动作中的影响是不同的。同构图将这两种不同属性的联系同时建模，模糊了他们之间的界限。并且，两个节点之间虚拟相连的关系大多都是由模型通过注意力或者其他机制自主获取，约束较少，这会增加训练过程中的不确定性，容易使模型收敛到局部最优，不利于人体行为识别的准确率。
技术实现思路
1、为了解决上述背景技术中存在的技术问题，本发明提供基于异构骨架图的人体行为识别方法及系统，相对于传统的图卷积方法，设计了具有相同属性节点，不同属性边的异构骨架图，有利于提高人体行为识别的准确率。
2、为了实现上述目的，本发明采用如下技术方案：
3、本发明的第一个方面提供基于异构骨架图的人体行为识别方法。
4、基于异构骨架图的人体行为识别方法，包括：
5、获取骨架数据；
6、对骨架数据进行预处理，得到关节流、骨骼流和运动流；
7、将骨架数据初始化为异构骨架图；所述异构骨架图中的顶点表示关节，边表示关节之间的实际链接和虚拟链接，实际链接初始化为两个关节之间自然连接的骨头，虚拟链接初始化为骨架有根树层次间的全连接，顶点集和实际链接边集形成实际元路径，顶点集和虚拟链接边集形成虚拟元路径；
8、将所述关节流、骨骼流和运动流，与异构骨架图一起，输入自注意力异构图卷积网络，识别出骨架数据所属行为类别；所述自注意力异构图卷积网络采用三个子网络分别处理关节流、骨骼流和运动流，且每个子网络均分别对实际元路径和虚拟元路径进行特征提取。
9、进一步地，所述自注意力异构图卷积网络通过将实际元路径或虚拟元路径与三个学习矩阵相乘，以获得查询、关键和值，并通过计算查询和关键的转置之间的相似性来获得权重，通过对权重和值进行加权来获得自注意力图，并将自注意力图作为用作图卷积的邻域信息，得到全局特征。
10、进一步地，所述自注意力异构图卷积网络对所述全局特征进行全局平均池化，以生成局部特征和非局部特征，并基于所述局部特征和非局部特征，生成重要性权重后，通过重要性权重对实际元路径或虚拟元路径的每个通道执行特征聚合，得到最终特征。
11、进一步地，所述自注意力异构图卷积网络对实际元路径和虚拟元路径的特征进行融合后，采用多尺度时间卷积块提取多尺度时间信息。
12、进一步地，所述虚拟链接初始化为：
13、
14、
15、其中，表示虚拟链接，l表示骨架有根树的层数，hn表示骨架有根树的第n层，表示为hn到hn+1的全连接边，∥表示连接操作。
16、进一步地，所述关节流包括：批处理数、通道数、帧数、节点数和一帧中的运动人数。
17、进一步地，所述骨骼流为不同关节之间的坐标差；或者，所述运动流为同一关节在相邻帧之间的坐标差。
18、本发明的第二个方面提供基于异构骨架图的人体行为识别系统。
19、基于异构骨架图的人体行为识别系统，包括：
20、数据获取模块，其被配置为：获取骨架数据；
21、预处理模块，其被配置为：对骨架数据进行预处理，得到关节流、骨骼流和运动流；
22、图构建模块，其被配置为：将骨架数据初始化为异构骨架图；所述异构骨架图中的顶点表示关节，边表示关节之间的实际链接和虚拟链接，实际链接初始化为两个关节之间自然连接的骨头，虚拟链接初始化为骨架有根树层次间的全连接，顶点集和实际链接边集形成实际元路径，顶点集和虚拟链接边集形成虚拟元路径；
23、识别模块，其被配置为：将所述关节流、骨骼流和运动流，与异构骨架图一起，输入自注意力异构图卷积网络，识别出骨架数据所属行为类别；所述自注意力异构图卷积网络采用三个子网络分别处理关节流、骨骼流和运动流，且每个子网络均分别对实际元路径和虚拟元路径进行特征提取。
24、本发明的第三个方面提供一种计算机可读存储介质。
25、一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的基于异构骨架图的人体行为识别方法中的步骤。
26、本发明的第四个方面提供一种计算机设备。
27、一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的基于异构骨架图的人体行为识别方法中的步骤。
28、与现有技术相比，本发明的有益效果是：
29、本发明相对于传统的图卷积方法，设计了具有相同属性节点，不同属性边的异构骨架图，有利于提高人体行为识别的准确率。
30、本发明针对异构骨架图，设计了自注意力异构图卷积网络，分别学习实际和虚拟元路径的特征，并使用语义聚合模块实现它们的最佳组合，以提高人体行为识别的准确率。
1.基于异构骨架图的人体行为识别方法，其特征在于，包括：
2.根据权利要求1所述的基于异构骨架图的人体行为识别方法，其特征在于，所述自注意力异构图卷积网络通过将实际元路径或虚拟元路径与三个学习矩阵相乘，以获得查询、关键和值，并通过计算查询和关键的转置之间的相似性来获得权重，通过对权重和值进行加权来获得自注意力图，并将自注意力图作为用作图卷积的邻域信息，得到全局特征。
3.根据权利要求2所述的基于异构骨架图的人体行为识别方法，其特征在于，所述自注意力异构图卷积网络对所述全局特征进行全局平均池化，以生成局部特征和非局部特征，并基于所述局部特征和非局部特征，生成重要性权重后，通过重要性权重对实际元路径或虚拟元路径的每个通道执行特征聚合，得到最终特征。
4.根据权利要求1所述的基于异构骨架图的人体行为识别方法，其特征在于，所述自注意力异构图卷积网络对实际元路径和虚拟元路径的特征进行融合后，采用多尺度时间卷积块提取多尺度时间信息。
5.根据权利要求1所述的基于异构骨架图的人体行为识别方法，其特征在于，所述虚拟链接初始化为：
6.根据权利要求1所述的基于异构骨架图的人体行为识别方法，其特征在于，所述关节流包括：批处理数、通道数、帧数、节点数和一帧中的运动人数。
7.根据权利要求1所述的基于异构骨架图的人体行为识别方法，其特征在于，所述骨骼流为不同关节之间的坐标差；或者，所述运动流为同一关节在相邻帧之间的坐标差。
8.基于异构骨架图的人体行为识别系统，其特征在于，包括：
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于异构骨架图的人体行为识别方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于异构骨架图的人体行为识别方法中的步骤。
