本发明属于深度学习，具体涉及一种结合局部关联性特征和可判别特征的步态识别方法。
背景技术：
1、步态识别是一种生物识别技术，取决于人类行走姿势的独特性，使得人类步态信息可以通过普通摄像设备在远距离条件下捕获。并且步态识别过程不需要受试者的配合，从而使步态识别被广泛应用于多个领域，如视频监控、智能交通等。现有的步态识别方法多数采用卷积神经网络(cnn)来进行步态特征表示，以实现更好的识别性能。当前的步态特征表示可以分为两类：基于全局特征的表示和基于局部特征的表示。基于全局特征的表示方法通过从整个步态图像框架中提取出步态特征进行步态识别。基于局部特征的表示方法则是通过从步态局部部位提取并组合局部步态特征进行步态识别。全局特征表达会忽视掉可判别性较强的步态特征，而局部特征表达虽然会比全局特征图获得更加精确的局部细节信息，但会忽略步态图像局部部位的关联信息，导致步态局部区域之间丧失整体关联性。gaitgl虽然注意到以上问题，引入3d cnn来提取步态时空特征，例如：申请号为“201811277328.2”的专利文件中，给出了“通过三维卷积神经网络训练出全局和局部步态特征，最终通过融合这两种步态进行步态识别。”然而使用3d cnn进行步态图像分类时，计算复杂度较高，耗费大量计算资源，实用性低，且该方法在获取局部特征中忽略局部图像的边缘细节特征，导致特征提取不够充分，从而导致部分关键特征丢失。同时在获取局部特征的现存方法中还存在对步态图像划分后的每一分块图像采用相同的特征提取算法进行操作，而未能针对某一受遮挡影响较小的局部步态部位进行重点聚焦，导致关键特征仍然会发生丢失现象，造成步态可判别性特征提取不充分的问题。
技术实现思路
1、本发明的目的是为了解决现有技术存在的特征提取不够充分且忽视了可判别性较强的人体部位，从而导致部分关键特征丢失，造成步态可判别性特征提取不充分的问题，提出了一种结合局部关联性特征和可判别特征的步态识别方法。
2、为了达到上述目的，本发明的技术方案是：一种结合局部关联性特征和可判别性特征的步态识别方法，包括如下步骤：
3、步骤1：准备数据集，使用当下步态识别领域中较为流行的步态数据集casia-b和oumvlp。
4、步骤2：对数据集进行数据预处理操作，使人体轮廓大小不受距离因素的影响。
5、步骤3：获取保留边缘细节信息的步态局部关联性特征mlr：
6、3.1将包含n帧的b个步态样本序列逐帧输入到网络模型中，使用2层卷积神经网络和一层最大池化操作提取初始帧级特征；
7、3.2使用局部关联性特征提取卷积网络模块lrconv对帧级特征序列进行特征提取操作，得到具有部位关联性的步态特征qgr和保留边缘细节信息的步态局部细节特征ld，将特征ld和qgr进行融合得到具有上下文关联的人体局部细节特征mlr；
8、步骤4：使用人体部位聚焦模块hbf获取可判别性特征。
9、步骤5：交错使用lrconv和hbf两个模块。
10、步骤6：将步态局部关联性特征mlr输入到水平池化模块，使用全局平均池化和全局最大池化将特征mlr水平划分成n个张量条带。
11、步骤7：采用交叉熵损失函数和三元组损失函数联合训练策略训练网络。
12、进一步的，上述步骤3.2中，所述卷积网络模块lrconv由全局关联性特征提取模块grfe和细节特征提取模块lfe组成；所述lfe模块由细节特征提取模块dfe和边缘特征提取模块efe组成：
13、首先在所述全局关联性特征提取模块grfe模块中，对初始帧级特征序列进行一次全局卷积操作得到具有部位关联性的步态特征qgr；
14、所述lfe模块中的dfe模块对划分的每一个分块数进行卷积操作得到该步态局部区域的细节特征ld1；
15、所述lfe模块中的efe模块获取获取dfe模块缺失的边缘细节特征ld2。
16、然后将ld1和ld2进行像素级融合获取到保留边缘细节信息的步态局部细节特征ld。
17、进一步的，上述步骤3.1中，使用2层卷积神经网络和一层最大池化操作提取每一帧fi的帧级特征gi，i∈1,2,3,...,t，i表示输入的步态序列索引，公式表示为：
18、gi＝maxpool2d(conv2d(conv2d(fi))) (1)
19、进一步的，上述3.2中，
20、在grfe模块中，对初始帧级特征序列g＝{gi|i∈1,2,3,...,t}∈rb×n×c×h×w直接进行一次全局卷积操作得到具有部位关联性的全局特征qgr，用公式表示为：
21、qgr＝f'3×3(g)∈rb×n×c×h×w (2)
22、在细节特征提取模块dfe中，特征gi被表示为wi，wi被水平平均划分成预先定义的m个分块数，此时表示第i个特征被划分的第j块特征图，对每一块进行卷积操作得到对应分块的局部细节特征ld1
23、在边缘特征提取模块efe中，特征gi被表示为qi，为了保留和间的边缘细节特征，将特征qi划分成预先定义的m+1个分块数，此时之后对每一块进行卷积操作得到每一块之间的边缘细节特征ld2
24、最后将ld1和ld2进行融合得到保留了边缘细节特征的局部细节特征ld，用公式表示为
25、
26、f'3×3＝max[0,conv2d(*)]+a*min[0,conv2d(*)] (4)
27、将获取到的局部细节特征ld与具有部位关联性的全局特征qgr融合得到保留边缘细节信息的步态局部关联性特征mlr。
28、进一步的，上述步骤4中：
29、使用hbf模块将上一模块输出的局部关联性特征mlr∈rb×n×c×h×w水平拆分为m块，此时表示第i个特征图第j块部位，r块之前的分块图像为人体头部对应的分块图像，m-r块之后的分块图像为人体膝盖以下的腿部对应的分块图像；
30、在每一张特征图中，头部对应的特征记为m1∈rb×n×c×r×w，膝盖以下的部位对应的特征记为m2∈rb×n×c×r×w，其余部位对应的特征记为m3∈rb×n×c×(h-2r)×w，引入通道注意力机制网络ecanet对m1和m2做特征增强操作，得到特征为m'1∈rb×n×c×r×w和m'2∈rb×n×c×r×w，将m'1和特征m1进行融合保持图像的全局关联性，融合之后的特征为m”1∈rb×n×c×r×w，同理，将m'2和m2进行融合得到m”2∈rb×n×c×r×w，最后对m”1、m”2和m3在水平方向进行拼接得到受遮挡影响较小且可判别性更强的局部关联性特征n，用公式表示为
31、
32、
33、
34、其中a表示特征m1的通道注意力权重，b表示特征m2的通道注意力权重，表示特征映射m*的第i个通道，c表示通道数，f(*)表示一维卷积，σ(*)表示sigmoid激活函数，conv表示1维卷积，avg_pool表示为adaptiveavgpool2d。
35、进一步的，上述步骤6中，使用水平池化模块hp将特征mlr水平划分成n个张量条带，旨在从步态特征序列mlr中提取更可区分人体身份信息的特征f，使用全局平均池化和全局最大池化对特征图mlr做下采样操作得到特征fi，
36、fi＝maxpool2d(pi)+avgpool2d(pi) (8)
37、f＝{fi|i＝1,2,3,...,t}，f∈rb×n×c×h。
38、进一步的，上述步骤7中，将网络提取的最终特征送入到损失函数，联合损失函数被定义为：loss＝lt+lc，lt表示三元组损失值，lc表示交叉熵损失值，
39、
40、
41、
42、ci，cp和cn分别表示当前输入数据的类别、正样本和负样本。正样本表示与当前输入数据同一类别的其他样本，负样本表示与当前输入数据不同类的样本。n表示样本数量，c表示类别数量，ni表示与当前输入数据xi同一类别的样本数量，nk表示与当前输入数据xi不同类别的样本数量。表示当前输入数据与同一类别中第j个正例样本之间的欧氏距离，表示当前输入数据与其他类别中第k个负例样本之间的欧氏距离，[t]+表示取0和t之间的最大值。
43、
44、m为总的样本数量，n为训练对象的数量，yic为符号函数0或1，表示预测样本i的身份信息，如果样本i的真实类别等于c则取1，否则为0；pic为观察样本i属于类别c的预测概率值。
45、与现有技术相比，本发明的有益效果：
46、1、本发明通过局部关联性特征提取卷积网络模块lrconv和人体部位聚焦模块hbf来提高步态识别的准确性和鲁棒性。局部关联性特征提取卷积网络模块lrconv能够同时利用人体全局和局部信息，且该模块中提取到的局部细节特征能够保留人体边缘信息。人体部位聚焦模块hbf则重点关注受遮挡影响较小的步态部位，获取可判别性更强的步态细节特征。
47、2、本发明为了能够同时利用人体全局和局部信息，且使提取到的局部细节特征能够保留人体局部区域的边缘信息，首先设计了局部关联性特征提取卷积网络模块lrconv。其次，为了解决当前基于人体局部区域的方法尚未对衣物遮挡影响较小的人体局部部位进行重点关注的问题，使用人体部位聚焦注意力机制模块hbf重点聚焦人体受遮挡影响较小的局部位置，降低人体衣物对步态识别的影响，从而提取可判别性更强的步态细节特征。
48、3、在当下流行的两个公共数据集casia-b和ou-mvlp上分别进行实验，实验结果表明，在casia-b数据集设置的nm、bg和cl三个步态环境下，gaitlrdf比当前最先进的算法分别提高了0.48％、0.74％和2.12％，并且在ou-mvlp数据集上的识别精度达到了91.35％，表明了gaitlrdf算法的先进性。
1.一种结合局部关联性特征和可判别性特征的步态识别方法，包括如下步骤：
2.根据权利要求1所述的一种结合局部关联性特征和可判别性特征的步态识别方法，其特征在于：所述步骤3.2中，所述卷积网络模块lrconv由全局关联性特征提取模块grfe和细节特征提取模块lfe组成；所述lfe模块由细节特征提取模块dfe和边缘特征提取模块efe组成：
3.根据权利要求2所述的一种结合局部关联性特征和可判别性特征的步态识别方法，其特征在于：所述步骤3.1中，使用2层卷积神经网络和一层最大池化操作提取每一帧fi的帧级特征gi，i∈1,2,3,...,t，i表示输入的步态序列索引，公式表示为：
4.根据权利要求3所述的一种结合局部关联性特征和可判别性特征的步态识别方法，其特征在于：所述3.2中，
5.根据权利要求2-4任意一个权利要求所述的一种结合局部关联性特征和可判别性特征的步态识别方法，其特征在于：所述步骤4中
6.根据权利要求5所述的一种结合局部关联性特征和可判别性特征的步态识别方法，其特征在于：所述步骤6中，使用水平池化模块hp将特征mlr水平划分成n个张量条带，旨在从步态特征序列mlr中提取更可区分人体身份信息的特征f，使用全局平均池化和全局最大池化对特征图mlr做下采样操作得到特征fi，
7.根据权利要求6所述的一种结合局部关联性特征和可判别性特征的步态识别方法，其特征在于：所述步骤7中，将网络提取的最终特征送入到损失函数，联合损失函数被定义为：loss＝lt+lc，lt表示三元组损失值，lc表示交叉熵损失值，
