本发明属于模式识别领域，具体涉及一种面向步态识别的视触融合的全身步态运动模型的建模方法及应用。
背景技术：
随着计算机视觉和信息安全领域的发展，越来越多的生物识别技术被人们开发利用。生物识别技术是基于人独特的生理或行为特征进行身份识别的技术，因为它不会像身份证等证件一样容易被盗用或转移，从而变得可靠。
步态识别作为生物识别技术中的一种，旨在利用人的走路方式来识别人。与其他的识别方式相比，因为其有着独特的远距离性成为了人们研究的热点，虽然识别数据量大，提取特征困难，但是这种识别技术有着非常重要的几项优势，包括：非侵犯性，非接触性，快速性，不易造假。
传统的步态识别建模方法一般采用视觉特征和触觉特征中的一种来进行建模和识别，但单一的视觉或触觉特征都有着其不可避免的缺陷，会受到光照，穿衣和角度等因素的影响。但是将视觉和触觉特征融合起来进行建模就可以避免这些因素，此外现有的建模方法以下肢为研究对象，精度不够。
因此发明一种将视觉和触觉特征融合在一起的全身步态运动模型来避免不良因素是十分有必要的。
技术实现要素：
针对现有步态建模方法的不足，本发明拟解决的技术问题是，提供一种面向步态识别的视触融合的全身步态运动模型及应用。该方法针对全身在人体步态运动过程中的变化情况，对全身人体骨骼模型进行简化，分析人体在步态运动过程中的受力情况，建立精度更高的融合视觉和触觉的视触全身步态运动模型。同时对构建的视触全身步态运动模型进行矩阵化分离，用于后续的步态识别，通过kinect和脚底压力采集系统walkwaymetric3150tl分别提取模型所需步态运动特征参数，两种数据保持同步采集。
为实现上述目的，本发明采取以下技术方案：一种视触融合的全身步态运动模型的建模方法，该建模方法包括以下步骤：
对全身骨骼结构进行简化，构建建模环境时，将人体分为了11个刚体，包括左右足部、左右小腿、左大腿、左右小臂、左右大臂以及头和胸腹部；将人体的运动关节看作铰链，人体骨架由铰链连接构成；单个身体结构质心等效在两关节连线上；正常行走过程中除了四肢的摆动基本不发生大的自由度运动；四肢的摆动在空间任意位置，不限定摆动平面，上半身的头部、胸部和腹部在步态运动过程中相对运动幅度较小，看做一个整体；双髋关节支座垂直于人体轴心做旋转运动；
建立关于人体步态运动的触觉特征模型，人体受力分解为身体各个部分的质量与其质心位置的竖直方向的加速度的乘积之和，即触觉特征模型；加速度a的获得需要通过视觉图像获得每个部分的关节角，
在求取上半身各部分质心加速度时，将上半身的头部、腹部、胸部和髋部相对运动幅度小，在求取加速度时，上半身的头部、腹部、胸部和髋部在竖直方向上的加速度相同，并且在求取左右臂的质心加速度时，以左右肩部作为求取的起点，以此求取左右大臂和左右小臂的质心加速度；
将触觉特征模型的加速度用各部分关节角和各部分质心连线之间的关系表示，获得视触全身步态运动模型。
本发明还保护上述的建模方法的应用，将视触全身步态运动模型进行矩阵化处理，矩阵化结果为：
式中矩阵m人体各个部分质量的矩阵，矩阵ξ为关于人体各个部分质心的矩阵，矩阵w为人体各个部分速度和加速度的矩阵，矩阵l为关于人体各个部分长度的矩阵，矩阵f表示人体在竖直方向的受力的矩阵；
通过kinectv2获得人体步态运动的深度图像数据流以及25个关节的空间三维坐标，其中25个关节包括左右跖骨关节、左右踝关节、左右膝关节、左右髋关节、脊柱底部、脊柱中部、肩膀中部、颈部、头部、左右肩关节、左右肘关节、左右腕关节、左右拇指关节、左右指尖、左右掌指关节，通过这些特征用来求取人体各部分质心、长度、以及运动角速度和角加速度；
通过脚底压力采集系统walkwaymetric3150tl获得人体步态运动中足底压力，从中提取矩阵f的地面支反力ny；kinectv2和walkwaymetric3150tl设置相同的采样频率，每一帧视觉特征对应每一帧触觉特征。
与现有技术相比，本发明的有益效果是：
1)本发明建立了视触融合的视触全身步态运动模型，在模型构建过程中不限制四肢在步态运动过程中的运动平面，考虑到了下半身运动的同时兼顾了上肢在步态运动过程中的运动习惯，更全面，更符合人体步态运动习惯，模型精度更高，更符合实际情况。
2)本发明在应用时可以采用kinect提取空间三维坐标和其他视觉特征，保持和触觉传感器采样数据同步采集，采样频率相同，可以实现视觉和触觉在时间上的统一，相对于普通的相机来说可以实现对关节空间三维坐标和人体边缘坐标的提取，计算更方便；应用时数据更加可靠。
3)本发明结合了视觉和触觉两种主要的步态运动特征相比于单一特征来说，识别点更多，可以有效的避免视觉和触觉特征的部分缺点。本发明相对于只通过特征提取进行步态识别的方法来说，建立高精度的全身模型可以更好的避免光照，衣着，负重对特征带来的影响。
4)本发明通过融合步态运动过程中的视觉和触觉特征，增加特征基数，避免单个特征带来的不稳定性，可以广泛用于日常生活中对人体的识别。
附图说明
为了更清楚的的说明本发明的技术方案，下面将描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是简化的全身骨骼结构。
图2是支撑脚运动受力示意图；
图3是足部运动学分析图；
图4是kinect边缘坐标求取示意图；
图5是四肢质心计算的简化示意图；
图6是视觉和触觉特征提取平台；
具体实施方式：
下面给出本发明的具体实施例。具体实施例仅用来进一步说明本发明，不限制本申请专利的保护范围。
本发明提供视触融合的全身步态运动模型的建模方法，该建模方法包括以下步骤：
(1)如图1所示，在不限制高四肢运动平面的情况下简化全身骨骼结构，构建全身步态运动模型环境；
对全身骨骼结构进行简化，构建建模环境时，将人体分为了11个刚体，包括左右足部、左右小腿、左大腿、左右小臂、左右大臂以及头和胸腹部；将人体的运动关节看作铰链，人体骨架由铰链连接构成；单个身体结构质心等效在两关节连线上；正常行走过程中除了四肢的摆动基本不发生大的自由度运动；四肢的摆动在空间任意位置，不限定摆动平面，上半身的头部、胸部和腹部在步态运动过程中相对运动幅度较小，看做一个整体；双髋关节支座垂直于人体轴心做旋转运动；
图1中，w、e、s、h、k、a、m分别代表手腕、手肘、肩、髋关节、膝关节、踝关节、跖骨末端的骨骼关节点，其中下标r表示右、l表示左。
(2)分析人体在行走过程中的受力情况，建立关于人体步态运动的触觉特征模型，如图2和图3所示；
建立关于人体步态运动的触觉特征模型，人体受力分解为身体各个部分的质量与其质心位置的竖直方向的加速度的乘积之和，即触觉特征模型；加速度a的获得需要通过视觉图像获得每个部分的关节角，
图2中，通过对全身步态运动的受力分析，人体在步态运动过程中主要受到地面的反作用力ny，自身的重力mg。反作用力包括竖直方向的支持力和水平方向的摩擦力，但摩擦力无法直接测量和计算，所以模型只考虑人体在竖直方向的受力，即：
ny-mg＝may
式中may可以分解为多个人体多个部分在竖直方向上的质量和加速度的乘积，即人体步态运动的触觉特征模型。
，may＝m1a1y m2a2y… mnany＝ny-mg
式中n表示将人体所分成的几部分的数量。
(3)通过触觉特征模型中的加速度，引入视觉特征，建立融合视觉和触觉特征的视触全身步态运动模型；
分析触觉特征模型，式中加速度a的获得需要视觉图像的辅助，以此引入视觉特征。以支撑脚，支撑小腿，支撑大腿，髋部，摆动大腿，摆动小腿，摆动脚，左右大臂，左右小臂的顺序计算身体11个部分在竖直方向上的质心加速度，如下：
左脚加速度：
左小腿加速度：
左大腿加速度：
髋关节加速度：
右大腿加速度：
右小腿加速度：
右脚加速度：
在求取上半身各部分质心加速度时，分析人体步态运动的特点，上半身的头部，腹部，胸部和髋部相对运动幅度小。所以在求取加速度时，认为以上部分在竖直方向上的加速度相同，并且在求取左右臂的质心加速度时，以左右肩部作为求取的起点，以此求取左右大臂和左右小臂的质心加速度。
左大臂加速度：
左小臂加速度：
右大臂加速度：
右小臂加速度:
式中各个骨骼关节点为右手腕wr,右手肘er,右肩sr,左手腕wl,左手肘el,左肩sl,右髋关节hr,右膝关节kr,右踝关节ar,右跖骨末端mr,左髋关节hl,左膝关节kl,左踝关节al,左跖骨末端ml。各个骨骼的质心在关节点的连线上，左跖踝关节连线cam-l,左膝踝关节连线cka-l,左髋膝关节连线chk-l,右髋膝关节连线chk-r,右膝踝关节连线cak-r,右跖踝关节连线cam-r,左肩肘关节联系cse-l，左肘腕关节连线cew-l，右肩肘关节连线cse-r，右肘腕关节连线cew-r，对应各关节连线并且指向近端关节点(近端指两个关节点离人体本身的相对远近)的向量与竖直方向的夹角为θ1，θ2，θ3，θ4，θ5，θ6，θ7，θ8，θ9，θ10，下标1-10分别表示左足部、左小腿、左大腿、右大腿、右小腿、右足部、左大臂、左小臂、右大臂、右小臂。占对应骨骼长度比例，即各部分质心为左足部ε1，左小腿ε2，左大腿ε3，右大腿ε4，右小腿ε5，右足部ε6，左大臂ε7，左小臂ε8，右大臂ε9，右小臂ε10，对应身体各部分长度为左脚l1，左小腿l2，左大腿l3，右大腿l4，右小腿l5，右脚l6，左大臂l7，左小臂l8，右大臂l9，右小臂l10，对应各个部分的质量非别为左足部m1，左小腿m2，左大腿m3，右大腿m4，右小腿m5，右足部m6，左大臂m7，左小臂m8，右大臂m9，右小臂m10，其中头部和胸部腹部的总质量为m0。上述长度来说，四肢的长度左右对称相等，如左小腿和右小腿长度相等，左大腿和右大腿长度相等，左脚和右脚长度相等。上式中lam表示脚长，lka表示小腿长，lhk表示大腿长，lew表示小臂长，lse表示大臂长。
将求得的各部分质心加速度带入触觉特征模型，便得到了融合视觉和触觉的视触全身步态运动模型，模型中等号左半部分代表触觉特征，右半部分代表视觉特征：
将触觉特征模型用各部分关节角和各部分质心连线表示，获得视触全身步态运动模型。
对于上述构建获得的视触全身步态运动模型进行应用，将其进行矩阵化，方便之后的特征提取和步态识别，矩阵化结果为：
式中，矩阵m人体各个部分质量的矩阵，矩阵ξ为关于人体各个部分质心的矩阵，矩阵w为人体各个部分速度和加速度的矩阵，矩阵l为关于人体各个部分长度的矩阵，矩阵f表示人体在竖直方向的受力的矩阵。
通过kinectv2代替相机获得人体步态运动的深度图像数据流以及25个关节的空间三维坐标，其中25个关节包括左右跖骨关节，左右踝关节，左右膝关节，左右髋关节，脊柱底部，脊柱中部，肩膀中部，颈部，头部，左右肩关节，左右肘关节，左右腕关节，左右拇指关节，左右指尖，左右掌指关节，通过这些特征用来求取人体各部分质心，长度，以及运动角速度和角加速度；通过脚底压力采集系统walkwaymetric3150tl获得人体步态运动中足底压力，从中提取矩阵f的地面支反力ny。
kinect将得到的原始数据流发送到应用数据开发包，在这个基础上提取视觉特征，本发明使用的应用程序为sdk2.0版本，在vs2013的平台上，程序的环境配置为opencv2.4.9，采样频率为25帧/s。由于本文所建模型是空间模型，不限制四肢在步态运动过程中运动的平面，所以使用kinect获得的空间三维坐标，普通相机只能得到在二维平面内的四肢运动坐标。
脚底压力采集系统walkwaymetric3150tl的采样频率也同样设置为25帧/s，这样可以做到视觉和触觉在时间上统一，每一帧视觉特征对应每一帧触觉特征。
以径向基函数为核函数构建‘一对一’的支持向量机多分类器，输入选定的训练集和测试集，得到识别结果，包括以下步骤：
(6.1)构建支持向量机多分类器，分类器的核函数为：
k(||x-xc||)＝exp{-||x-xc||^2/[(2*σ)^2]}
式中xc为核函数中心，σ为函数的宽度参数，这里定义g＝1/(2*σ)^2，g定义了单个训练样本的影响大小，g越大影响越小。
(6.2)粗略寻优寻找分类器最优参数，在全局范围内，使用k-cv法寻找最适合本文预测模型的核函数参数g和惩罚参数c；精细寻优寻找分类器最优参数。在局部范围内，使用k-cv法缩小步长，寻找最适合本文预测模型的核函数参数g和惩罚参数c。
(6.3)将上述矩阵化后的五个大矩阵作为特征集，采集不同人体及相同个体不同步态下的相关视觉特征和触觉特征，视触特征按照上述的五个大矩阵进行整理，形成特征集，特征集对应形成数据集，用于训练支持向量机多分类器，并用测试集测试训练效果，对某个单独个体，应用训练好的多分类器，输入该个体的特征集即可输出步态识别结果。
实施例
分析人体在行走过程中的受力情况，建立关于人体步态运动的触觉特征模型，主要包括以下步骤：
以支撑脚作为模型的起点，通过对全身的动力学分析，建立在竖直方向上的地面支持力模型，本发明通过地面支反力建立全身人体步态运动模型，所以只讨论人体步态运动过程中在竖直方向所受到的力。在步态运动中人体所受的外力主要来自于地面的反作用力，记为
ny-mg＝may
其中may可以分解为身体各个部分的质量与其质心位置的竖直方向的加速度的乘积之和，即：may＝m1a1y m2a2y… mnany＝ny-mg
通过触觉特征模型中的加速度，引入视觉特征，建立融合视觉和触觉特征的视触全身步态运动模型，主要包括以下步骤
分析触觉特征模型，式中加速度a的获得需要视觉图像的辅助，以此引入视觉特征。求取身体各个部分质心在竖直方向上的加速度。以支撑脚，支撑小腿，支撑大腿，髋部，摆动大腿，摆动小腿，摆动脚，左右大臂，左右小臂的顺序计算身体11个部分在竖直方向上的质心加速度。以左脚作为支撑脚为例：
左脚做为支撑脚其与地面的夹角在运动过程中经历了一个由0°到接近90°，然后离地变为摆动腿的过程，以此为基础研究支撑腿摆动模型，如图3。则根据角速度与线速度公式可得踝关节点在垂直方向上相对于足尖的线加速度为：
足部质心在垂直方向上相对于足尖的加速度为：
同理按照规定的顺序可依次求得左小腿加速度：
左大腿加速度：
髋关节加速度：
右大腿加速度：
右小腿加速度：
右脚加速度：
在求取上半身各部分质心加速度时，分析人体步态运动的特点，上半身的头部，腹部，胸部和髋部相对运动幅度小。所以在求取加速度时，认为以上部分在竖直方向上的加速度相同，并且在求取左右臂的质心加速度时，以左右肩部作为求取的起点，以此求取左右大臂和左右小臂的质心加速度。
左大臂加速度：
左小臂加速度：
右大臂加速度：
右小臂加速度:
将求得的各部分质心加速度带入触觉特征模型，便得到了融合视觉和触觉的视触全身步态运动模型：
式中各个骨骼关节点为右手腕wr,右手肘er,右肩sr,左手腕wl,左手肘el,左肩sl,右髋关节hr,右膝关节kr,右踝关节ar,右跖骨末端mr,左髋关节hl,左膝关节kl,左踝关节al,左跖骨末端ml。各个骨骼的质心在关节点的连线上，左跖踝关节连线cam-l,左膝踝关节连线cka-l,左髋膝关节连线chk-l,右髋膝关节连线chk-r,右膝踝关节连线cak-r,右跖踝关节连线cam-r,左肩肘关节联系cse-l，左肘腕关节连线cew-l，右肩肘关节连线cse-r，右肘腕关节连线cew-r，对应各关节连线并且指向近端关节点的向量与竖直方向的夹角为θ1，θ2，θ3，θ4，θ5，θ6，θ7，θ8，θ9，θ10，。占对应骨骼长度比例，即各部分质心为左足部ε1，左小腿ε2，左大腿ε3，右大腿ε4，右小腿ε5，右足部ε6，左大臂ε7，左小臂ε8，右大臂ε9，右小臂ε10，对应身体各部分长度为左脚l1，左小腿l2，左大腿l3，右大腿l4，右小腿l5，右脚l6，左大臂l7，左小臂l8，右大臂l9，右小臂l10，对应各个部分的质量分别为左足部m1，左小腿m2，左大腿m3，右大腿m4，右小腿m5，右足部m6，左大臂m7，左小臂m8，右大臂m9，右小臂m10，其中上身和头部的总质量为m0。
对建立的视触全身步态运动模型进行矩阵化，具体步骤为：
(4.1)为了方便计算，将全身步态运动模型中的四肢的摆动参数看作整体，
ny-mg＝[(1-ε1)a]·m1 [a (1-ε2)b]·m2 [a b (1-ε3)c]·m3 [a b c)]·m0 [a b c ε4d]·m4 [a b c d ε5e]·m5 [a b c d e ε6f]·m6 [a b c ε7g]·m7 [a b c g ε8h]·m8 [a b c ε9i]·m9 [a b c i ε10j]·m10
(4.2)根据简化后的模型，提取质量矩阵，同时为了方便之后的计算，将摆动参数在矩阵中统一赋值，当参数为零时记作零乘以摆动参数，则模型变为下式，并且记质量矩阵为m：
(4.3)分析过渡矩阵1，矩阵中的每一行都都有摆动参数a-d，将摆动参数提出便可得到质心矩阵，记作ξ。
(4.4)分析过渡矩阵2，矩阵中都是关于四肢做圆周运动的参数，包括角速度，角加速度和长度，将角速度和加速度矩阵提取出来，记作w，剩下的为长度矩阵记作l。
最后得到由视触全身步态运动模型分离的特征矩阵为mtξwl＝[ny-mg],如下式：
质量矩阵w通过表1《中国成年人环节相对质量国家标准》求取，根据男女性别不同，每个部分的相对质量也不同；
表1《中国成年人环节相对质量国家标准》
矩阵ξ质心矩阵，在计算四肢质心时，认为小臂，大臂，大腿，小腿的质心在其关节连线上，并且将其看做均匀密度，并且斜率很小的圆台进行质心计算。由于圆台关于轴线旋转对称，所以圆台上所有平行于上下底面的横截面的重心都在圆心连线上，这样可以把这些横截面的质量假设在它自身的重心上，将求圆台的重心的三维问题转化为了求一维线性体重心问题。如图4，图5所示。以截面积小的一端的圆心为原点o1，截面积大的一端为o2，o1o2为x轴建立坐标系，根据kinect得到的身体边缘坐标点设线性体的四个端点分别为a1(x1,y1)，a2(x2,y2)，a3(x3,y3)，a4(x4,y4)，则可得到圆台的上下底面直径r1，r2：
轴线与母线的夹角α：
设线性体的线密度是x的函数ρ(x)，线性体的长度为s，也是四肢长度s＝l则：
ρ(x)＝ρ0π(r1/2 xtgα)2
圆台重心的位置lc：
对式积分化简得质心为：
通过上式求取四肢质心，而足部质心可以通过walkwaymetric3150tl系统直接获得。
速度加速度矩阵w和长度矩阵l，通过kinect提取的关节空间三维坐标求取，对于角加速度来说，每三帧求取一系列的角加速度；
力矩阵中ny地面支持力通过walkwaymetric3150tl获得，系统获得的足底压力是由多个压力传感器组成，在求取总支持力时需要将多个压力传感器的值求和。
通过kinectv2代替相机获得人体步态运动的深度图像数据流以及25个关节的空间三维坐标，其中25个关节包括左右跖骨关节，左右踝关节，左右膝关节，左右髋关节，脊柱底部，脊柱中部，肩膀中部，颈部，头部，左右肩关节，左右肘关节，左右腕关节，左右拇指关节，左右指尖，左右掌指关节，通过这些特征用来求取人体各部分质心，长度，以及运动角速度和角加速度；通过脚底压力采集系统walkwaymetric3150tl获得人体步态运动中足底压力，从中提取矩阵f的地面支反力ny。
kinect将得到的原始数据流发送到应用数据开发包，在这个基础上提取视觉特征，本发明使用的应用程序为sdk2.0版本，在vs2013的平台上，程序的环境配置为opencv2.4.9，采样频率为25帧/s。kinect为矩阵ξ提供了四肢的边缘坐标，为矩阵w和矩阵l提供了空间的三维坐标。
脚底压力采集系统walkwaymetric3150tl的采样频率也同样设置为25帧/s，这样可以做到视觉和触觉在时间上统一，每一帧视觉特征对应每一帧触觉特征。
以径向基函数为核函数构建‘一对一’的支持向量机多分类器，输入选定的训练集和测试集，得到识别结果，包括以下步骤：
(6.1)构建支持向量机多分类器，分类器的核函数为：
k(||x-xc||)＝exp{-||x-xc||^2/[(2*σ)^2]}
式中xc为核函数中心，σ为函数的宽度参数，这里定义g＝1/(2*σ)^2，g定义了单个训练样本的影响大小，g越大影响越小。
(6.2)粗略寻优寻找分类器最优参数，在全局范围内，使用k-cv法寻找最适合本文预测模型的核函数参数g和惩罚参数c；精细寻优寻找分类器最优参数。在局部范围内，使用k-cv法缩小步长，寻找最适合本文预测模型的核函数参数g和惩罚参数c。
(6.3)将矩阵参数作为特征集，并且选定测试集和训练集输入分类器，输出识别结果。
本发明未述及之处适用于现有技术。
1.一种视触融合的全身步态运动模型的建模方法，该建模方法包括以下步骤：
对全身骨骼结构进行简化，构建建模环境时，将人体分为了11个刚体，包括左右足部、左右小腿、左大腿、左右小臂、左右大臂以及头和胸腹部；将人体的运动关节看作铰链，人体骨架由铰链连接构成；单个身体结构质心等效在两关节连线上；正常行走过程中四肢的摆动在空间任意位置，不限定摆动平面，上半身的头部、胸部和腹部在步态运动过程中相对运动幅度较小，看做一个整体；双髋关节支座垂直于人体轴心做旋转运动；
建立关于人体步态运动的触觉特征模型，人体受力分解为身体各个部分的质量与其质心位置的竖直方向的加速度的乘积之和，即触觉特征模型；加速度a的获得需要通过视觉图像获得每个部分的关节角，
在求取上半身各部分质心加速度时，将上半身的头部、腹部、胸部和髋部相对运动幅度小，在求取加速度时，上半身的头部、腹部、胸部和髋部在竖直方向上的加速度相同，并且在求取左右臂的质心加速度时，以左右肩部作为求取的起点，以此求取左右大臂和左右小臂的质心加速度；
将触觉特征模型的加速度用各部分关节角和各部分质心连线之间的关系表示，获得视触全身步态运动模型。
2.根据权利要求1所述的建模方法，其特征在于，所述视触全身步态运动模型为：
式中，w、e、s、h、k、a、m分别代表手腕、手肘、肩、髋关节、膝关节、踝关节、跖骨末端的骨骼关节点；各个骨骼的质心在关节点的连线上，θ为对应各关节点的连线并且指向近端关节点的向量与竖直方向的夹角；ε为占对应骨骼长度比例，即各部分质心，l表示对应身体各部分长度；m为对应各个部分的质量；下标1-10分别表示左足部、左小腿、左大腿、右大腿、右小腿、右足部、左大臂、左小臂、右大臂、右小臂；不包括左右臂的上半身的总质量为m0；
3.一种权利要求1所述的建模方法的应用，其特征在于，将视触全身步态运动模型进行矩阵化处理，矩阵化结果为：
式中矩阵m人体各个部分质量的矩阵，矩阵ξ为关于人体各个部分质心的矩阵，矩阵w为人体各个部分速度和加速度的矩阵，矩阵l为关于人体各个部分长度的矩阵，矩阵f表示人体在竖直方向的受力的矩阵；
通过kinectv2获得人体步态运动的深度图像数据流以及25个关节的空间三维坐标，其中25个关节包括左右跖骨关节、左右踝关节、左右膝关节、左右髋关节、脊柱底部、脊柱中部、肩膀中部、颈部、头部、左右肩关节、左右肘关节、左右腕关节、左右拇指关节、左右指尖、左右掌指关节，通过这些特征用来求取人体各部分质心、长度、以及运动角速度和角加速度；
通过脚底压力采集系统walkwaymetric3150tl获得人体步态运动中足底压力，从中提取矩阵f的地面支反力ny；kinectv2和walkwaymetric3150tl设置相同的采样频率，每一帧视觉特征对应每一帧触觉特征。
4.根据权利要求3所述的应用，其特征在于，质心矩阵ξ，在计算四肢质心时，认为小臂、大臂、大腿、小腿的质心在其关节连线上，并且将其看做均匀密度，各部分等效为圆台进行质心计算；在视觉图像上获取相应部分的始末端横截面，记截面积小的一端的圆心为o1，记截面积大的一端的圆心为原点o2，o1o2为x轴建立坐标系，根据kinect得到的身体对应部分边缘坐标点，设某部分线性体的四个端点分别为a1(x1,y1)、a2(x2,y2)、a3(x3,y3)、a4(x4,y4)，则得到圆台的上下底面直径r1，r2；则质心ε公式为：
s为线性体的长度即四肢的长度s＝l，α为圆台轴线o1o2与母线的夹角,lc为圆台重心的位置。
技术总结