本发明属于智能物联网、普适计算领域,特别是涉及一种基于少量标签数据的多阶段人体活动识别方法。
背景技术:
1、近年来,随着智能家居、智能医疗和智能交通等领域需求的不断增长,推动了嵌入式和移动设备的广泛应用,也一定程度地提高了物联网的普及率。这标志着人工智能物联网(aiot)时代的到来。可穿戴设备,作为aiot的重要组成部分,具备智能化和互联网化的特征,在人体活动识别、健康管理和环境监测等方面的应用日益普及。在这些应用中,惯性测量单元(imu)传感器的数据已经成为不可或缺的数据来源,例如用于人体活动识别、人机交互、定位和跟踪等方面的应用。值得一提的是,这些传感器也被广泛装备在个人移动设备中,为aiot的发展提供了更多的可能性和机会。
2、人体活动识别(human activity recognition,har)是从传感器采集的人体活动数据到识别出活动类别的一系列过程,作为aiot领域的典型应用,在学术界中得到了众多研究者的广泛关注,同时,在产业界中为智慧医疗、运动辅助、智能农业等许多应用场景提供基础服务。由于深度学习自动提取深层特征且在多媒体领域中(如图像、文本等)呈现出显著的成效,使得深度学习也逐渐成为活动识别领域的主要方法。然而传统的深度学习是有监督学习算法,大多数现有的工作严重依赖于监督学习过程,其中需要大量的标记imu数据来训练感知模型。对大量标签数据的要求阻碍了深度学习在实践中的采用。
3、众所周知,在现实环境中收集足够多的带有标记的imu样本是浪费人力和耗时的。若没有对应的视频,数据标注者几乎不可能精确地标记来自运动传感器的时间序列数据。进一步地,相较于视频标签的创建,数据标注者需要将视频与时间序列数据匹配,因此,传感器数据标注工作更加具有挑战性、昂贵且耗时。此外,为了增加数据的多样性,通常需要考虑移动设备、使用模式和环境的多样性场景下手机型号、用户、活动变化情况的各种组合来标记数据。在单一的实验室环境下很难收集到多环境且复杂的活动,这也加大了标记数据的困难性。
技术实现思路
1、本发明的目的是提供一种基于少量标签数据的多阶段人体活动识别方法,以解决上述现有技术存在的问题。
2、为实现上述目的,本发明提供了一种基于少量标签数据的多阶段人体活动识别方法,包括:
3、获取imu数据,对所述imu数据进行预处理,获得预处理数据;
4、基于simclr框架和所述预处理数据中的无标签数据进行对比学习,获得特征提取器;
5、通过所述特征提取器对所述预处理数据中的有标签数据进行处理,生成有标签数据的表征,通过所述有标签数据的表征和相应的活动标签进行监督训练,获得特定于人体活动识别的模型;
6、构建fixmatch模型,将所述预处理数据输入至所述fixmatch模型中进行训练和推理,将所述训练后的fixmatch模型和所述特定于人体活动识别的模型进行结合,获得人体活动识别模型,基于所述人体活动识别模型对多阶段人体活动进行识别。
7、优选的,所述获得预处理数据的过程包括:
8、获取有标签的imu数据和无标签的imu数据;
9、将所述有标签的imu数据和无标签的imu数据进行归一化后进行数据增强,获得所述预处理数据。
10、优选的,所述获得预训练模型的过程包括:
11、将所述预处理数据中的无标签的imu数据进程处理,生成两组相似样本数据;
12、构建编码器,通过所述编码器对所述相似样本数据进行分析,获得数据表征;
13、通过投影头将所述数据表征映射至对比损失空间,获得所述特征提取器。
14、优选的,所述生成两组相似样本数据前包括衡量相似样本的平衡性,所述衡量相似样本的平衡性的表达式为:
15、
16、其中,和互为正样本对,τ为温度系数。
17、优选的,所述编码器中的隐藏特征的表达式为:
18、
19、其中,pe(·)是位置嵌入函数,为输出特征,为输入特征。
20、所述对比损失空间中对损失时进行归一化的表达式为:
21、
22、
23、其中,为损失函数,n为输入样本,m、k表示索引。
24、优选的,所述获得特定于人体活动识别的模型的过程包括:
25、通过编码器对所述预处理数据中的有标签数据进行处理,生成有标签数据的表征;
26、将所述有标签数据的表征进行切片,获得切片表征;
27、将所述特征提取器中的参数进行冻结,通过所述切片表征对所述特征提取器中的分类器进行监督训练;获得特定于人体活动识别的模型。
28、优选的,所述获得人体活动识别模型的过程包括:
29、通过所述特征提取器对无标签imu数据进行特征提取,获得泛化通用特征;
30、构建fixmatch模型,通过所述泛化通用特征对所述fixmatch模型进行训练,获得fixmatchhar模型;
31、将所述预处理数据输入至所述fixmatchhar模型中进行训练和推理,获得训练模型;
32、将所述训练模型和所述特定于人体活动识别的模型进行结合,获得人体活动识别模型。
33、本发明的技术效果为:
34、本发明将对比学习和半监督学习相结合,在标记的imu数据样本十分有限的情况下,充分利用大量的未标记imu数据,使得活动识别模型仍然可以具有令人满意的识别效果。
1.一种基于少量标签数据的多阶段人体活动识别方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于少量标签数据的多阶段人体活动识别方法,其特征在于,所述获得预处理数据的过程包括:
3.根据权利要求1所述的基于少量标签数据的多阶段人体活动识别方法,其特征在于,所述获得预训练模型的过程包括:
4.根据权利要求3所述的基于少量标签数据的多阶段人体活动识别方法,其特征在于,所述生成两组相似样本数据前包括衡量相似样本的平衡性,所述衡量相似样本的平衡性的表达式为:
5.根据权利要求3所述的基于少量标签数据的多阶段人体活动识别方法,其特征在于,所述编码器中的隐藏特征的表达式为:
6.根据权利要求3所述的基于少量标签数据的多阶段人体活动识别方法,其特征在于,所述对比损失空间中对损失时进行归一化的表达式为:
7.根据权利要求1所述的基于少量标签数据的多阶段人体活动识别方法,其特征在于,所述获得特定于人体活动识别的模型的过程包括:
8.根据权利要求1所述的基于少量标签数据的多阶段人体活动识别方法,其特征在于,所述获得人体活动识别模型的过程包括: