本申请涉及智能交互领域,且更为具体地,涉及一种混合现实跟踪交互系统。
背景技术:
1、 混合现实(mixed reality,mr)是一种将真实世界和虚拟世界融合在一起的技术,它可以让用户在真实环境中与虚拟对象进行交互,也可以让虚拟对象反映真实环境的变化。为了实现混合现实的效果,需要对用户的运动和姿态进行精确的跟踪,以及对虚拟场景和对象进行逼真的渲染和控制。
2、然而,传统的交互系统在渲染虚拟场景和对象时,往往无法提供足够的真实感和沉浸感,虚拟对象的外观、动作和交互行为可能与真实世界存在明显的差异,这会降低用户的体验和参与感。此外,传统的交互系统在跟踪用户的运动和姿态时,往往存在一定的误差和延迟,这导致虚拟对象的位置和姿态与用户的实际动作不完全匹配,影响了交互的准确性和实时性。
3、因此,期望一种优化的混合现实跟踪交互系统。
技术实现思路
1、为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种混合现实跟踪交互系统,其通过使用摄像头设备采集相邻的第一帧监控图像和第二帧监控图像,并在后端引入图像处理和分析算法来进行所述相邻的第一帧监控图像和所述第二帧监控图像的分析,以此来获取用户的运动和姿态信息,并将其转化为跟踪数据,跟踪数据可以包括用户的位置、姿势、运动轨迹等信息,用于后续的处理和交互。这样,能够通过对连续的图像帧的分析和比对来进行用户的运动跟踪,从而实现对象的重识别,通过这样的方式,能够提高用户对象跟踪的准确性和稳定性,从而提供更准确的跟踪能力以及更好的用户体验和交互效果。
2、根据本申请的一个方面,提供了一种混合现实跟踪交互系统,其包括:
3、跟踪模块,用于追踪用户的运动和姿态,并生成跟踪数据;
4、处理模块,用于接收所述跟踪数据和用户输入,并根据所述跟踪数据和所述用户输入生成虚拟场景和对象;
5、显示模块,用于显示所述虚拟场景和所述对象;
6、交互模块,用于识别所述用户的手势和声音,并根据所述用户的手势和声音控制所述虚拟场景和所述对象的行为;
7、声音合成器,用于生成所述虚拟场景的声音。
8、与现有技术相比,本申请提供的一种混合现实跟踪交互系统,其通过使用摄像头设备采集相邻的第一帧监控图像和第二帧监控图像,并在后端引入图像处理和分析算法来进行所述相邻的第一帧监控图像和所述第二帧监控图像的分析,以此来获取用户的运动和姿态信息,并将其转化为跟踪数据,跟踪数据可以包括用户的位置、姿势、运动轨迹等信息,用于后续的处理和交互。这样,能够通过对连续的图像帧的分析和比对来进行用户的运动跟踪,从而实现对象的重识别,通过这样的方式,能够提高用户对象跟踪的准确性和稳定性,从而提供更准确的跟踪能力以及更好的用户体验和交互效果。
1.一种混合现实跟踪交互系统,其特征在于,包括:
2.根据权利要求1所述的混合现实跟踪交互系统,其特征在于,还包括:
3.根据权利要求2所述的混合现实跟踪交互系统,其特征在于,所述图像特征通道显著化分析单元,用于:将所述第一对象图像特征图和所述第二对象图像特征图分别通过通道注意力模块以得到所述通道显著化第一对象图像特征图和所述通道显著化第二对象图像特征图。
4.根据权利要求3所述的混合现实跟踪交互系统,其特征在于,所述图像局部特征语义相似关联分析单元,用于:以如下相关度公式分别计算所述通道显著化第一对象图像特征图和所述通道显著化第二对象图像特征图中各组对应通道维度的特征矩阵之间的相关度以得到由多个相关度组成的所述跟踪语义特征向量;
5.根据权利要求4所述的混合现实跟踪交互系统,其特征在于,所述跟踪结果生成单元,用于:将所述跟踪语义特征向量通过分类器以得到所述跟踪结果,所述跟踪结果用于表示第一帧监控图像中的第一对象和第二帧监控图像中的第二对象是否为同一对象。
6.根据权利要求5所述的混合现实跟踪交互系统,其特征在于,还包括用于对所述包含第一图像编码器和第二图像编码器的孪生跟踪器、所述通道注意力模块和所述分类器进行训练的训练单元。
7.根据权利要求6所述的混合现实跟踪交互系统,其特征在于,所述训练单元,包括:
8.根据权利要求7所述的混合现实跟踪交互系统,其特征在于,所述分类损失子单元,用于: