一种基于计算机视觉的多人协同方法与流程

    专利2022-07-08  106


    本发明涉及一种应用混合现实技术的多人协同方法,适合于多人协同多人协同虚拟现实、增强现实或混合现实应用。



    背景技术:

    针对目前vr(virtualreality,虚拟现实),ar(augmentedreality,增强现实)和mr(mixedreality,混合现实)应用中,相互之间无法互通,各种设备的用户不能与其它设备协同使用,在同一类型设备间多人协同的使用场景需消耗大量数据通信资源,体验效果较差。



    技术实现要素:

    本发明的目的是针对目前vr(virtualreality,虚拟现实),ar(augmentedreality,增强现实)和mr(mixedreality,混合现实)应用中,相互之间无法互通,各种设备的用户不能与其它设备协同使用,在同一类型设备间多人协同的使用场景需消耗大量数据通信资源,体验效果较差等问题,实现以较少的数据传输实现多人协同虚拟现实、增强现实或混合现实应用。

    本发明公开了一种基于计算机视觉的多人协同方法,携带摄像头及显示设备的智能移动装置(简称智能移动装置)扫描标志物,通过计算机视觉算法获取智能移动装置与标志物之间相对的6自由度位姿,通过标志物相对于空间模型的6自由度位姿计算出智能移动装置相对于空间模型的6自由度位姿,以确定智能移动装置的初始6自由度位姿,在智能移动装置移动过程中,通过计算机视觉算法实时改变其空间6自由度位姿,智能移动装置加载虚拟物体模型进行显示,智能移动装置可通过交互模块对虚拟物体模型进行交互,智能移动装置和虚拟物体模型相对于空间模型的空间6自由度位姿通过网络发送至协同服务模块,协同服务模块收到后将对应的智能移动装置和虚拟物体模型相对于空间模型的空间6自由度位姿发送至每台扫描了标志物的智能移动装置,从而每台扫描了标志物的智能移动装置都能实时更新各自的空间6自由度位姿,和虚拟物体模型的空间6自由度位姿,从而实现以较少的数据传输实现多人多种设备协同虚拟现实、增强现实或混合现实应用。

    附图说明

    图1是本发明的系统原理图。

    具体实施方式

    一种基于计算机视觉的多人协同方法,在图1中,首先建立空间三维数字模型和虚拟物体三维数字模型,空间三维数字模型和虚拟三维数字物体模型可部署在本地或网络,设计标志物,确定标志物与空间三维数字模型的关联,对于没有确定空间三维数字模型关联的标志物,标志物为原点,放置标志物,记录标志物相对于空间三维数字模型原点的6自由度位姿,如没有相对应的空间三维数字模型,标志物为原点,智能移动装置扫描标志物,通过计算机视觉算法获取智能移动装置与标志物之间相对的6自由度位姿,通过标志物相对于空间三维数字模型的6自由度位姿计算出智能移动装置相对于空间三维数字模型的6自由度位姿,以确定智能移动装置的初始6自由度位姿,在智能移动装置移动过程中,通过计算机视觉算法实时改变其空间6自由度位姿,智能移动装置加载虚拟物体三维数字模型进行显示,虚拟物体三维数字模型可保存在本地或网络中,智能移动装置可通过交互模块对虚拟物体三维数字模型进行交互,智能移动装置和虚拟物体三维数字模型相对于空间三维数字模型的空间6自由度位姿通过网络发送至协同服务模块,协同服务模块收到后将对应的智能移动装置和虚拟物体三维数字模型相对于空间三维数字模型的空间6自由度位姿发送至每台扫描了标志物的智能移动装置,每台扫描了标志物的智能移动装置都能实时更新各自的空间6自由度位姿,和虚拟物体三维数字模型的空间6自由度位姿,从而实现以较少的数据传输实现多人多种设备协同虚拟现实、增强现实或混合现实应用。

    图1所述的标志物,其特征在于,是图像或二维码。

    图1所述的智能移动装置,其特征在于,携带摄像头及显示设备的智能移动装置,包括不同品牌型号的设备,安装不同软件,按照统一的通信协议与协同服务模块通信。

    图1所述的交互模块,其特征在于,人与设备进行信息交互的设备及软件,包括手势识别硬件或软件、手柄等。

    图1所述的协同服务模块,其特征在于,可部署在任意一台智能移动装置中,也可部署在独立的网络设备中。


    技术特征:

    1.一种基于计算机视觉的多人协同方法,其特征在于:首先建立空间三维数字模型和虚拟物体三维数字模型,空间三维数字模型和虚拟三维数字物体模型可部署在本地或网络,设计标志物,确定标志物与空间三维数字模型的关联,对于没有确定空间三维数字模型关联的标志物,标志物为原点,放置标志物,记录标志物相对于空间三维数字模型原点的6自由度位姿,如没有相对应的空间三维数字模型,标志物为原点,智能移动装置扫描标志物,通过计算机视觉算法获取智能移动装置与标志物之间相对的6自由度位姿,通过标志物相对于空间三维数字模型的6自由度位姿计算出智能移动装置相对于空间三维数字模型的6自由度位姿,以确定智能移动装置的初始6自由度位姿,在智能移动装置移动过程中,通过计算机视觉算法实时改变其空间6自由度位姿,智能移动装置加载虚拟物体三维数字模型进行显示,智能移动装置可通过交互模块对虚拟物体三维数字模型进行交互,智能移动装置和虚拟物体三维数字模型相对于空间三维数字模型的空间6自由度位姿通过网络发送至协同服务模块,协同服务模块收到后将对应的智能移动装置和虚拟物体三维数字模型相对于空间三维数字模型的空间6自由度位姿发送至每台扫描了标志物的智能移动装置,每台扫描了标志物的智能移动装置都能实时更新各自的空间6自由度位姿,和虚拟物体三维数字模型的空间6自由度位姿,从而实现以较少的数据传输实现多人多种设备协同虚拟现实、增强现实或混合现实应用。

    2.如权利要求1所述的标志物,其特征在于,是图像或二维码。

    3.如权利要求1所述的智能移动装置,其特征在于,携带摄像头及显示设备的智能移动装置,包括不同品牌型号的设备,安装不同软件,按照统一的通信协议与协同服务模块通信。

    4.如权利要求1所述的交互模块,其特征在于,人与设备进行信息交互的设备及软件,包括手势识别硬件或软件、手柄等。

    5.如权利要求1所述的协同服务模块,其特征在于,可部署在任意一台智能移动装置中,也可部署在独立的网络设备中。

    技术总结
    本发明提供了一种基于计算机视觉的多人协同方法,携带摄像头及显示设备的智能移动装置(简称智能移动装置)扫描标志物,获取相对位姿,确定智能移动装置的初始位姿,在智能移动装置移动过程中,实时改变其空间位姿,智能移动装置可通过交互模块对虚拟物体模型进行交互,智能移动装置和虚拟物体模型相对于空间模型的位姿通过网络发送至协同服务模块,协同服务模块发送至每台扫描了标志物的智能移动装置,从而每台智能移动装置都能实时更新各自位姿,和虚拟物体模型的位姿,从而实现以较少的数据传输实现多人多种设备协同虚拟现实、增强现实或混合现实应用。

    技术研发人员:李捷
    受保护的技术使用者:广西南宁平行视界科技有限公司;广西南宁魔丽科技有限公司;广西南宁推特信息技术有限公司
    技术研发日:2019.09.11
    技术公布日:2021.03.12

    转载请注明原文地址:https://wp.8miu.com/read-23859.html

    最新回复(0)