本技术大体上涉及用于协作工作的多用户虚拟环境，尤其涉及用于管理由多个设备共享的虚拟工作空间的方法、设备和介质。
背景技术：
：：1、随着工作越来越多地在计算机和其它电子设备上进行，对工具的需求越来越大，以便于多设备多用户之间的工作协作。目前类似工具已经开发了几种，而现有的多用户或多设备协作方法一般分为三类。2、现有方法中，第一种是基于云的虚拟设备和虚拟存储。google drivetm、microsoft onedrivetm、dropboxtm以及apple icloudtm等工具都提供了基于云的存储，可以由多个用户访问，并使用户能够在多个设备上协调(即“同步”)一组共享数据(如文件)。但是，这种方法受到多用户实时交互能力的限制；相反，将文件上传到云服务器和从云服务器下载文件是协作的瓶颈。由于存储在云中的每个文件的每个更新都需要上传和下载，用户的网速也限制了用户处理共享数据的能力。此外，这些工具的访问控制和安全特征通常是初级的；根据gartner(kasey panetta，“云安全吗？(is the cloud secure？)”，gartner，2019年10月19日，https://www.gartner.com/smarterwithgartner/is-the-cloud-secure/)，到2025年，90％的组织无法控制公共云使用，会无意或不当地共享信息。3、现有的多设备协作方法中，第二种是以基于云的协作平台，例如google docstm、mirotm、zoomtm以及aggie.iotm。这些平台使用户能够随时随地通过任何类型的用户设备或软件平台(例如，手机、不同的桌面计算机操作系统等)进行输出，从而可以轻松地邀请更多的人加入一个协作项目。google docstm支持多用户编辑同一文件；mirotm是用于构思和头脑风暴的在线协作白板；zoomtm支持在线会议期间的屏幕共享和文件共享；aggie.iotm支持用户使用基于网页浏览器的界面通过互联网实时绘制图片。但是，这种方法也有一些限制。首先，使用这些平台进行内容共享通常比较复杂：当进行屏幕共享等常见的协作任务时，用户需要执行三个步骤(停止共享，将控制权交给另一个用户，开始共享新用户的屏幕)。同样，与个人或群组共享文件通常至少需要四个步骤(打开聊天窗口，从下拉菜单中选择用户或群组，使用文件浏览器界面选择文件，确认文件共享操作)。第二个限制是，在运行协作会话时难以进行文件共享和窗口管理：在基于云的协作期间，如果用户没有第二台监视器，则用户的本地桌面通常被协作平台界面完全占据或遮挡，从而使需要与用户的本地桌面交互的任务的执行复杂化，例如在查看另一个用户的演示时做笔记，或者在在线会议期间查找本地文件时，不得不频繁地在用户的本地工作空间与协作工作空间之间切换。这为与协作平台的内容交互增加了额外的时间，并给用户带来了认知负荷。第三个限制是，远程通信通常会减少用户参与少：因为缺乏面对面互动中所存在的上下文(如面部表情和身体手势)，与面对面接触相比，在线协作会降低沟通质量，并减慢决策进度。4、现有的多用户协作方法中，第三种是点对点(peer-to-peer，p2p)文件共享应用，包括apple airdroptm和android beamtm等面对面或近距离文件共享技术，以及takeafile.com等基于网络的p2p文件共享软件。面对面p2p文件共享通常使用近场通信(near field communication，nfc)等短距离无线技术，直接以无线方式将数字数据从一个设备发送到另一个设备。基于网络的p2p文件共享通常使用webrtc等p2p网络协议将文件从一个网络连接的设备传输到另一个设备，而无需使用中间服务器来存储文件。虽然p2p文件共享可以提供一种快速安全的数据传输技术，但这种方法不适合实时协作工作，如实时协作文档编辑或任何实时协作内容创建。5、除了上述三种现有的多用户协作方法，研究人员还提出了多种面对面多设备协作方法，用于在面对面会议期间跨多个设备进行实时协同创建。这类提议包括如下系统等：micro-mobility和f-formation，描述于“通过micro-mobility和f-formation的跨设备交互(cross-device interaction via micro-mobility and f-formations)”，uist'12：第25届acm用户界面软件和技术年度研讨会论文集，2012年10月，第13至22页.doi:https://doi.org/10.1145/2380116.2380121，以及huddlelamp，描述于“huddlelamp：用于ad-hocaround-the-table协作的空间感知型移动显示器(huddlelamp:spatially-aware mobiledisplays for ad-hoc around-the-table collaboration)”，its'14：第九届acm国际交互式桌面和表面会议论文集，2015年4月，第45至54页.doi:https://doi.org/10.1145/2669485.2669500。6、这些方法旨在实现协作特征，例如共享物理空间内存在的多个设备之间的文件共享和屏幕共享。但是，这些方法中的每一种方法都依赖于共享物理空间配备的各种传感器，例如头顶rgb相机、microsoft kinect传感器和/或专门定位和用于追踪协作会话中涉及的设备的无线收发器。7、因此，需要在技术上能够实现多用户和多设备实时协作，以克服上述方法(现有的和提出的方法)的缺点。技术实现思路1、本发明描述了用于管理由多个设备共享的虚拟工作空间的方法、设备和介质。在一些实施例中，向每个设备呈现统一图形用户界面(graphical user interface，gui)，其中，共享虚拟工作空间的其它设备由gui元素表示，在同一本地环境内存在的其它本地设备的位置对应于围绕gui屏幕的周边的对应gui元素的显示位置。其它本地设备的位置基于来自本地设备的传感器数据(例如近场通信(near field communication，nfc)无线数据或其它短程传感器数据)确定，而不需要专用的、专门定位的相机或用于追踪本地环境中的设备的其它传感器。2、使用布置在gui屏幕的周边的gui元素来指示和实现与其它本地设备的交互，可以提高涉及多设备协作的人机交互(human computer interaction，hci)的直观性和效率，如研究“空间感知或空间不可知？：用户定义的跨设备交互的启发和评估(spatially-awareor spatially-agnostic？:elicitation and evaluation of user-defined cross-device interactions)”，chi'15：第33届acm计算系统人为因素年度会议论文集，第3913至3922页，doi:https://doi.org/10.1145/2702123.2702287所建议。该研究比较了用户使用三种不同的gui配置执行三种不同的常见协作任务(复制视图、复制文本和移动对象)的效率和舒适度。gui配置是：从列出设备的弹出式菜单中选择设备；从示出在屏幕一角的设备位置的微型空间表示中选择设备；以及选择示出为gui元素的设备，所述gui元素显示在围绕屏幕周边对应于其实际位置的位置处。研究结果表明，第三种gui配置对用户来说是最高效、最舒适的。3、因此，与其它gui配置相比，本文描述的示例可以为与多设备共享虚拟工作空间交互的用户提供更高的舒适度和效率。因此，与其它设备的常见交互，例如与另一设备共享文件或将屏幕共享控制授权给其它设备，可以通过与对应于其它设备的gui元素进行简单直观的交互来完成。通过不需要安装在环境中的头顶相机或其它固定传感器以追踪各种本地设备的位置，本文描述的示例可以在任何空间中实现这种形式的舒适、高效的交互，而不仅仅是为这种交互而专门准备和配置的空间。4、各种实施例还包括其它特征。多个设备可以包括存在于同一本地环境内的本地设备，以及通过网络通信会话相互通信的远程设备；当新的本地设备或远程设备开始共享虚拟工作空间时，它被加入到网络通信会话中。响应于在本地环境内检测到设备，随后是来自共享虚拟工作空间的现有设备的手动或自动授权，可以与新设备共享虚拟工作空间。还公开了其它特征，例如用于在本地工作空间与共享工作空间之间，以及在提供屏幕边界内其它设备的详细信息的雷达视图与最大化用于显示工作空间的屏幕实际使用面积量的门户视图之间切换的用户交互。5、如本文所使用的，第二项(例如，值、计算或确定)“基于”第一项的陈述可以表示第二项的特征至少部分地受到第一项的特征的影响或至少部分地由第一项的特征确定。第一项可以被认为是运算或计算的输入，或者是一系列运算或计算的输入，所述运算或计算产生第二项作为与第一项相关的输出。6、在一些方面，本发明描述了一种用于管理在包括用户设备和一个或多个本地设备的多个设备之间共享的虚拟工作空间，使得所述多个设备中的每个设备都能够访问与所述虚拟工作空间关联的共享工作空间信息的方法。所述方法包括：基于位置信息，为每个本地设备确定所述本地设备相对于所述用户设备的方向，所述位置信息是基于所述多个设备中的一个或多个设备采集的传感器数据获得的。图形用户界面(graphical user interface，gui)屏幕在用户设备的显示器上显示。所述gui屏幕针对每个本地设备包括链接设备gui元素，所述链接设备gui元素对应于所述本地设备并且包括所述本地设备的相应方向的图形指标。7、在一些方面，本发明描述了一种用于管理在包括用户设备和一个或多个本地设备的多个设备之间共享的虚拟工作空间，使得所述多个设备中的每个设备都能够访问与所述虚拟工作空间关联的共享工作空间信息的用户设备。所述用户设备包括：处理器设备、显示器以及存储机器可执行指令的存储器，所述机器可执行指令当由所述处理器设备执行时，使所述用户设备：基于所述多个设备中的一个或多个设备采集的传感器数据处理位置信息，以针对每个本地设备确定所述本地设备相对于所述用户设备的方向；在所述显示器上显示图形用户界面(graphical user interface，gui)屏幕，所述gui屏幕针对每个本地设备包括链接设备gui元素，所述链接设备gui元素对应于所述本地设备并且包括所述本地设备的相应方向的图形指标。8、在一些方面，本发明描述了一种非瞬时性处理器可读介质，存储有机器可执行指令，所述机器可执行指令当由用户设备的处理器执行时，使所述用户设备管理在包括所述用户设备和一个或多个本地设备的多个设备之间共享的虚拟工作空间，使得所述多个设备中的每个设备都能够访问与所述虚拟工作空间关联的共享工作空间信息。基于所述多个设备中的一个或多个设备采集的传感器数据处理位置信息，以针对每个本地设备确定所述本地设备相对于所述用户设备的方向。在所述用户设备的显示器上显示图形用户界面(graphical user interface，gui)屏幕，所述gui屏幕针对每个本地设备包括链接设备gui元素，所述链接设备gui元素对应于所述本地设备并且包括所述本地设备的相应方向的图形指标。9、在一些示例中，所述方法还包括获得标识一个或多个远程设备的远程设备信息。所述虚拟工作空间进一步在所述一个或多个远程设备之间共享。针对所述一个或多个远程设备中的每个远程设备，所述gui屏幕还包括对应于所述远程设备并且包括所述远程设备的图形指标的链接设备gui元素。10、在一些示例中，每个链接设备gui元素包括交互式gui元素，所述交互式gui元素用于经由所述用户设备的定点设备接收用户输入。11、在一些示例中，对应于本地设备的每个链接设备gui元素通过在所述gui屏幕内，在沿着所述gui屏幕的周边的相应位置处显示来图形指示所述本地设备的所述方向，所述相应位置指示所述相应本地设备的所述方向。12、在一些示例中，所述方法在显示所述gui屏幕之前还包括多个步骤。在所述用户设备处接收请求设备加入所述虚拟工作空间的请求。获得指示允许所述请求设备加入所述虚拟工作空间的请求接受信息。响应于获得所述请求接受信息，与所述请求设备共享所述虚拟工作空间，使得所述请求设备包括在所述一个或多个本地设备或所述一个或多个远程设备中。13、在一些示例中，获得所述请求接受信息包括多个步骤。在所述用户设备的所述显示器上显示表示所述请求的请求gui元素。经由所述用户设备的输入设备接收指示接受所述请求的请求接受用户输入。处理所述请求接受用户输入以生成所述请求接受信息。14、在一些示例中，获得所述请求接受信息包括：从所述请求设备接收指示所述请求设备和以下设备中的一个或多个设备所共享的公共用户账户的用户账户信息：所述用户设备；所述一个或多个本地设备中的一个本地设备；所述一个或多个远程设备中的一个远程设备。15、在一些示例中，所述请求设备是所述一个或多个本地设备中的本地设备，并且响应于基于所述传感器数据确定所述请求设备在所述用户设备的本地环境内，接收所述请求。16、通过与新设备自动共享虚拟工作空间，使其接近本地环境内的其它本地设备，示例性实施例相比于通常将新设备加入本地或远程协作会话的多步骤过程可以提供优点：连接到wifi、在加入的新设备上启动协作软件应用，以及使用会话标识符将新设备的用户登录到协作会话。17、在一些示例中，所述一个或多个远程设备用于经由网络通信会话相互通信；在所述一个或多个远程设备和所述多个设备之间共享所述虚拟工作空间还包括配置所述多个设备以经由所述网络通信会话相互通信以及与所述一个或多个远程设备通信。18、在一些示例中，所述gui屏幕包括虚拟工作空间gui屏幕，所述虚拟工作空间gui屏幕还包括所述共享工作空间信息的至少一部分。19、在一些示例中，所述方法还包括多个步骤。经由所述用户设备的输入设备接收工作空间切换用户输入。在所述用户设备的所述显示器上显示本地工作空间gui屏幕。所述本地工作空间gui屏幕还包括所述一个或多个本地设备中的每个本地设备以及所述一个或多个远程设备中的每个远程设备的链接设备gui元素。所述本地工作空间gui屏幕包括与所述虚拟工作空间不关联的本地工作空间信息。20、通过提供用于在本地桌面与共享桌面之间切换的简单、直观的基于手势的技术，同时向用户呈现非侵入式gui，本文描述的一些示例性实施例可以提供优于现有方法的优点。统一gui的混合性质，将来自本地工作空间和共享工作空间的内容统一在同一个视觉框架中，这表示用户用一个简单的手势即可轻松访问需要在本地桌面或共享桌面上执行的各种操作。21、在一些示例中，所述方法还包括经由所述定点设备接收指示拖动手势的拖动用户输入，所述拖动手势是相对于对应于与所述虚拟工作空间不关联的本地数据对象的数据对象图标执行的。所述拖动手势在所述gui屏幕内对应于所述链接设备gui元素的第一链接设备gui元素的位置处终止。所述第一链接设备gui元素对应于所述一个或多个本地设备或所述一个或多个远程设备中的第一设备。响应于接收到所述拖动用户输入，向第一设备发送所述本地数据对象。22、在一些示例中，所述方法还包括在所述第一设备处接收所述用户设备的所述本地数据对象。在所述第一设备的显示器上显示第一设备gui屏幕。所述第一设备gui屏幕包括接收到的数据对象图标。经由所述第一设备的定点设备接收第一设备拖动用户输入，所述第一设备拖动用户输入指示相对于所述接收到的数据对象图标执行的拖动手势。响应于接收到所述第一设备拖动用户输入，在所述第一设备的所述显示器上显示第一设备本地工作空间gui屏幕，所述第一设备本地工作空间gui屏幕包括与所述虚拟工作空间不关联的第一设备本地工作空间信息。将所述接收到的本地数据对象与所述第一设备本地工作空间信息关联地保存到所述第一设备的存储器中。23、在一些示例中，所述方法还包括经由所述定点设备接收指示周边拖动手势的拖动用户输入，所述周边拖动手势是相对于对应于与所述虚拟工作空间不关联的本地数据对象的数据对象图标执行的。所述周边拖动手势在所述gui屏幕内与所述gui屏幕的边缘相距预定距离内的位置处终止。响应于接收到所述周边拖动用户输入，向所述一个或多个本地设备和所述一个或多个远程设备发送所述本地数据对象。24、通过提供用于与共享虚拟工作空间的一个或多个设备共享文件或其它数据对象的直观且高效的技术，示例性实施例可以提供优于现有方法的优点。单个手势可以用于同时与所有连接的设备共享文件。此外，通过直观地呈现每个链接的本地设备的空间关系，本文描述的示例性实施例可以将环境信息作为高度可用和可导航的界面的一部分提供给用户。25、在一些示例中，所述方法还包括激活所述用户设备的共享屏幕模式，使得所述用户设备的本地工作空间gui屏幕可作为所述共享工作空间信息的一部分由所述一个或多个本地设备和所述一个或多个远程设备访问，所述用户设备的所述本地工作空间gui屏幕包括与所述虚拟工作空间不关联的所述用户设备的本地工作空间信息。经由所述用户设备的输入设备接收屏幕共享传输用户输入，所述屏幕共享传输用户输入指示选择与所述一个或多个本地设备或所述一个或多个远程设备中的第一设备关联的所述链接设备gui元素中的一个链接设备gui元素。响应于接收到所述屏幕共享传输用户输入，在所述用户设备的所述显示器上显示包括所述第一设备的本地工作空间信息的第一设备工作空间gui屏幕。26、在一些示例中，所述输入设备包括所述定点设备；所述gui屏幕包括虚拟工作空间gui屏幕，所述虚拟工作空间gui屏幕还包括所述共享工作空间信息的至少一部分；所述屏幕共享传输用户输入包括拖动手势，所述拖动手势：在所述gui屏幕内所述多个链接设备gui元素中的第一链接设备gui元素的位置处开始；在所述gui屏幕内显示所述共享工作空间信息的所述部分的位置处结束。27、通过提供用于在共享虚拟工作空间的设备之间传输屏幕共享控制的直观且高效的技术，示例性实施例可以提供优于现有方法的优点。zoomtm等云协作平台在执行屏幕共享任务时会表现低效率，这至少需要三个步骤：第一设备停止共享其屏幕，第一设备的用户将控制权交给另一个用户，另一个用户开始共享其设备的屏幕。在本文描述的示例性实施例中，当前共享其设备屏幕的用户(或管理协作会话的用户)的单个手势可以用于停止共享一个设备的屏幕并开始共享另一设备的屏幕。28、在一些示例中，当所述用户设备在门户模式下运行时，所述gui屏幕是在所述用户设备的所述显示器上显示的门户屏幕。除了包括在沿所述门户屏幕的周边的相应位置处显示的所述链接设备gui元素外，所述门户屏幕还包括具有第一显示尺寸的工作空间面板。当所述用户设备在雷达模式下运行时，所述用户设备的所述显示器显示雷达屏幕。所述雷达屏幕包括：雷达屏幕工作空间面板，其具有比所述第一显示尺寸小的第二显示尺寸，使得边界由在所述雷达屏幕工作空间显示面板外部的所述显示器显示；对于所述门户屏幕的每个链接设备gui元素，对应的雷达屏幕链接设备gui元素显示在所述边界内沿着所述显示器的所述周边的相应位置处。所述方法还包括：经由所述用户设备的输入设备接收显示模式切换用户输入；响应于接收到所述显示模式切换用户输入，在所述门户模式与所述雷达模式之间切换所述用户设备。29、在一些示例中，所述输入设备包括触摸屏。所述显示模式切换用户输入包括：用于从门户模式切换到雷达模式的向内捏合手势；用于从雷达模式切换到门户模式的向外撑开手势。30、所描述的实施例可以提供用于在门户模式与雷达模式之间切换的快速且直观的方式，其中，门户屏幕最大化用于共享虚拟工作空间信息的显示区域，并且雷达屏幕示出用于主动设备管理的已连接设备的详细视图。31、在一些方面，本发明描述了一种非瞬时性处理器可读介质，其上有形地存储有指令。所述指令在由处理器设备执行时，使得所述处理器设备执行上述方法步骤。32、因此，本文公开的示例可以提供各种优点。首先，通过为常见的协作任务(如屏幕共享和文件共享)提供直观且简单的交互，统一gui可以提高协作会话期间的组工作效率。其次，一些示例可以简化新设备加入协作会话所需的交互，包括与本地设备和远程设备建立通信。第三，一些示例可以提供单个高效、安全、稳定和灵活的平台，用于多个用户之间的协作，以及用于在单个用户控制的多个设备上执行任务。第四，一些示例可以提供一个用于无缝衔接面对面和远程协作的平台。当前第1页12当前第1页12
技术特征：1.一种用于管理在包括用户设备和一个或多个本地设备的多个设备之间共享的虚拟工作空间，使得所述多个设备中的每个设备都能够访问与所述虚拟工作空间关联的共享工作空间信息的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于：
3.根据权利要求2所述的方法，其特征在于：
4.根据权利要求3所述的方法，其特征在于：
5.根据权利要求4所述的方法，其特征在于，还包括，在显示所述gui屏幕之前：
6.根据权利要求5所述的方法，其特征在于，获得所述请求接受信息包括：
7.根据权利要求5所述的方法，其特征在于，获得所述请求接受信息包括：
8.根据权利要求5所述的方法，其特征在于：
9.根据权利要求4所述的方法，其特征在于：
10.根据权利要求4所述的方法，其特征在于：
11.根据权利要求10所述的方法，其特征在于，还包括：
12.根据权利要求4所述的方法，其特征在于，还包括：
13.根据权利要求12所述的方法，其特征在于，还包括：
14.根据权利要求4所述的方法，其特征在于，还包括：
15.根据权利要求4所述的方法，其特征在于，还包括：
16.根据权利要求15所述的方法，其特征在于：
17.根据权利要求4所述的方法，其特征在于：
18.根据权利要求17所述的方法，其特征在于：
19.一种用于管理在包括用户设备和一个或多个本地设备的多个设备之间共享的虚拟工作空间，使得所述多个设备中的每个设备都能够访问与所述虚拟工作空间关联的共享工作空间信息的用户设备，其特征在于，所述用户设备包括：
20.一种非瞬时性处理器可读介质，其特征在于，存储有机器可执行指令，所述机器可执行指令当由用户设备的处理器执行时，使所述用户设备通过以下方式管理在包括所述用户设备和一个或多个本地设备的多个设备之间共享的虚拟工作空间，使得所述多个设备中的每个设备都能够访问与所述虚拟工作空间关联的共享工作空间信息：
技术总结描述了用于管理由多个设备共享的虚拟工作空间的方法、设备和处理器可读介质。向每个设备呈现统一GUI，其中，共享所述虚拟工作空间的其它设备由GUI元素表示，在同一本地环境内存在的其它本地设备的位置对应于围绕GUI屏幕的周边的对应GUI元素的显示位置。所述其它本地设备的所述位置基于来自所述本地设备的传感器数据(例如NFC无线数据或其它短程传感器数据)确定，而不需要专用的、专门定位的相机或用于追踪所述本地环境中的所述设备的其它传感器。
技术研发人员：李维,闫澈,黄大源
受保护的技术使用者：华为技术有限公司
技术研发日：技术公布日：2024/4/29
