本申请涉及远程交互技术领域，具体涉及一种远程交互方法、装置、电子设备和计算机可读存储介质。
背景技术：
随着第五代移动通信技术(5thgenerationmobilenetworks，简称5g技术)的商业化发展，其特有的高带宽、低延时、边缘计算(mec)等移动网络和计算能力，有助于企业开展远程、无接触、高清可视化的工作管理方式。而智能设备，例如手机、智能眼镜、带网络功能的视频记录仪等可以满足各种使用场景，进行音视频协同；基于增强现实(augmentedreality，简称ar)技术、虚拟现实(virtualreality，简称vr)技术以及混合现实(mixreality，简称mr)技术等的交互方式更有助于工业企业开展智能化、可视化、现场感的实时远程视频监控、巡检、指导、协助、培训等需求。
然而，发明人发现，在合影和视频录制等场景下，现在的方法需要由全部参与主体面对面完成，然后通过photoshop等专业软件进行后期制作的方式完成远程合影或视频录制，技术门槛较高，学习成本高，而且受限于渲染能力，无法完全保证合影或录像的质量。
技术实现要素：
鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的远程交互方法、装置、电子设备和计算机可读存储介质。
依据本申请的第一方面，提供一种远程交互方法，包括：
接收第一终端的场景图像和第一交互对象图像，以及接收第二终端的第二交互对象图像；
将所述场景图像、所述第一交互对象图像和所述第二交互对象图像进行合成处理，得到合成图像；
将所述合成图像分别传输至所述第一终端和所述第二终端，以使所述第一终端和所述第二终端能够通过增强现实或虚拟现实显示所述合成图像。
可选地，所述将所述场景图像、所述第一交互对象图像和所述第二交互对象图像进行合成处理，得到合成图像包括：
根据所述场景图像、所述第一交互对象图像和所述第二交互对象图像，确定各终端的用户在所述场景图像中的空间位置变化数据；
根据所述空间位置变化数据，确定所述第一交互对象图像、所述第二交互对象图像和所述场景图像的相对位置；
根据所述相对位置，对所述场景图像、所述第一交互对象图像和所述第二交互对象图像进行融合计算，得到所述合成图像。
可选地，所述方法还包括：
接收所述第一终端的远程交互请求，所述远程交互请求中包括所述第二终端的身份信息；
根据所述远程交互请求，在预设远程交互关系表中对所述第一终端与所述第二终端的关联关系进行检索；
根据检索结果确定是否执行所述接收第一终端的场景图像和第一交互对象图像，以及接收第二终端的第二交互对象图像的步骤。
可选地，所述预设远程交互关系表通过如下方式得到：
接收所述第一终端的远程交互连接请求，所述远程交互连接请求包括所述第一终端的身份信息和交互列表，所述交互列表中包括至少一个第二终端；
根据所述交互列表，将所述第一终端的远程交互连接请求分别发送至对应的各第二终端；
若所述第二终端通过所述第一终端的远程交互连接请求，则建立所述第一终端与各第二终端的连接关系并存储至所述预设远程交互关系表中。
可选地，所述方法还包括：
接收所述第二终端的场景图像；
将所述第二终端的场景图像与预设环境图像进行匹配，确定所述第二终端的环境复杂度；
若所述第二终端的环境复杂度超过预设环境复杂度阈值，则向所述第二终端下发启动虚拟现实模式的指令，以使所述第二终端能够通过虚拟现实显示所述合成图像。
可选地，所述方法还包括：
接收所述第一终端或所述第二终端的场景切换请求；
将得到的所述合成图像所使用的场景图像，替换为所述场景切换请求所指定的第二终端的场景图像或场景图像数据库中预存的场景图像，从而得到所述合成图像的替换图像；
将所述替换图像分别传输至所述第一终端和所述第二终端，以使所述第一终端和所述第二终端能够通过增强现实或虚拟现实显示所述替换图像。
可选地，所述方法还包括：
接收所述第一终端的场景切换请求，所述场景切换请求是指将所述第一终端的当前场景切换为所述第二终端的目标场景的请求；
将所述第一终端的场景切换请求发送至所述第二终端，以使所述第二终端确定是否通过所述第一终端的场景切换请求。
可选地，所述合成图像为实时生成的视频中的视频帧，所述方法包括：
接收所述第一终端或所述第二终端的合影请求，所述合影请求包括合影时间；
在所述实时生成的视频中确定与所述合影时间对应的视频帧；
将所述视频帧提取为合影图像后发送至所述第一终端或所述第二终端。
可选地，所述接收第一终端的场景图像和第一交互对象图像，以及接收第二终端的第二交互对象图像包括：
以预定周期接收所述场景图像、所述第一交互对象图像，以及所述第二交互对象图像；
所述方法还包括：
对已生成的合成图像进行缓存，并在生成新的合成图像后，对已缓存的合成图像进行更新；
若未在预定周期内接收到新的场景图像、新的第一交互对象图像以及新的第二交互对象图像中的任一个，则将缓存的合成图像传输至所述第一终端和所述第二终端，以使所述第一终端和所述第二终端能够通过增强现实或虚拟现实显示所述缓存的合成图像。
可选地，所述场景图像和所述第一交互对象图像是通过与所述第一终端对应的第一摄像设备拍摄得到的，所述第二交互对象图像是通过与所述第二终端对应的第二摄像设备拍摄得到的。
可选地，所述将所述合成图像分别传输至所述第一终端和所述第二终端包括：
利用5g通信网络，将所述合成图像分别传输至所述第一终端和所述第二终端。
依据本申请的第二方面，提供了一种远程交互装置，包括：
第一接收单元，用于接收第一终端的场景图像和第一交互对象图像，以及接收第二终端的第二交互对象图像；
合成单元，用于将所述场景图像、所述第一交互对象图像和所述第二交互对象图像进行合成处理，得到合成图像；
第一传输单元，用于将所述合成图像分别传输至所述第一终端和所述第二终端，以使所述第一终端和所述第二终端能够通过增强现实或虚拟现实显示所述合成图像。
依据本申请的第三方面，提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一所述的远程交互方法。
依据本申请的第四方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上述任一所述的远程交互方法。
由上述可知，本申请的技术方案，通过接收第一终端的场景图像和第一交互对象图像，以及接收第二终端的第二交互对象图像；然后将场景图像、第一交互对象图像和第二交互对象图像进行合成处理，得到合成图像；最后将合成图像分别传输至第一终端和第二终端，以使第一终端和第二终端能够通过增强现实或虚拟现实显示合成图像。本申请通过实时传输和合成多个终端的动态图像，使得各终端的用户之间即使相距千里也能通过增强现实设备或虚拟现实设备看到自己和其他用户在同一场景中的实时动态，满足了用户的远程交互需求，提升了用户体验。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本申请一个实施例的远程交互系统的结构示意图；
图2示出了根据本申请一个实施例的远程交互方法的流程示意图；
图3示出了根据本申请一个实施例的远程交互装置的结构示意图；
图4示出了根据本申请一个实施例的电子设备的结构示意图；
图5示出了根据本申请一个实施例的计算机可读存储介质的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
随着人们对智能化设备的需求日益增长，增强现实(ar)技术、虚拟现实(vr)技术以及混合现实(mr)技术在多个领域中得到了广泛应用，尤其是在远程交互技术领域，大大丰富了原始的远程交互模式和交互场景。
ar技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。
vr技术则是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，使用户沉浸到该环境中。虚拟现实技术就是利用现实生活中的数据，通过计算机技术产生的电子信号，将其与各种输出设备结合使其转化为能够让人们感受到的现象，这些现象可以是现实中真真切切的物体，也可以是我们肉眼所看不到的物质，通过三维模型表现出来。
mr即指的是结合真实和虚拟世界创造了新的环境和可视化三维世界，mr技术可以实现虚拟与现实之间的自由切换，既能在虚拟中保留现实，也能将现实转化成虚拟。
本申请的远程交互方法就可以理解为是增强现实技术和虚拟现实技术在远程交互领域的一种应用，具体地，可以应用于如图1所示的远程交互系统中。在该远程交互系统中，包括多个终端、与各终端对应的摄像头和无线通信模块，以及云计算服务器，各终端、摄像头均可以通过无线通信模块与云计算服务器进行数据交互。这里的终端可以采用ar眼镜或者其他智能设备，摄像头可以采用智能手机、平板电脑、笔记本电脑、台式计算机或者数码相机等任何具有拍摄功能的设备，主要用于采集各个终端所处的环境以及用户的各种动态信息等，然后通过无线通信模块传输至云计算服务器进行合成处理，云计算服务器进行合成处理后则可以将进行处理结果通过无线通信模块传输给各ar眼镜，使得各ar眼镜可以在屏幕上对处理结果进行投影显示，进而实现多方远程交互的目的。
上述云计算服务器是指可以提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务以及大数据和人工智能平台等基础云计算服务的云服务器。当然也可以是独立的物理服务器，或者是多个物理服务器构成的服务器集群或者分布式系统，本申请在此不做限制。
可以理解，本申请实施例提供的方法可以是在云计算服务器中执行的或者也可以是单独部署的模块来之执行。
如图2所示，本申请实施例的远程交互方法包括如下的步骤s210至步骤s230：
步骤s210，接收第一终端的场景图像和第一交互对象图像，以及接收第二终端的第二交互对象图像。
本申请实施例的远程交互方法是建立在各终端的用户佩戴有ar眼镜或者vr眼镜等智能设备的前提下的，可以是两个终端的远程交互，当然也可以是两个终端以上的多个终端之间的远程交互。
本申请实施例的远程交互方法主要是在服务器侧来执行的，而用户之间的远程交互则是通过各自持有的终端来实现的。为了方便描述，可将远程交互的用户分为主视角用户和其他视角用户，将主视角用户一侧的终端用“第一终端”来表示，即对主视角用户来说是本地终端，而将其他视角用户一侧的终端用“第二终端”来表示，即对主视角用户来说，是与本地终端对应的远程终端，远程终端可以是一个也可以是多个，可以根据用户的交互需求来确定。
当然，上述名称的划分仅是便于描述，容易理解，无论是第一终端还是第二终端，具有的功能可以是相同的，在特定的远程交互场景中因扮演的角色不同而表现出的功能则可以不同，例如终端可以用于远程交互的发起，也可以用于被动加入，可以用于主持会议，也可以用于参与会议，等等。终端在远程交互场景中的角色也可以进行切换，如从参会切换成主持。
例如，对于拟进行远程交互的a终端和b终端来说，如果b终端对应的用户想要进入a终端对应的用户所在的场景中，或者a终端对应的用户邀请b终端对应的用户进入其所在的场景中，则对于a终端，可以接收a终端的场景图像和第一交互对象图像，对于b终端，可以接收b终端的第二交互对象图像。上述场景图像可以理解为是a终端当前所处的真实场景的图像表达，第一交互对象图像可以理解为是a终端对应的用户的信息表达，第二交互对象图像可以理解为是b终端对应的用户的信息表达。
当第一交互对象图像、第二交互对象图像是视频流中的视频帧时，由连续的图像能够表达相应用户的动态信息。
步骤s220，将所述场景图像、所述第一交互对象图像和所述第二交互对象图像进行合成处理，得到合成图像。
为了使各终端的用户能够看到自己和其他用户在同一场景中的实时情况，可以利用现有的图像合成技术将上述第一终端的场景图像、第一交互对象图像与第二终端的第二交互对象图像进行合成处理，得到合成图像，该合成图像中就包含了第一终端的用户和第二终端的用户在同一场景下的实时动态信息。
步骤s230，将所述合成图像分别传输至所述第一终端和所述第二终端，以使所述第一终端和所述第二终端能够通过增强现实或虚拟现实显示所述合成图像。
本申请实施例的最终目的是使各终端的用户能够在同一场景下与其他终端的用户实现远程交互，因此这里需要将上述处理后得到的合成图像在通过无线传输模块传输给各终端，使得各终端的用户能够在其佩戴的ar眼镜或者vr眼镜上看到自己与其他用户的实时动态，满足用户的远程交互需求，提高了用户体验。
在本申请的一个实施例中，可以采用如下方式进行图像合成：先将上述第一终端的场景图像、第一交互对象图像与第二终端的第二交互对象图像传入处理器对其进行分析和重构，再通过ar眼镜或智能移动设备上的摄像头、陀螺仪、传感器等配件实时更新用户在现实环境中的空间位置变化数据，从而得出虚拟场景和真实场景的相对位置，实现坐标系的对齐并进行虚拟场景与现实场景的融合计算，以使各终端能够将最终的合成图像呈现给用户。
在本申请的一个实施例中，为了提高远程交互的安全性和效率，可以事先建立起多个终端之间的相互连接关系并进行存储。具体地，可以先接收第一终端的远程交互连接请求，这里的第一终端可以是任意一个想要发起远程交互的终端，在此不作具体限定。远程交互连接请求中可以包括第一终端的身份信息和交互列表，交互列表中包括一个或多个第二终端，即第一终端想要交互的目标终端，然后将该第一终端的远程交互连接请求分别发送至对应的第二终端，使第二终端对可以选择通过该请求或者不通过该请求，如果第二终端通过该请求，则建立起第一终端和该第二终端的连接关系并存储至预设远程交互关系表中。
设置上述预设远程交互关系表的一个好处是便于对终端之间的交互权限进行验证，提高远程交互的安全性，例如，如果预设远程交互关系表中没有存储a终端和b终端的连接关系，说明当前a终端和b终端没有与对方进行远程交互的权限。另一个好处是提高远程交互的效率，例如，如果预设远程交互关系表中已经存储了a终端和b终端的连接关系，说明当前a终端和b终端具有与对方进行远程交互的权限，则可以直接进行远程交互，无需再执行连接关系建立的操作。
在本申请的一个实施例中，在进行远程交互之前，可以通过接收第一终端远程交互请求的方式来确定第一终端所要交互的第二终端，第一终端发起的远程交互请求中携带有第二终端的唯一身份标识信息，根据第二终端的唯一身份信息可以确定第一终端当前想要交互的目标终端，为了保证远程交互过程执行的安全性和效率，这里就可以在上述建立好的预设远程交互关系表中对第一终端与第一终端请求交互的第二终端的连接关系进行检索，如果能够检索到，说明第一终端和该第二终端已经建立过连接关系，如果不能检索到，说明还没有建立过连接关系，如果第一终端仍然想要和该终端进行交互，则需要通过上述实施例先建立连接关系。
举例说明，a终端发起了一个远程交互请求，该请求中包含有a终端所要交互的b终端、c终端和d终端，在预设远程交互关系表中对a终端与b终端、a终端与c终端、a终端与d终端的连接关系分别进行检索，发现能够检索到a终端与b终端、a终端与c终端的连接关系，但是没有检索到a终端与d终端的连接关系，这时a终端就可以向d终端发起建立连接关系的请求。
如前所述，增强现实技术的一个核心是在真实场景中叠加虚拟场景，例如，用户在佩戴ar眼镜的情况下，可以透过眼镜看到真实场景以及叠加在真实场景中的一些虚拟场景。基于上述原理，如果本申请实施例的第二终端通过增强现实模式将合成图像进行投影显示，则第二终端的用户既能够看到自己所处的真实场景(基于ar眼镜的透视功能)，又会看到合成图像中显示的第一终端的真实场景，如果第二终端的用户当前所处的环境信息较为复杂的话，将导致第二终端的用户看到投影画面会较为混乱，对用户的视觉造成影响。
为了解决上述问题，在本申请的一个实施例中，可以结合第二终端所处的场景信息确定是否要关闭第二终端的透视功能，当关闭第二终端的透视功能时，可以理解为是将第二终端的增强现实模式切换为虚拟现实模式。具体地，可以在第二终端对合成图像进行投影显示之前，接收第二终端的场景图像，然后将第二终端的场景图像与预设环境图像进行匹配，确定第二终端的环境复杂度，预设环境图像例如可以是无任何物体的场景图像、有少量物体的场景图像以及有大量物体的场景图像，分别对应由低至高的环境复杂度，通过图像识别和匹配确定第二终端当前所处的环境复杂度。如果第二终端的环境复杂度超过预设环境复杂度阈值，则说明环境较为复杂，不适合开启增强显示模式，可以向第二终端下发启动虚拟现实模式的指令，以使第二终端能够通过虚拟现实显示合成图像，进而避免对用户的视觉造成影响，提高用户体验。
在本申请的一个实施例中，所述方法还包括：接收所述第一终端或所述第二终端的场景切换请求；将得到的所述合成图像所使用的场景图像，替换为所述场景切换请求所指定的第二终端的场景图像或场景图像数据库中预存的场景图像，从而得到所述合成图像的替换图像；将所述替换图像分别传输至所述第一终端和所述第二终端，以使所述第一终端和所述第二终端能够通过增强现实或虚拟现实显示所述替换图像。
在本申请的一个实施例中，为了满足不同应用场景下不同用户的交互需求，当前参与交互的任意一个终端还可以发起场景切换请求，对当前的交互场景进行切换。例如，在影视拍摄场景下，第一终端的用户在场地a，第二终端的用户在场地b，在场地a的取景拍摄过程中，需要第二终端的用户通过上述远程交互方法进入场地a与第一终端的用户同时进行拍摄。在场地a的拍摄结束后，由于在场地b也有第一终端的用户和第二终端的用户同时拍摄的戏份，因此第二终端的用户就可以发起场景切换请求，通过接收第二终端的场景切换请求，然后将得到的合成图像中的第一终端的场景图像，替换为第二终端的场景图像，得到替换图像，该替换图像中就包含了第二终端所在的场地b的图像信息，进而可以使得第一终端的用户通过上述远程交互方法进入场地b与第二终端的用户同时进行拍摄，进而满足实现实时多方合作录影和拍摄，无需依赖后期技术或软件渲染，减少了人工后期制作成本及演艺人员的远程往返的时间成本及交通住宿等成本。
对于切换的场景图像，除了可以切换为第二终端的场景图像，也可以切换为场景图像数据库中预存的其他场景图像，具体切换为哪些图像，本领域技术人员可根据实际需求灵活设置，在此不作具体限定。
在本申请的一个实施例中，如果第一终端提出了场景切换请求，请求进入第二终端的场景中时，虽然第一终端当前具备与第二终端的远程交互权限，但为了保证交互过程更加人性化，可以将第一终端发起的场景切换请求转发至对应的第二终端，使得第二终端的用户可以根据自身情况确定是否通过第一终端的场景切换请求。例如，第二终端的用户当前所在环境较为复杂或者暂时不方便和其它终端的用户共享自己当前所在的场景，那么第二终端的用户就可以拒绝第一终端的场景切换请求。通过上述设计，使得整个远程交互过程更加人性化，满足了不同用户的需求。
在一些具体场景下，例如远程拍摄合照，当身处不同地点的多个用户想要在同一个场景下拍摄合照时，同样可以应用本申请的技术方案，使得用户在拍摄过程不仅能够实现多方互动，还可以实时看到自己的动作和表情，随时随地获得最美合照。具体地，在本申请的一个实施例中，任意一个终端的用户在远程交互的过程中都可以发起合影请求，由于用户看到的合成图像通常是实时动态生成的视频中的视频帧，因此该合影请求中会携带合影时间，以根据该合影时间确定用户想要拍摄的视频帧，作为合影图像，最后将该合影图像发送至发起合影请求的终端，满足了不同用户在远程交互过程中的合影需求。
上述实施例还可以拓展至视频录制的场景，例如任意一个终端的用户都可以发起视频录制请求，因为录制得到的视频是由一段时间内的视频帧构成的，因此这里的视频录制请求可以分为视频录制开始请求和视频录制结束请求，视频录制开始请求中携带有视频录制开始时间，视频录制终止请求携带有视频录制结束时间，根据视频录制开始时间和视频录制结束时间在实时生成的视频中提取对应的视频帧，组合成录制好的视频发送至相应的终端，满足了用户在远程交互过程中的视频录制请求。
考虑到数据传输过程可以能会出网络中断或故障等情况，在本申请的一个实施例中，可以设定在预定周期内对场景图像、第一交互对象图像，以及第二交互对象图像进行接收，如果在该预定周期内可以接收到场景图像、第一交互对象图像和第二交互对象图像，则可以生成合成图像，对已生成的合成图像进行缓存，并在生成新的合成图像后，对已缓存的合成图像进行更新，当出现网络中断等情况导致在该预定周期内没有接收到新的场景图像、新的第一交互对象图像或者新的第二交互对象图像中的任一个时，此时就可以将已经缓存的合成图像传输至各终端进行投影显示，避免各终端的用户由于网络异常无法看到图像的情况，提高用户体验。
为了使多个终端的用户能够在同一场景下看到自己与其他终端的用户的实时动态信息，在本申请的一个实施例中，各个终端对应的可以配备有摄像设备，例如手机、平板电脑、台式电脑或者数码相机等任何具有拍照功能的设备，用来采集各终端的实时动态信息等。具体地，对于第一终端的场景图像和第一交互对象图像可以通过第一终端对应的第一摄像设备拍摄得到，第二交互对象图像可以通过与第二终端对应的第二摄像设备拍摄得到。
当然，需要说明的是，任意一个终端配备的摄像设备都可以采集该终端的场景图像和交互对象图像等，具体采集哪些信息，可根据实际的应用场景和实际需求来设置，在此不作具体限定。
在本申请的一个实施例中，可以采用5g通信网络进行数据传输，例如将得到的合成图像通过5g通信网络实时传输至各终端。5g通信网络采用的是最新一代的蜂窝移动通信技术，也是继4g、3g和2g技术之后的延伸，5g的性能目标是高数据速率、减少延迟、节省能源、降低成本、提高系统容量和大规模设备连接。因此本申请实施例采用5g通信网络能够很大程度上提高数据的传输效率，提高远程交互的实时性。该实施例适用于上述任意一个涉及到数据传输的实施例，在此不作具体限定。
当然，需要说明的是，本领域技术人员也可以根据实际需求采用其他通信网络如4g通信网络等进行数据传输，不应该以此构成对本申请保护范围的限制。
除了上述各实施例提供的应用场景，本申请的远程交互方法还可以拓展至更多应用场景，例如多人远程互动直播、多人远程互动教学等等，在此不一一列举。
本申请实施例提供了一种远程交互装置300，如图3所示，所述装置300包括：
第一接收单元310，用于接收第一终端的场景图像和第一交互对象图像，以及接收第二终端的第二交互对象图像；
合成单元320，用于将所述场景图像、所述第一交互对象图像和所述第二交互对象图像进行合成处理，得到合成图像；
第一传输单元330，用于将所述合成图像分别传输至所述第一终端和所述第二终端，以使所述第一终端和所述第二终端能够通过增强现实或虚拟现实显示所述合成图像。
在本申请的一个实施例中，所述合成单元320用于：根据所述场景图像、所述第一交互对象图像和所述第二交互对象图像，确定各终端的用户在所述场景图像中的空间位置变化数据；根据所述空间位置变化数据，确定所述第一交互对象图像、所述第二交互对象图像和所述场景图像的相对位置；根据所述相对位置，对所述场景图像、所述第一交互对象图像和所述第二交互对象图像进行融合计算，得到所述合成图像。
在本申请的一个实施例中，所述装置还包括：第二接收单元，用于接收所述第一终端的远程交互请求，所述远程交互请求中包括所述第二终端的身份信息；检索单元，用于根据所述远程交互请求，在预设远程交互关系表中对所述第一终端与所述第二终端的关联关系进行检索；第一确定单元，用于根据检索结果确定是否执行所述接收第一终端的场景图像和第一交互对象图像，以及接收第二终端的第二交互对象图像的步骤。
在本申请的一个实施例中，所述预设远程交互关系表通过如下方式得到：接收所述第一终端的远程交互连接请求，所述远程交互连接请求包括所述第一终端的身份信息和交互列表，所述交互列表中包括至少一个第二终端；根据所述交互列表，将所述第一终端的远程交互连接请求分别发送至对应的各第二终端；若所述第二终端通过所述第一终端的远程交互连接请求，则建立所述第一终端与各第二终端的连接关系并存储至所述预设远程交互关系表中。
在本申请的一个实施例中，所述装置还包括：第三接收单元，用于接收所述第二终端的场景图像；匹配单元，用于将所述第二终端的场景图像与预设环境图像进行匹配，确定所述第二终端的环境复杂度；第一发送单元，用于若所述第二终端的环境复杂度超过预设环境复杂度阈值，则向所述第二终端下发启动虚拟现实模式的指令，以使所述第二终端能够通过虚拟现实显示所述合成图像。
在本申请的一个实施例中，所述装置还包括：第四接收单元，用于接收所述第一终端或所述第二终端的场景切换请求；替换单元，用于将得到的所述合成图像所使用的场景图像，替换为所述场景切换请求所指定的第二终端的场景图像或场景图像数据库中预存的场景图像，从而得到所述合成图像的替换图像；第二传输单元，用于将所述替换图像分别传输至所述第一终端和所述第二终端，以使所述第一终端和所述第二终端能够通过增强现实或虚拟现实显示所述替换图像。
在本申请的一个实施例中，所述装置还包括：第五接收单元，用于接收所述第一终端的场景切换请求，所述场景切换请求是指将所述第一终端的当前场景切换为所述第二终端的目标场景的请求；第二发送单元，用于将所述第一终端的场景切换请求发送至所述第二终端，以使所述第二终端确定是否通过所述第一终端的场景切换请求。
在本申请的一个实施例中，所述合成图像为实时生成的视频中的视频帧，所述装置包括：第六接收单元，用于接收所述第一终端或所述第二终端的合影请求，所述合影请求包括合影时间；第二确定单元，用于在所述实时生成的视频中确定与所述合影时间对应的视频帧；提取单元，用于将所述视频帧提取为合影图像后发送至所述第一终端或所述第二终端。
在本申请的一个实施例中，所述第一接收单元用于：以预定周期接收所述场景图像、所述第一交互对象图像，以及所述第二交互对象图像；所述装置还包括：缓存单元，用于对已生成的合成图像进行缓存，并在生成新的合成图像后，对已缓存的合成图像进行更新；第三传输单元，用于若未在预定周期内接收到新的场景图像、新的第一交互对象图像以及新的第二交互对象图像中的任一个，则将缓存的合成图像传输至所述第一终端和所述第二终端，以使所述第一终端和所述第二终端能够通过增强现实或虚拟现实显示所述缓存的合成图像。
在本申请的一个实施例中，所述场景图像和所述第一交互对象图像是通过与所述第一终端对应的第一摄像设备拍摄得到的，所述第二交互对象图像是通过与所述第二终端对应的第二摄像设备拍摄得到的。
在本申请的一个实施例中，所述第一传输单元用于：利用5g通信网络，将所述合成图像分别传输至所述第一终端和所述第二终端。
需要说明的是，上述各装置实施例的具体实施方式可以参照前述对应方法实施例的具体实施方式进行，在此不再赘述。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本申请实施例的远程交互方法中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
例如，图4示出了根据本申请一个实施例的电子设备的结构示意图。该电子设备400包括处理器410和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器420。存储器320可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。存储器420具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码431的存储空间430。例如，用于存储计算机可读程序代码的存储空间330可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码431。计算机可读程序代码431可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(cd)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图5所示的计算机可读存储介质。图5示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质500存储有用于执行根据本申请的方法步骤的计算机可读程序代码431，可以被电子设备400的处理器410读取，当计算机可读程序代码431由电子设备400运行时，导致该电子设备400执行上面所描述的方法中的各个步骤，具体来说，该计算机可读存储介质存储的计算机可读程序代码331可以执行上述任一实施例中示出的方法。计算机可读程序代码431可以以适当形式进行压缩。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
1.一种远程交互方法，其特征在于，包括：
接收第一终端的场景图像和第一交互对象图像，以及接收第二终端的第二交互对象图像；
将所述场景图像、所述第一交互对象图像和所述第二交互对象图像进行合成处理，得到合成图像；
将所述合成图像分别传输至所述第一终端和所述第二终端，以使所述第一终端和所述第二终端能够通过增强现实或虚拟现实显示所述合成图像。
2.根据权利要求1所述的方法，其特征在于，所述将所述场景图像、所述第一交互对象图像和所述第二交互对象图像进行合成处理，得到合成图像包括：
根据所述场景图像、所述第一交互对象图像和所述第二交互对象图像，确定各终端的用户在所述场景图像中的空间位置变化数据；
根据所述空间位置变化数据，确定所述第一交互对象图像、所述第二交互对象图像和所述场景图像的相对位置；
根据所述相对位置，对所述场景图像、所述第一交互对象图像和所述第二交互对象图像进行融合计算，得到所述合成图像。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收所述第一终端的远程交互请求，所述远程交互请求中包括所述第二终端的身份信息；
根据所述远程交互请求，在预设远程交互关系表中对所述第一终端与所述第二终端的关联关系进行检索；
根据检索结果确定是否执行所述接收第一终端的场景图像和第一交互对象图像，以及接收第二终端的第二交互对象图像的步骤。
4.根据权利要求3所述的方法，其特征在于，所述预设远程交互关系表通过如下方式得到：
接收所述第一终端的远程交互连接请求，所述远程交互连接请求包括所述第一终端的身份信息和交互列表，所述交互列表中包括至少一个第二终端；
根据所述交互列表，将所述第一终端的远程交互连接请求分别发送至对应的各第二终端；
若所述第二终端通过所述第一终端的远程交互连接请求，则建立所述第一终端与各第二终端的连接关系并存储至所述预设远程交互关系表中。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收所述第二终端的场景图像；
将所述第二终端的场景图像与预设环境图像进行匹配，确定所述第二终端的环境复杂度；
若所述第二终端的环境复杂度超过预设环境复杂度阈值，则向所述第二终端下发启动虚拟现实模式的指令，以使所述第二终端能够通过虚拟现实显示所述合成图像。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收所述第一终端或所述第二终端的场景切换请求；
将得到的所述合成图像所使用的场景图像，替换为所述场景切换请求所指定的第二终端的场景图像或场景图像数据库中预存的场景图像，从而得到所述合成图像的替换图像；
将所述替换图像分别传输至所述第一终端和所述第二终端，以使所述第一终端和所述第二终端能够通过增强现实或虚拟现实显示所述替换图像。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收所述第一终端的场景切换请求，所述场景切换请求是指将所述第一终端的当前场景切换为所述第二终端的目标场景的请求；
将所述第一终端的场景切换请求发送至所述第二终端，以使所述第二终端确定是否通过所述第一终端的场景切换请求。
8.根据权利要求1所述的方法，其特征在于，所述合成图像为实时生成的视频中的视频帧，所述方法包括：
接收所述第一终端或所述第二终端的合影请求，所述合影请求包括合影时间；
在所述实时生成的视频中确定与所述合影时间对应的视频帧；
将所述视频帧提取为合影图像后发送至所述第一终端或所述第二终端。
9.根据权利要求1所述的方法，其特征在于，所述接收第一终端的场景图像和第一交互对象图像，以及接收第二终端的第二交互对象图像包括：
以预定周期接收所述场景图像、所述第一交互对象图像，以及所述第二交互对象图像；
所述方法还包括：
对已生成的合成图像进行缓存，并在生成新的合成图像后，对已缓存的合成图像进行更新；
若未在预定周期内接收到新的场景图像、新的第一交互对象图像以及新的第二交互对象图像中的任一个，则将缓存的合成图像传输至所述第一终端和所述第二终端，以使所述第一终端和所述第二终端能够通过增强现实或虚拟现实显示所述缓存的合成图像。
10.根据权利要求1至8任一项所述的方法，其特征在于，所述场景图像和所述第一交互对象图像是通过与所述第一终端对应的第一摄像设备拍摄得到的，所述第二交互对象图像是通过与所述第二终端对应的第二摄像设备拍摄得到的。
11.根据权利要求1至8任一项所述的方法，其特征在于，所述将所述合成图像分别传输至所述第一终端和所述第二终端包括：
利用5g通信网络，将所述合成图像分别传输至所述第一终端和所述第二终端。
12.一种远程交互装置，其特征在于，包括：
第一接收单元，用于接收第一终端的场景图像和第一交互对象图像，以及接收第二终端的第二交互对象图像；
合成单元，用于将所述场景图像、所述第一交互对象图像和所述第二交互对象图像进行合成处理，得到合成图像；
第一传输单元，用于将所述合成图像分别传输至所述第一终端和所述第二终端，以使所述第一终端和所述第二终端能够通过增强现实或虚拟现实显示所述合成图像。
13.一种电子设备，其中，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1至11中任一项所述的远程交互方法。
14.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如权利要求1至11中任一项所述的远程交互方法。
技术总结