设备控制方法及装置、非易失性存储介质与流程

    专利2022-07-07  101


    本申请涉及远程控制技术领域,具体而言,涉及一种设备控制方法及装置、非易失性存储介质。



    背景技术:

    为了实现图像远程传输,目前的解决方案为:在源端设备(远程计算设备)中安装软s或者与硬s相连接,同时,接收端设备中安装软r或者与硬r相连接;s端(软s或者硬s)用于采集源端设备的桌面图像,对图像进行压缩编码后,将得到的码流通过网络实时发送给接收端设备上的r端(软r或者硬r);r端接收到s端发送的码流后,进行解码,并发送至显示器进行显示。另外,r端还需要获取用户的键盘、鼠标等外设的输入信息,并发送给源端设备。如果接收端中安装r端软件来进行图像的解码,则当接收端采用不同的操作系统(windows、linux、mac、android)等时,为了匹配不同的操作系统,必须开发不同的r端软件版本,这会增加开发人员的工作量;同时,对于用户来说,在不同操作系统上进行图像接收时,也需要安装相匹配的版本的r端软件,这对于用户来说也比较繁琐,使用起来并不方便。

    针对上述的问题,目前尚未提出有效的解决方案。



    技术实现要素:

    本申请实施例提供了一种设备控制方法及装置、非易失性存储介质,以至少解决图像接收过程中,由于需要针对用户操作系统开发不同版本的接收端软件进行解码,耗费大量人力开发成本,同时,为了实现正确解码,用户也需要安装于操作系统匹配的接收端软件,导致用户使用不便的的技术问题。

    根据本申请实施例的一个方面,提供了一种设备控制方法,包括:浏览器设备通过浏览器展示来自源端设备的图像数据,其中,所述图像数据为通过所述源端设备转发的来自图像源设备的图像数据;所述浏览器设备检测目标对象在所述浏览器的展示界面中对所述图像数据的操作事件;在检测到所述操作事件时,将所述操作事件通过服务器转发至与所述源端设备连接的图像源设备,其中,所述图像源设备用于执行与所述操作事件对应的操作,且所述图像源设备是为所述浏览器提供图像数据的设备。

    可选地,浏览器设备通过浏览器展示来自源端设备的图像数据,包括:所述浏览器设备向所述服务器发送图像传输请求,其中,该图像传输请求用于请求在所述浏览器中展示的图像数据;所述浏览器设备接收所述服务器响应于所述图像传输请求反馈的图像源设备列表,并在所述浏览器的展示界面中展示所述图像源设备列表;所述浏览器设备在所述浏览器的展示界面中检测目标对象的选择指令,并响应于所述选择指令从所述图像源设备列表中选择出目标图像源设备;所述浏览器设备向所述目标图像源设备发送所述图像传输请求,接收来自所述目标图像源设备的图像数据,其中,所述目标图像源设备通过源端设备和所述服务器将所述图像数据转发至所述浏览器设备。

    可选地,所述浏览器设备检测目标对象在所述浏览器的展示界面中对所述图像数据的操作事件,包括:确定所述操作事件在所述浏览器的展示界面中的操作位置;确定所述展示界面中所展示的图像数据与所述操作位置之间的相对位置;至少基于所述相对位置以及所述操作事件对应的动作生成所述操作事件。

    可选地,将所述操作事件通过服务器转发至与所述源端设备连接的图像源设备,包括:将所述操作事件通过所述服务器、源端设备和图像源设备之间的专用通道发送至所述图像源设备,其中,所述专用通道与传输所述图像数据所采用的通道为不同的通道。

    可选地,浏览器设备通过浏览器展示来自源端设备的图像数据之前,所述方法还包括:所述浏览器设备接收所述源端设备通过所述服务器转发的所述图像数据,其中,所述服务器用于将所述来自源端设备的图像数据由所述源端设备支持的第一数据格式的编码数据转换为所述浏览器设备支持的第二数据格式的编码数据。

    根据本申请实施例的另一方面,还提供了另一种设备控制方法,包括:所述服务器接收来自浏览器设备检测的操作事件,其中,该操作事件为目标对象对浏览器展示的来自源端设备的图像数据进行操作产生的操作事件;所述服务器将所述操作事件通过所述源端设备转发至图像源设备,其中,所述图像源设备用于执行与所述操作事件对应的操作,且所述图像源设备是为所述浏览器提供图像数据的设备。

    可选地,所述服务器接收来自浏览器设备检测的操作事件之前,还包括:所述服务器接收所述浏览器设备发送的图像传输请求,其中,该图像传输请求用于请求在所述浏览器中展示的图像数据;所述服务器响应于所述图像传输请求,向所述浏览器设备反馈图像源设备列表;所述服务器将所述图像传输请求通过所述源端设备转发至所述目标图像源设备,其中,所述目标图像源设备为所述浏览器设备响应于在所述浏览器的展示界面中检测的选择指令,从所述图像源设备列表中选择的图像源设备;所述服务器接收来自目标图像源设备的图像数据,经格式转换后发送至浏览器设备。

    可选地,向所述浏览器设备反馈图像源设备列表之前,所述方法还包括:所述服务器确定所述浏览器设备的权限信息,以及与该权限信息对应的图像源设备;所述服务器基于与所述权限信息对应的图像源设备生成所述图像源设备列表。

    根据本申请实施例的另一方面,还提供了一种设备控制装置,应用于浏览器设备中,包括:展示模块,用于通过浏览器展示来自源端设备的图像数据,其中,所述图像数据为通过所述源端设备转发的来自图像源设备的图像数据;检测模块,用于检测目标对象对所述图像数据的操作事件;以及发送模块,用于在检测到所述操作事件时,将所述操作事件通过服务器转发至与所述源端设备连接的图像源设备,其中,所述图像源设备用于执行与所述操作事件对应的操作,且所述图像源设备为用于为所述浏览器提供图像数据的设备。根据本申请实施例的另一方面,还提供了一种非易失性存储介质,所述非易失性存储介质包括存储的程序,其中,在所述程序运行时控制所述非易失性存储介质所在设备执行上述的设备控制方法。

    根据本申请实施例的另一方面,还提供了一种非易失性存储介质,所述非易失性存储介质包括存储的程序,其中,在所述程序运行时控制所述非易失性存储介质所在设备执行上述的设备控制方法。

    根据本申请实施例的另一方面,还提供了一种处理器,所述处理器用于运行存储在存储器中的程序指令,所述程序指令运行时,执行以上所述的设备控制方法。

    在本申请实施例中,采用浏览器设备通过浏览器展示来自源端设备的图像数据,其中,图像数据为通过源端设备转发的来自图像源设备的图像数据;浏览器设备检测目标对象在浏览器的展示界面中对图像数据的操作事件;在检测到操作事件时,将操作事件通过服务器转发至与源端设备连接的图像源设备,其中,图像源设备用于执行与操作事件对应的操作,且图像源设备为用于为浏览器提供图像数据的设备。由于本方法是利用浏览器设备作为图像接收端,浏览器设备获取用户操作信息并通过服务器转发给源端设备,再由图像源设备根据操作信息完成相应操作,其中,图像解码过程由服务器完成,不再需要相关技术中的r端软件,从而解决了图像接收过程中,由于需要针对用户操作系统开发不同版本的接收端软件进行解码,耗费大量人力开发成本,同时,为了实现正确解码,用户也需要安装于操作系统匹配的接收端软件,导致用户使用不便的技术问题。

    附图说明

    此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:

    图1是根据本申请实施例的一种远程图像传输系统的结构示意图;

    图2是根据本申请实施例的一种设备控制方法的流程示意图;

    图3是根据本申请实施例的另一种设备控制方法的流程示意图;

    图4是根据本申请实施例的另一种设备控制方法的流程示意图;

    图5是根据本申请实施例的一种设备控制装置的结构示意图。

    具体实施方式

    为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。

    需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

    实施例1

    根据本申请实施例,提供了一种设备控制方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。

    图1是根据本申请实施例的一种远程图像传输系统的结构示意图,如图1所示,该系统至少包括:图像源设备18、源端设备16、服务器14、浏览器设备12以及运行在浏览器设备上的浏览器120,其中:

    浏览器120:用于在显示界面中展示来自图像源设备的图像数据;目标对象在浏览器显示界面对图像数据进行操作。

    浏览器设备12:用于检测目标对象在浏览器显示界面对图像数据的操作事件,将操作事件通过服务器转发至与源端设备连接的图像源设备。

    服务器14:用于接收并存储来自源端设备的图像源设备信息;接收浏览器设备的图像传输请求并检测其权限,反馈图像源设备列表;将图像传输请求通过源端设备转发至图像源设备;接收图像数据进行转码再发送至浏览器设备;接收并转发来自浏览器设备检测的操作事件。

    源端设备16:用于采集图像源设备的图像数据,并将图像数据编码后发送给服务器,其中,源端设备可以是软s或者硬s。

    图像源设备18:用于为所述浏览器提供图像数据,以及响应用户在浏览器显示界面上的操作,其中,图像源设备可以是pc、虚拟机、摄像头等。

    在相关技术中,源端设备到服务器之间传输的是vgtp(vanxumgraphicstransferprotocol,图形传输协议)编码数据,而vgtp编码属于私有协议,如果浏览器要对vgtp编码数据直接解码,只能通过私有的vgtp解码器,如此一来,不同版本的浏览器就需要安装不同版本的接收端软件。

    因此,在本申请实施例中,可以在服务器安装vgtp解码器,先对源端设备发送的vgtp编码数据进行解码,然后再使用浏览器设备可解码的编码方式对解码后的数据进行二次编码(例如jpg,png等),最后将二次编码得到的编码数据发送给浏览器设备,此时浏览器设备就可以使用内置的解码器进行解码并在浏览器显示界面展示图像数据。

    需要说明的是,由于源端设备和浏览器没有位于能够互相访问的网络中,因此,服务器用于作为源端设备和浏览器之间的桥梁,实现源端设备和浏览器之间的连通。具体实施中,一个源端设备经由服务器能够与一个或多个浏览器进行连通。

    在上述的运行环境中,本申请实施例提供了一种设备控制方法,如图2所示,该方法至少包括步骤s202-s206:

    步骤s202,浏览器设备通过浏览器展示来自源端设备的图像数据。

    其中,该图像数据为通过源端设备转发的来自图像源设备的图像数据。

    在本申请的一些实施例中,浏览器设备通过浏览器展示来自源端设备的图像数据,包括以下部分:

    浏览器设备向服务器发送图像传输请求,其中,该图像传输请求用于请求在浏览器中展示的图像数据,该连接使用http(s)/websocket都可以;

    浏览器设备接收服务器响应于图像传输请求反馈的图像源设备列表,并在浏览器的展示界面中展示图像源设备列表;

    上述连接使用http(s)/websocket都可以;

    浏览器设备在浏览器的展示界面中检测目标对象的选择指令,并响应于选择指令从图像源设备列表中选择出目标图像源设备,例如,目标对象可以从选择目标图像源设备中选择pc、照相机等,为了保证实时性,此时连接使用websocket连接;

    浏览器设备向目标图像源设备发送图像传输请求,接收来自目标图像源设备的图像数据,其中,目标图像源设备通过源端设备和服务器将图像数据转发至浏览器设备。

    在本申请的一些实施例中,浏览器设备通过浏览器展示来自源端设备的图像数据之前,还包括:浏览器设备接收源端设备通过服务器转发的图像数据,其中,服务器用于将来自源端设备的图像数据由源端设备支持的第一数据格式的编码数据转换为浏览器设备支持的第二数据格式的编码数据。

    例如,源端设备向服务器传输的图像数据为gtp编码数据,若浏览器无法直接对其进行解码显示,此时,可以在服务器安装gtp解码器,先对源端设备发送的gtp编码数据进行解码,然后再使用浏览器设备可解码的编码方式对解码后的数据进行二次编码(例如jpg,png等),然后将二次编码得到的编码数据发送给浏览器设备,此时浏览器设备就可以使用内置的解码器进行解码并在浏览器显示界面展示图像数据。

    步骤s204,浏览器设备检测目标对象在浏览器的展示界面中对图像数据的操作事件。

    在本申请的一些实施例中,浏览器设备检测目标对象在浏览器的展示界面中对图像数据的操作事件,包括:确定操作事件在浏览器的展示界面中的操作位置;确定展示界面中所展示的图像数据与操作位置之间的相对位置;至少基于相对位置以及操作事件对应的动作生成操作事件。

    具体的,由于通过浏览器显示的图像窗口并不是全屏显示的,此时,浏览器直接获得的用户键鼠操作的坐标位置是当前显示屏上的坐标,并不是在浏览器的图像显示窗口中的相对坐标,但是对于源端设备来说,如果要对窗口中的图像进行正确的键鼠操作,其需要的其实是键鼠操作在图像窗口内的相对坐标,因此浏览器直接获得键鼠操作的坐标位置信息后,需要对获取的坐标位置信息进行转换,从而得到在图像窗口中的相对坐标位置信息。具体的转换方案如下:

    一般浏览器中的图像显示为和源端一样大,程序捕捉鼠标位置为鼠标在浏览器可视区域的坐标(x1,y1),再获取图像左上角在可视区域的坐标(x2,y2),那么鼠标相对与图像的坐标即为:

    x坐标:x1-x2;y坐标:y1-y2。

    如果浏览器显示图像进行了缩放,源端图像为宽高分别为width、height,浏览器显示宽高为width1、height1,那么坐标计算公式变为:

    x坐标:(x1-x2)(width/width1);y坐标:(y1-y2)(height/height1)。

    步骤s206,检测到操作事件时,将操作事件通过服务器转发至与源端设备连接的图像源设备。

    其中,上述图像源设备用于执行与操作事件对应的操作,且该图像源设备是为浏览器提供图像数据的设备。

    在本申请的一些实施例中,将操作事件通过服务器转发至与源端设备连接的图像源设备,包括:将操作事件通过服务器、源端设备和图像源设备之间的专用通道发送至图像源设备,其中,专用通道与传输图像数据所采用的通道为不同的通道。

    例如,传输图像数据可以通过常用的http协议进行传输,而传输操作事件信息可以采用telent协议进行传输,二者互不干扰。

    根据上述的设备控制方法,本申请实施例还提供了一种远程图像传输中的反向控制方法,该方法至少包括步骤s302-s316:

    步骤s302,服务器接收来自源端设备的图像源设备列表并储存。

    在本申请的一些实施例中,源端设备将获取的图像源设备信息发送给服务器,服务器对接收到的源端设备的信息进行记录;具体的,服务器将接收到的源端设备获取的图像源设备信息记录在本地的图像源设备列表中。

    步骤s304,浏览器向服务器发送图像传输请求。

    步骤s306,服务器向浏览器发送图像源设备列表。

    在本申请的一些实施例中,浏览器向服务器发送图像传输请求后,服务器先根据当前浏览器的权限来在本地选择出当前浏览器可用的图像源设备信息,并基于选择出的图像源设备信息生成图像源设备列表,并将生成的图像源设备列表发送给浏览器设备,然后在浏览器的显示界面显示该图像源设备列表。具体实施中,该连接使用http(s)/websocket都可以实现。

    步骤s308,浏览器向服务器发送目标图像源设备。

    在本申请的一些实施例中,用户在浏览器显示界面的图像源设备列表中选择需要的目标图像源设备,例如用户可以选择pc或照相机等,之后服务器向源端设备发送针对目标图像源设备的图像传输请求。为了保证实时性,此时最好使用websocket连接。

    步骤s310,服务器与对应图像源设备建立连接通道。

    在本申请的一些实施例中,服务器接收到目标图像源设备请求后,和目标图像源设备对应的源端设备建立连接;同时,服务器根据用户设置或者系统默认设置,与当前浏览器建立相应数量的图传连接通道。

    在本申请的一些实施例中,图像传输过程中涉及到图像、音频和反向控制信息的传输,对应每一种信息均需要建立单独的传输通道,但是,并非每种场景下都会用到这三个通道,某些场景下可能只需要其中的一种或者两种通道。因此,可以在服务器的默认设置中预先设置打开的通道数量和类型,比如只打开图像和音频通道,或者三个通道全部打开。在用户使用过程中,也可以根据自身需要设置打开的通道数量和类型,其中,用户设置的优先级高于系统设置的优先级。此时,当浏览器发起与服务器的连接请求时,如果当前用户进行了设置,则根据用户设置打开相应数量和类型的通道,如果用户没有进行设置,则按照系统默认设置来进行处理。

    步骤s312,源端设备将目标图像源的图像数据经服务器转码发送至浏览器。

    在本申请的一些实施例中,源端设备从图像源设备采集图像数据进行vgtp编码,并将该编码数据发送给服务器,服务器对接收到的编码数据进行解码,并将解码后的数据通过当前浏览器可解码的方式(如jpg,png等)进行二次编码,将二次编码得到的编码数据发送给浏览器设备,并在浏览器的显示界面中进行显示。

    步骤s314,浏览器设备检测用户在浏览器显示界面的操作信息。

    在本申请的一些实施例中,浏览器设备检测用户在浏览器显示界面中对图像数据的反向控制信息,该反向控制信息可以是键鼠操作信息。其中,鼠标操作信息包括有:事件类型信息如左键按下,左键抬起,右键按下,右键抬起,滚轮向上,滚轮向下等,数据信息如坐标,滚轮转动方向等;键盘操作信息包括有:事件类型信息如按下,抬起等,数据信息如按键编码等。

    需要说明的是,由于浏览器权限或操作系统权限的原因,获取一些组合按键可能会有问题,可以在浏览器中提供模拟组合键,例如在浏览器界面中展示虚拟键盘,响应于目标对象的选择指令,确定所述虚拟键盘的组合键;或者,在浏览器界面中展示与组合键对应的控件,在该控件被触发时,在确定组合键被选中并被激发,从而基于被激发的组合键触发相应的功能,上述组合键包括但不相应以下组合:ctrl alt delete,ctrl v等。

    步骤s316,浏览器将操作信息经服务器和源端设备发送至图像源设备,图像源设备响应操作信息。

    在本申请的一些实施例中,源端设备接收到反向控制信息并发送给图像源设备,由图像源设备将键鼠操作注入本地操作系统,通过操作系统还原所述的键鼠操作,即可实现通过浏览器对图像源设备进行的反向控制。

    在本申请的一些实施例中,源端设备设备可以将键鼠操作事件通过usb传输给图像源设备。

    在本申请实施例中,采用浏览器设备通过浏览器展示来自源端设备的图像数据;由浏览器设备检测目标对象在浏览器的展示界面中对图像数据的操作事件;在检测到操作事件时,将操作事件通过服务器转发至与源端设备连接的图像源设备;图像源设备执行与操作事件对应的操作。与相关技术相比,本实施例中直接利用浏览器设备作为图像接收端,vgtp图像数据的解码过程在服务器中完成,无需再安装专门软件进行解码,用户使用更为方便;同时,本设备控制方法可以实现在浏览器中远程操作图像源设备中的图像,极大提升了用户使用体验。

    实施例2

    根据本申请实施例,提供了另一种设备控制方法,如图4所示,该方法至少包括步骤s402-s404:

    步骤s402,服务器接收来自浏览器设备检测的操作事件。

    其中,该操作事件为目标对象对浏览器展示的来自源端设备的图像数据进行操作产生的操作事件。

    在本申请的一些实施例中,服务器接收来自浏览器设备检测的操作事件之前,还包括:

    服务器接收浏览器设备发送的图像传输请求,其中,该图像传输请求用于请求在浏览器中展示的图像数据;

    服务器响应于图像传输请求,向浏览器设备反馈图像源设备列表;

    服务器将图像传输请求通过源端设备转发至目标图像源设备,其中,目标图像源设备为浏览器设备响应于在浏览器的展示界面中检测的选择指令,从图像源设备列表中选择的图像源设备;

    服务器接收来自目标图像源设备的图像数据,经格式转换后发送至浏览器设备。

    在本申请的一些实施例中,向浏览器设备反馈图像源设备列表之前,方法还包括:服务器确定浏览器设备的权限信息,以及与该权限信息对应的图像源设备;服务器基于与权限信息对应的图像源设备生成图像源设备列表。

    步骤s404,服务器将操作事件通过源端设备转发至图像源设备。

    其中,上述图像源设备用于执行与操作事件对应的操作,且该图像源设备是为浏览器提供图像数据的设备。

    需要说明的是,本实施例也是在实施例1中的远程图像传输系统的环境下实现的,在此基础上,与实施例1的区别在于,实施例1中的设备控制方法的主体是浏览器设备,而本实施例中的设备控制方法的主体是服务器,其他的具体实施过程基本相同,由于已在实施例1中进行了说明,在此不再过多赘述。

    实施例3

    根据本申请实施例,还提供了一种设备控制装置,该装置用于实现图3的设备控制方法,如图5所示,该装置至少包括展示模块50、检测模块52及发送模块54,其中:

    展示模块50,用于通过浏览器展示来自源端设备的图像数据,其中,图像数据为通过源端设备转发的来自图像源设备的图像数据;

    检测模块52,用于检测目标对象对图像数据的操作事件;以及

    发送模块54,用于在检测到操作事件时,将操作事件通过服务器转发至与源端设备连接的图像源设备,其中,图像源设备用于执行与操作事件对应的操作,且图像源设备为用于为浏览器提供图像数据的设备。

    实施例4

    根据本申请实施例,还提供了一种非易失性存储介质,该非易失性存储介质包括存储的程序,其中,在所述程序运行时控制所述非易失性存储介质所在设备执行上述的设备控制方法。

    可选地,在所述程序运行时控制非易失性存储介质所在设备执行实现以下步骤:浏览器设备通过浏览器展示来自源端设备的图像数据,其中,图像数据为通过源端设备转发的来自图像源设备的图像数据;浏览器设备检测目标对象在浏览器的展示界面中对图像数据的操作事件;在检测到操作事件时,将操作事件通过服务器转发至与源端设备连接的图像源设备,其中,图像源设备用于执行与操作事件对应的操作,且图像源设备是为浏览器提供图像数据的设备。

    可选地,在所述程序运行时控制非易失性存储介质所在设备执行实现以下步骤:服务器接收来自浏览器设备检测的操作事件,其中,该操作事件为对浏览器展示的来自源端设备的图像数据进行操作产生的操作事件;服务器将操作事件通过源端设备转发至图像源设备,其中,图像源设备用于执行与操作事件对应的操作,且图像源设备是为浏览器提供图像数据的设备。

    上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。

    在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

    在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。

    所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

    另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

    所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

    以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。


    技术特征:

    1.一种设备控制方法,其特征在于,包括:

    浏览器设备通过浏览器展示来自源端设备的图像数据,其中,所述图像数据为通过所述源端设备转发的来自图像源设备的图像数据;

    所述浏览器设备检测目标对象在所述浏览器的展示界面中对所述图像数据的操作事件;

    在检测到所述操作事件时,将所述操作事件通过服务器转发至与所述源端设备连接的图像源设备,其中,所述图像源设备用于执行与所述操作事件对应的操作,且所述图像源设备是为所述浏览器提供图像数据的设备。

    2.根据权利要求1所述的方法,其特征在于,浏览器设备通过浏览器展示来自源端设备的图像数据,包括:

    所述浏览器设备向所述服务器发送图像传输请求,其中,该图像传输请求用于请求在所述浏览器中展示的图像数据;

    所述浏览器设备接收所述服务器响应于所述图像传输请求反馈的图像源设备列表,并在所述浏览器的展示界面中展示所述图像源设备列表;

    所述浏览器设备在所述浏览器的展示界面中检测目标对象的选择指令,并响应于所述选择指令从所述图像源设备列表中选择出目标图像源设备;

    所述浏览器设备向所述目标图像源设备发送所述图像传输请求,接收来自所述目标图像源设备的图像数据,其中,所述目标图像源设备通过源端设备和所述服务器将所述图像数据转发至所述浏览器设备。

    3.根据权利要求1所述的方法,其特征在于,所述浏览器设备检测目标对象在所述浏览器的展示界面中对所述图像数据的操作事件,包括:

    确定所述操作事件在所述浏览器的展示界面中的操作位置;

    确定所述展示界面中所展示的图像数据与所述操作位置之间的相对位置;

    至少基于所述相对位置以及所述操作事件对应的动作生成所述操作事件。

    4.根据权利要求1所述的方法,其特征在于,将所述操作事件通过服务器转发至与所述源端设备连接的图像源设备,包括:

    将所述操作事件通过所述服务器、源端设备和图像源设备之间的专用通道发送至所述图像源设备,其中,所述专用通道与传输所述图像数据所采用的通道为不同的通道。

    5.根据权利要求1所述的方法,其特征在于,浏览器设备通过浏览器展示来自源端设备的图像数据之前,所述方法还包括:

    所述浏览器设备接收所述源端设备通过所述服务器转发的所述图像数据,其中,所述服务器用于将所述来自源端设备的图像数据由所述源端设备支持的第一数据格式的编码数据转换为所述浏览器设备支持的第二数据格式的编码数据。

    6.一种设备控制方法,其特征在于,包括:

    服务器接收来自浏览器设备检测的操作事件,其中,该操作事件为目标对象对浏览器展示的来自源端设备的图像数据进行操作产生的操作事件;

    所述服务器将所述操作事件通过所述源端设备转发至图像源设备,其中,所述图像源设备用于执行与所述操作事件对应的操作,且所述图像源设备是为所述浏览器提供图像数据的设备。

    7.根据权利要求6所述的方法,其特征在于,所述服务器接收来自浏览器设备检测的操作事件之前,还包括:

    所述服务器接收所述浏览器设备发送的图像传输请求,其中,该图像传输请求用于请求在所述浏览器中展示的图像数据;

    所述服务器响应于所述图像传输请求,向所述浏览器设备反馈图像源设备列表;

    所述服务器将所述图像传输请求通过所述源端设备转发至目标图像源设备,其中,所述目标图像源设备为所述浏览器设备响应于在所述浏览器的展示界面中检测的选择指令,从所述图像源设备列表中选择的图像源设备;

    所述服务器接收来自目标图像源设备的图像数据,经格式转换后发送至浏览器设备。

    8.根据权利要求7所述的方法,其特征在于,向所述浏览器设备反馈图像源设备列表之前,所述方法还包括:

    所述服务器确定所述浏览器设备的权限信息,以及与该权限信息对应的图像源设备;

    所述服务器基于与所述权限信息对应的图像源设备生成所述图像源设备列表。

    9.一种设备控制装置,应用于浏览器设备中,其特征在于,包括:

    展示模块,用于通过浏览器展示来自源端设备的图像数据,其中,所述图像数据为通过所述源端设备转发的来自图像源设备的图像数据;

    检测模块,用于检测目标对象对所述图像数据的操作事件;以及

    发送模块,用于在检测到所述操作事件时,将所述操作事件通过服务器转发至与所述源端设备连接的图像源设备,其中,所述图像源设备用于执行与所述操作事件对应的操作,且所述图像源设备为用于为所述浏览器提供图像数据的设备。

    10.一种非易失性存储介质,其特征在于,所述非易失性存储介质包括存储的程序,其中,在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至8中任意一项所述的设备控制方法。

    技术总结
    本申请公开了一种设备控制方法及装置、非易失性存储介质。其中,该方法包括:浏览器设备通过浏览器展示来自源端设备的图像数据;浏览器设备检测目标对象在浏览器的展示界面中对图像数据的操作事件;在检测到操作事件时,将该操作事件通过服务器转发至与源端设备连接的图像源设备,图像源设备用于执行与操作事件对应的操作,且图像源设备为用于为浏览器提供图像数据的设备。本申请解决了图像接收过程中,由于需要针对用户操作系统开发不同版本的接收端软件进行解码,耗费大量人力开发成本,同时,为了实现正确解码,用户也需要安装于操作系统匹配的接收端软件,导致用户使用不便的的技术问题。

    技术研发人员:苏宁博
    受保护的技术使用者:西安万像电子科技有限公司
    技术研发日:2020.11.10
    技术公布日:2021.03.12

    转载请注明原文地址:https://wp.8miu.com/read-7559.html

    最新回复(0)