传输通道管理方法、数据传输方法、管理设备及计算设备与流程

    专利2025-07-31  10


    本技术涉及计算机,尤其涉及传输通道管理方法、数据传输方法、管理设备及计算设备。


    背景技术:

    1、随着科技的快速发展,从大数据到人工智能训练集群,以及面向高性能计算的集群的规模也逐步扩展。当集群中服务器的数量逐步增加时,服务器之间的数据传输的速度影响着集群的整体性能。

    2、相关技术中,集群中的多个服务器之间通常通过服务器上安装的网卡进行数据传输。服务器之间通过网卡和传统的网络进行数据传输时,需要使用网络传输协议并进行协议转换,由于网络传输数据时网络带宽和网络传输速度有限,若传输的数据量较大,将存在数据传输速度慢,网络延迟高的问题。因此,通过网卡进行数据传输将限制集群的整体性能。


    技术实现思路

    1、本技术实施例提供了传输通道管理方法、数据传输方法、管理设备及计算设备,能够灵活管理和配置传输通道,提高集群的整体性能。

    2、为实现上述技术目的,本技术实施例采用如下技术方案:

    3、第一方面,本技术实施例提供了一种传输通道管理方法,应用于管理单元,管理单元与多个计算设备通信连接,多个计算设备包括第一计算设备,管理单元用于管理一个或多个cxl存储设备构成的存储空间,方法包括:接收第一计算设备发送的传输通道建立请求;传输通道建立请求用于请求为第一计算设备与目标计算设备建立传输通道,目标计算设备为多个计算设备中除第一计算设备外的任意计算设备;从cxl存储空间的可用存储空间中确定目标存储空间;cxl存储空间所属的cxl存储设备与第一计算设备和目标计算设备均连接,目标存储空间用作第一计算设备与目标计算设备之间的目标传输通道;分别向第一计算设备和目标计算设备发送第一指示信息;第一指示信息用于指示将目标存储空间作为第一计算设备和目标计算设备之间的目标传输通道。

    4、cxl存储设备具有无限扩容的特点,能够提供较大的存储空间,管理单元在接收到任意计算设备的请求后,从该管理单元所管理的cxl存储空间中分出一部分存储空间作为计算设备的传输通道,计算设备两端即可通过该专属传输通道进行数据传输。由于cxl存储设备与计算设备是通过物理链路连接,因此该方法相比传统的通过网络进行数据传输的方法而言,不需要受限于网络传输速度和带宽,具有传输速度快、带宽高和延迟低的优点。

    5、在一种可能的实现方式中,从cxl存储空间的可用存储空间中确定目标存储空间之前,方法还包括:确定cxl存储空间中与第一计算设备和目标计算设备均连接的目标cxl存储设备;基于目标cxl存储设备确定可用存储空间。

    6、可以理解的是,系统中可能有多个cxl存储设备,需要先确定与第一计算设备和目标计算设备连接的cxl存储设备,再从中确定可用存储空间,以保证目标存储空间能为第一计算设备与目标计算设备传输数据。

    7、在另一种可能的实现方式中,目标计算设备包括一个或多个第二计算设备,这表明一个目标存储空间可以作为第一计算设备与多个第二计算设备之间的传输通道。第一计算设备只需要发送一次目标数据,多个第二计算设备即可从目标存储空间获取目标数据,多个第二计算设备与第一计算设备完成传输数据。

    8、在另一种可能的实现方式中,传输通道建立请求包括需要建立的传输通道的容量信息,从cxl存储空间的可用存储空间中确定目标存储空间,包括:基于需要建立的传输通道的容量,从cxl存储空间的可用存储空间中确定目标存储空间;目标存储空间的存储容量大于或等于需要建立的传输通道的容量。

    9、可以理解的是,传输通道请求中包括需要建立的传输通道的容量信息,能够使得管理单元基于计算设备的需求分配存储空间,既能满足计算设备的需求,也能避免存储空间浪费,进一步的提高后续数据传输速度,降低cxl存储设备的使用成本。

    10、在另一种可能的实现方式中,第一指示信息包括:目标传输通道的标识、第一计算设备的标识、目标计算设备的标识、目标存储空间的地址和目标存储空间的存储容量。

    11、可以理解的是,上述目标传输通道的标识用于表征目标传输通道,第一计算设备的标识和目标计算设备的标识用于表征数据传输两端设备,目标存储空间的地址用于传输数据时将数据写入正确的存储空间,目标存储空间的存储容量用于决定一次传输的数据量。

    12、在另一种可能的实现方式中,管理单元包括数据传输通道表,数据传输通道表用于储存通信关系条目,通信关系条目用于记录cxl存储空间中分配出去作为传输通道的存储空间的信息,通信关系条目包括:传输通道的标识、计算设备的标识、存储空间的地址和存储空间的存储容量;方法还包括:将目标通信关系条目记录在数据传输通道表中,其中,目标通信关系条目包含目标传输通道的标识、第一计算设备的标识、目标计算设备的标识、目标存储空间的地址和目标存储空间的存储容量。

    13、可以理解的是,将包含目标通信关系条目的目标传输通道的信息记录在数据管理通道表中,能够及时记录所分配的目标传输通道,便于管理目标传输通道。另外,数据管理通道表可以记录多个通信关系条目,该管理方法能避免混淆多个传输通道,提高管理效率。

    14、在另一种可能的实现方式中,方法还包括:在接收到第一计算设备或目标计算设备发送的第二指示信息后,回收目标传输通道;第二指示信息用于指示第一计算设备与目标设备之间完成数据传输,归还目标传输通道。

    15、可以理解的是,计算设备之间完成数据传输后,管理单元及时回收分配出去的传输通道,即存储空间,后续可以将该存储空间继续分配给其他有数据传输需求的计算设备,提高存储空间的利用率。及时回收存储空间可以减少cxl存储设备的存储容量配置,降低cxl存储设备的使用成本。

    16、在另一种可能的实现方式中,管理单元包括数据传输通道表,数据传输通道表包括目标通信关系条目,目标通信关系条目包含目标传输通道的标识、第一计算设备的标识、目标计算设备的标识、目标存储空间的地址、和目标存储空间的存储容量;第二指示信息包括目标传输通道的标识,回收目标传输通道,包括:基于目标传输通道的标识,确定数据传输通道表记录的目标通信关系条目中目标存储空间的地址;基于目标存储空间的地址,删除目标存储空间中储存的数据;删除数据传输通道表中记录的目标通信关系条目。

    17、可以理解的是,上述为回收目标存储空间的具体实施过程,该过程操作简单,便于管理单元管理cxl存储设备中的存储空间。

    18、第二方面,本技术实施例提供了一种数据传输方法,方法应用于第一计算设备,第一计算设备为多个计算设备中的任意一个计算设备,多个计算设备与管理单元均与一个或多个cxl存储设备通信连接,管理单元用于管理一个或多个cxl存储设备构成的存储空间,方法包括:在第一计算设备需要与目标计算设备进行数据传输的情况下,向管理单元发送传输通道建立请求;传输通道建立请求用于请求为第一计算设备与目标计算设备建立传输通道,目标计算设备包括一个或多个第二计算设备,第二计算设备为多个计算设备中除第一计算设备外的任意计算设备;接收管理单元发送的第一指示信息;第一指示信息用于指示将目标存储空间作为第一计算设备和目标计算设备之间的目标传输通道;其中,目标存储空间为cxl存储空间中的可用存储空间,目标存储空间所属的cxl存储设备与第一计算设备和目标计算设备均连接;向目标存储空间中写入目标数据,以使得目标计算设备从目标存储空间获取目标数据。

    19、可以理解的是,第一计算设备和目标计算设备基于管理单元分配的目标存储空间进行数据传输。由于目标存储空间是cxl存储设备中的部分存储空间,而cxl存储设备是与第一计算设备和目标计算设备以物理链路连接,因此,第一计算设备和目标计算设备数据传输时不需要再通过网络通道,避免了对网络传输速度的依赖,降低网络带宽使用成本和网卡等硬件使用成本。而目标存储空间具有无限扩展的特点,具有传输速度快、带宽高和延迟低的优点,能够提高多个计算设备所在的集群的业务处理性能。

    20、另外,本技术实施例中,目标计算设备包括一个或多个第二计算设备,这表明一个目标存储空间可以作为第一计算设备与多个第二计算设备之间的传输通道。第一计算设备只需要发送一次目标数据,多个第二计算设备即可从目标存储空间获取目标数据,多个第二计算设备与第一计算设备完成数据传输。而传统方法中,若第一计算设备需要向多个第二计算设备发送数据,要分别向多个计算设备发送数据,因此,本技术实施例提出的方法能够减少数据传输次数,提高数据传输效率。

    21、第三方面,本技术实施例提供了一种数据传输方法,方法应用于目标计算设备,目标计算设备是多个计算设备中任意一个或多个第二计算设备,多个计算设备与管理单元均与一个或多个cxl存储设备通信连接,管理单元用于管理一个或多个cxl存储设备构成的存储空间,方法包括:接收管理单元发送的第一指示信息;第一指示信息用于指示将目标存储空间作为第一计算设备和目标计算设备之间的目标传输通道;第一计算设备为多个计算设备中任意一个计算设备,其中,目标存储空间为cxl存储空间中的可用存储空间,目标存储空间所属的cxl存储设备与第一计算设备和目标计算设备均连接;响应于指示消息,从目标存储空间获取第一计算设备发送的目标数据;指示消息用于指示第一计算设备已向目标存储空间写入目标数据,指示消息由第一计算设备发送,或者,由cxl存储设备中的cxl控制器发送。

    22、可以理解的是,第二计算设备在指示消息的指示下,从目标存储空间获取到了第一计算设备发送的目标数据,该方法不需要依赖网络,能够避免网络时延带来的影响,提高第二计算设备所在的集群的业务处理性能。

    23、第四方面,本技术实施例提供一种管理设备,其中,管理设备应用于第一方面或第一方面中任一种可能的实现方式的传输通道管理方法的各个模块。

    24、第五方面,本技术实施例提供一种计算设备,其中,计算设备应用于第二方面或第二方面中任一种可能的实现方式的数据传输方法的各个模块;或者,计算设备应用于第三方面或第三方面中任一种可能的实现方式的数据传输方法的各个模块。

    25、第六方面,本技术实施例提供一种管理设备,包括处理器,处理器与存储器耦合,存储器用于存储程序或指令,当程序或指令被处理器执行时,使得管理设备执行如第一方面及其任一种可能的实现方式的传输通道管理方法。

    26、第七方面,本技术实施例提供一种计算设备,包括存储器和与存储器连接的至少一个处理器,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当计算机指令被至少一个处理器执行时,使得计算设备执行如第二方面及其任一种可能的实现方式的数据传输方法;或者,使得计算设备执行如第三方面及其任一种可能的实现方式的数据传输方法。

    27、第八方面,本技术实施例提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令。其中,当计算机指令在管理设备上运行时,使得该管理设备执行如第一方面及其任一种可能的实现方式的传输通道管理方法;或者,当计算机指令在计算设备上运行时,使得该计算设备执行如第二方面及其任一种可能的实现方式的数据传输方法;或者,当计算机指令在计算设备上运行时,使得该计算设备执行如第三方面及其任一种可能的实现方式的数据传输方法。

    28、第九方面,本技术实施例提供一种计算机程序产品,该计算机程序产品包括计算机指令。其中,当计算机指令在管理设备上运行时,使得该管理设备执行如第一方面及其任一种可能的实现方式的传输通道管理方法;或者,当计算机指令在计算设备上运行时,使得该计算设备执行如第二方面及其任一种可能的实现方式的数据传输方法;或者,当计算机指令在计算设备上运行时,使得该计算设备执行如第三方面及其任一种可能的实现方式的数据传输方法。

    29、本技术实施例中第四方面到第九方面及其各种实现方式的具体描述,可以参考第一方面、第二方面或第三方面及其各种实现方式中的详细描述;并且,第四方面到第九方面及其各种实现方式的有益效果,可以参考第一方面、第二方面或第三方面及其各种实现方式中的有益效果分析,此处不再赘述。

    30、本技术实施例的这些方面或其他方面在以下的描述中会更加简明易懂。


    技术特征:

    1.一种传输通道管理方法,其特征在于,应用于管理单元,所述管理单元与多个计算设备通信连接,所述多个计算设备包括第一计算设备,所述管理单元用于管理一个或多个cxl存储设备构成的cxl存储空间,所述方法包括:

    2.根据权利要求1所述的方法,其特征在于,所述从所述cxl存储空间的可用存储空间中确定目标存储空间包括:

    3.根据权利要求1或2所述的方法,其特征在于,所述传输通道建立请求包括需要建立的传输通道的容量,所述从cxl存储空间的可用存储空间中确定目标存储空间,包括:

    4.根据权利要求1至3任一项所述的方法,其特征在于,所述管理单元包括数据传输通道表,所述数据传输通道表用于储存通信关系条目,所述通信关系条目用于记录cxl存储空间中分配出去作为传输通道的存储空间的信息,所述通信关系条目包括:传输通道的标识、计算设备的标识、存储空间的地址和存储空间的存储容量,所述方法还包括:

    5.根据权利要求1至4任一项所述的方法,其特征在于,所述方法还包括:

    6.根据权利要求5所述的方法,其特征在于,所述管理单元包括数据传输通道表,所述数据传输通道表包括目标通信关系条目,所述目标通信关系条目包含所述目标传输通道的标识、所述第一计算设备的标识、所述目标计算设备的标识、所述目标存储空间的地址、和所述目标存储空间的存储容量;所述第二指示信息包括所述目标传输通道的标识,所述回收所述目标传输通道,包括:

    7.一种数据传输方法,其特征在于,所述方法应用于第一计算设备,所述第一计算设备为多个计算设备中的任意一个计算设备,所述多个计算设备与管理单元通信连接,所述管理单元用于管理一个或多个cxl存储设备构成的cxl存储空间,所述方法包括:

    8.一种数据传输方法,其特征在于,所述方法应用于目标计算设备,所述目标计算设备是所述多个计算设备中任意计算设备,所述多个计算设备与管理单元通信连接,所述管理单元用于管理一个或多个cxl存储设备构成的cxl存储空间,所述方法包括:

    9.一种管理设备,其特征在于,包括处理器,所述处理器与存储器耦合,所述存储器用于存储程序或指令,当所述程序或指令被所述处理器执行时,使得所述管理设备执行如权利要求1至6中任一项所述的方法。

    10.一种计算设备,其特征在于,包括存储器和与所述存储器连接的至少一个处理器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述计算机指令被所述至少一个处理器执行时,使得所述计算设备执行如权利要求7或8所述的方法。


    技术总结
    本申请公开了传输通道管理方法、数据传输方法、管理设备及计算设备,涉及计算机技术领域,能够灵活管理和配置传输通道,提高集群的整体性能。方法包括:管理单元接收第一计算设备发送的传输通道建立请求;该请求用于请求为第一计算设备与目标计算设备之间建立传输通道,目标计算设备为多个计算设备中除第一计算设备外的任意计算设备;从CXL存储空间的可用存储空间中确定目标存储空间;目标存储空间用作第一计算设备与目标计算设备之间的目标传输通道;分别向第一计算设备和目标计算设备发送第一指示信息;第一指示信息用于指示将目标存储空间作为第一计算设备和目标计算设备之间的目标传输通道。

    技术研发人员:梁永贵,余书宝
    受保护的技术使用者:超聚变数字技术有限公司
    技术研发日:
    技术公布日:2024/4/29
    转载请注明原文地址:https://wp.8miu.com/read-90228.html

    最新回复(0)