本申请涉及游戏开发
技术领域：
，特别是涉及数据传输方法、系统、电子设备和存储介质。
背景技术：
：游戏开发过程中，往往会对数据进行进程间传输，例如客户端需要把请求上传到服务器，服务器接收请求后作出相应的逻辑响应，然后将需要显示的数据发送到客户端；同样，服务器与服务器之间也有通讯，需要发送端服务器向接收端服务器传输数据。但是在数据传输的过程中，进程本身的稳定性是很难保证的。在可能有消息传输过程中，进程却已经宕机了，这样就会导致数据丢失，当进程重新被拉起的时候，中间某一段数据的丢失就有可能导致数据异常。目前针对相关技术中如何提高数据传输的可靠性，尚未提出有效的解决方案。技术实现要素：本申请实施例提供了一种数据传输方法、系统、电子设备和存储介质，以至少解决相关技术中如何提高数据传输的可靠性的问题。第一方面，本申请实施例提供了一种数据传输方法，应用于发送端服务器，所述方法包括：根据本地存储的数据，生成发送流，其中，每条所述发送流具有索引，多个所述发送流形成队列；向接收端服务器传输所述发送流，其中，所述接收端服务器对接收到的发送流进行数据处理，并记录所述索引；当发送流的数据处理完毕，将与该发送流对应的索引回传给所述发送端服务器；从所述发送流的队列中清理与回传的索引对应的发送流的数据。在其中一些实施例中，所述发送端服务器为游戏服务器，所述接收端服务器为数据管理服务器。在其中一些实施例中，所述的根据本地存储的数据，生成发送流包括：将本地存储的数据进行组装，得到组装数据；通过发送流生成器对所述组装数据进行压缩，得到压缩数据，并根据所述压缩数据生成发送流。在其中一些实施例中，所述的将本地存储的数据进行组装包括：根据发送流组装定时器中配置的时间，将本地存储的数据进行组装，且组装的频率与所述发送端服务器的压力呈负反馈。在其中一些实施例中，所述的向接收端服务器传输所述发送流包括：根据发送流传输定时器中配置的时间，向接收端服务器传输所述发送流，并且传输次数与所述发送端服务器的传输压力呈负反馈。在其中一些实施例中，所述的向接收端服务器传输所述发送流包括：将预设时间内生成的所有的所述发送流的数据合并一起发送。第二方面，本申请实施例提供了一种数据传输方法，应用于接收端服务器，所述方法包括：接收发送端服务器传输的发送流，其中，所述发送端服务器根据本地存储的数据，生成所述发送流，且每条所述发送流具有索引，多个所述发送流形成队列；对接收到的发送流进行数据处理，并记录所述索引；当发送流的数据处理完毕，将与该发送流对应的索引回传给所述发送端服务器，其中，所述发送端服务器从所述发送流的队列中清理与回传的索引对应的发送流的数据。第三方面，本申请实施例提供了一种数据传输系统，包括发送端服务器和接收端服务器，其中，所述发送端服务器根据本地存储的数据，生成发送流，其中，每条所述发送流具有索引，多个所述发送流形成队列；向所述接收端服务器传输所述发送流；所述接收端服务器对接收到的发送流进行数据处理，并记录所述索引；当发送流的数据处理完毕，将与该发送流对应的索引回传给所述发送端服务器；所述发送端服务器从所述发送流的队列中清理与回传的索引对应的发送流的数据。第四方面，本申请实施例提供了一种电子设备，包括处理器和存储有计算机程序的存储介质，所述计算机程序被所述处理器执行时实现如上述任一项所述的数据传输方法。第五方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的数据传输方法。根据上述内容，本申请实施例的数据传输方法包括：发送端服务器根据本地存储的数据，生成发送流，其中，每条发送流具有索引，多个发送流形成队列；向接收端服务器传输发送流；接收端服务器对接收到的发送流进行数据处理，并记录索引；当发送流的数据处理完毕，将与该发送流对应的索引回传给发送端服务器；发送端服务器从发送流的队列中清理与回传的索引对应的发送流的数据。在数据传输的过程中，由于发送端服务器在接收到接收端服务器回传的索引以确认该索引对应的发送流数据被接收并被处理完毕之后，才会从发送流队列中清理该索引对应的发送流数据，能够避免发送流数据在传输的过程中丢失而导致的数据异常，提高了数据传输的可靠性。另外，发送流组装定时器支持配置化，可根据发送端服务器的压力大小来动态调整；发送流生成器对组装数据进行压缩，并根据压缩后的数据生成发送流，能够减少传输成本；发送流传输定时器时间可根据发送端服务器的压力大小来动态调整；将预设时间内生成的发送流数据合并一起发送，可以减少网络io(input/output)带来的开销。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是根据本申请实施例的数据传输系统的结构示意图；图2是根据本申请实施例的数据传输方法的流程图；图3是根据本申请实施例的电子设备的结构框图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属
技术领域：
内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。如上文所述，服务器与服务器之间会有通讯，例如，游戏服务器会把需要存储的数据传输到数据管理服务器，登录服务器和游戏服务器之间也会有通讯来确保登陆的合法性。由此，针对目前数据传输过程中，因进程宕机等原因导致传输数据易丢失的问题，本申请实施例提供了一种可靠的数据传输方法和系统，该系统包括发送端服务器和接收端服务器。例如，图1是根据本申请实施例的数据传输系统的结构示意图，如图1所示，作为发送端服务器的游戏服务器会把需要存储的数据传输到作为接收端服务器的数据管理服务器。需要说明的是，本申请实施例的发送端服务器和接收端服务器不限定于图1中所示的服务器，而且服务器的个数不做限定。以下，对发送端服务器和接收端服务器执行的步骤进行说明。图2是根据本申请实施例的数据传输方法的流程图，如图2所示，包括以下步骤：s100：发送端服务器根据本地存储的数据，生成发送流，其中，每条发送流具有索引，多个发送流形成队列；s200：向接收端服务器传输发送流；s300：接收端服务器对接收到的发送流进行数据处理，并记录索引；s400：当发送流的数据处理完毕，将与该发送流对应的索引回传给发送端服务器；s500：发送端服务器从发送流的队列中清理与回传的索引对应的发送流的数据。基于上述内容，在传输发送流的过程中，由于发送端服务器在接收到接收端服务器回传的索引以确认该索引对应的发送流数据被接收并被处理完毕之后，才会从发送流队列中清理该索引对应的发送流数据，能够避免发送流数据在传输的过程中丢失而导致的数据异常，提高了数据传输的可靠性。作为一个示例，游戏服务器在进行逻辑运算的时候，会把需要发送给数据管理服务器进行存储的数据组装起来，成为一个脏数据集合。可选的，实现一个发送流组装定时器，每过x秒进行数据组装，这里的x实现配置化，可以动态更改和调整。其中，组装的频率与游戏服务器的压力呈负反馈。具体的，当游戏服务器的压力大时，组装的频率就低，能够降低因组装操作给游戏服务器带来的压力，降低了进程宕机的概率，从而进一步提高了数据传输的可靠性；而当游戏服务器的压力小时，组装的频率就高，提高了cpu的利用率。特别是，在游戏服务环境中，游戏服务器的压力随着玩家登陆的数量会出现高峰或低谷的情况，而采用上述方法能够灵活应对这两种情况，既能保证数据的传输工作，又能降低进程宕机风险，极大的提高了数据传输的可靠性。接着，可以通过发送流生成器对组装后的数据进行压缩，得到压缩数据，并根据压缩后的数据生成发送流，其中，每条发送流具有索引，多个发送流形成队列。具体的，可采用基于位和字节的压缩，每个数据都有固定的类型，采用表1所示的规则记录一个数据；表1：记录数据的规则头数据2字节根据类型定长度。其中，头标记高位为1：低15位存数据表索引，数据字段为表id的主键的值；头标记高位为0：低15位存列下标，数据为对应类型的数据；数据类型：根据不同的类型确定不同的数据长度(如表2所示)；表2：不同数据类型对应的字节数类型字节数byte1word2num4num648string不定。可选的，将预设时间内生成的所有的发送流数据合并一起发送，减小网络io切换开销。作为一个示例，实现一个发送流传输定时器，每过y秒进行数据传输，传输时将发送流队列中的所有数据一次性发送过去。其中，发送流传输定时器时间可以动态调整。优选的，传输次数与游戏服务器的传输压力呈负反馈，即，当游戏服务器传输压力大的时候减少传输次数，防止游戏服务器的传输压力过大，降低进程宕机的概率，从而进一步提高数据传输的可靠性；而当游戏服务器传输压力小的时候增加传输次数，提高cpu的利用率。特别是，在游戏服务环境中，游戏服务器的压力随着玩家登陆的数量会出现高峰或低谷的情况，而采用上述方法则能够灵活应对这两种情况，既能保证数据的传输工作，又能降低进程宕机风险，极大的提高了数据传输的可靠性。可选的，上述每条发送流的结构如表3所示：表3：每条发送流的结构发送流索引协议类型头1数据1头2数据2头3数据3--------。发送流索引(本申请中可简称为“索引”)：登陆的时候置1，每产生一次发送流进行一次自增操作；协议类型：根据不同需求，可以定制不同的协议类型；数据：上文提到的基于位和字节的压缩后的数据；基于以上内容，数据管理服务器在接收到发送流数据后，本地记录发送流索引字典。当处理完数据，需要回传发送流索引告知游戏服务器，数据已经处理完毕；游戏服务器在接收到发送流索引以后，从本地的发送流队列中清理(即剔除和清理)与回传的索引对应的发送流的数据。综上，本申请实施提供的数据传输方法和系统具有以下优点：(1)发送流组装定时器支持配置化，可根据发送端服务器的压力大小来动态调整，当发送端服务器的压力大时，组装的频率就低，能够降低因组装操作给发送端服务器带来的压力，降低了进程宕机的概率，从而进一步提高了数据传输的可靠性；而当发送端服务器的压力小时，组装的频率就高，提高了cpu的利用率；(2)发送流生成器对组装的数据进行数据压缩，并根据压缩后的数据生成发送流，能够减少传输成本；(3)发送流传输定时器的时间可以根据发送端服务器的传输压力来动态调整，当发送端服务器传输压力大的时候减少传输次数，防止发送端服务器的传输压力过大，降低进程宕机的概率，从而进一步提高数据传输的可靠性；而当发送端服务器传输压力小的时候增加传输次数，提高cpu的利用率；(4)将预设时间内生成的所有的发送流数据合并一起发送，可以减少网络io带来的开销；(5)发送流的组装和清除采用队列的方式，时间复杂度都是o(1)即最低的时空复杂度。本申请实施例还提供一种电子设备，图3是根据本申请实施例的电子设备的结构框图，如图3所示，该电子设备可以包括处理器81以及存储有计算机程序指令的存储器82。具体地，上述处理器81可以包括中央处理器(cpu)，或者特定集成电路(applicationspecificintegratedcircuit，简称为asic)，或者可以被配置成实施本申请实施例的一个或多个集成电路。其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(harddiskdrive，简称为hdd)、软盘驱动器、固态驱动器(solidstatedrive，简称为ssd)、闪存、光盘、磁光盘、磁带或通用串行总线(universalserialbus，简称为usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在数据处理装置的内部或外部。在特定实施例中，存储器82是非易失性(non-volatile)存储器。在特定实施例中，存储器82包括只读存储器(read-onlymemory，简称为rom)和随机存取存储器(randomaccessmemory，简称为ram)。在合适的情况下，该rom可以是掩模编程的rom、可编程rom(programmableread-onlymemory，简称为prom)、可擦除prom(erasableprogrammableread-onlymemory，简称为eprom)、电可擦除prom(electricallyerasableprogrammableread-onlymemory，简称为eeprom)、电可改写rom(electricallyalterableread-onlymemory，简称为earom)或闪存(flash)或者两个或更多个以上这些的组合。在合适的情况下，该ram可以是静态随机存取存储器(staticrandom-accessmemory，简称为sram)或动态随机存取存储器(dynamicrandomaccessmemory，简称为dram)，其中，dram可以是快速页模式动态随机存取存储器(fastpagemodedynamicrandomaccessmemory，简称为fpmdram)、扩展数据输出动态随机存取存储器(extendeddateoutdynamicrandomaccessmemory，简称为edodram)、同步动态随机存取内存(synchronousdynamicrandom-accessmemory，简称sdram)等。存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意一种数据传输方法。在其中一些实施例中，电子设备还可包括通信接口83和总线80。其中，如图3所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。总线80包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(databus)、地址总线(addressbus)、控制总线(controlbus)、扩展总线(expansionbus)、局部总线(localbus)。举例来说而非限制，总线80可包括图形加速接口(acceleratedgraphicsport，简称为agp)或其他图形总线、增强工业标准架构(extendedindustrystandardarchitecture，简称为eisa)总线、前端总线(frontsidebus，简称为fsb)、超传输(hypertransport，简称为ht)互连、工业标准架构(industrystandardarchitecture，简称为isa)总线、无线带宽(infiniband)互连、低引脚数(lowpincount，简称为lpc)总线、存储器总线、微信道架构(microchannelarchitecture，简称为mca)总线、外围组件互连(peripheralcomponentinterconnect，简称为pci)总线、pci-express(pci-x)总线、串行高级技术附件(serialadvancedtechnologyattachment，简称为sata)总线、视频电子标准协会局部(videoelectronicsstandardsassociationlocalbus，简称为vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。另外，结合上述实施例中的数据传输方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种数据传输方法。以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。当前第1页1 2 3
技术特征：1.一种数据传输方法，应用于发送端服务器，其特征在于，所述方法包括：
根据本地存储的数据，生成发送流，其中，每条所述发送流具有索引，多个所述发送流形成队列；
向接收端服务器传输所述发送流，其中，所述接收端服务器对接收到的发送流进行数据处理，并记录所述索引；当发送流的数据处理完毕，将与该发送流对应的索引回传给所述发送端服务器；
从所述发送流的队列中清理与回传的索引对应的发送流的数据。
2.根据权利要求1所述的数据传输方法，其特征在于，所述发送端服务器为游戏服务器，所述接收端服务器为数据管理服务器。
3.根据权利要求1所述的数据传输方法，其特征在于，所述的根据本地存储的数据，生成发送流包括：
将本地存储的数据进行组装，得到组装数据；
通过发送流生成器对所述组装数据进行压缩，得到压缩数据，并根据所述压缩数据生成发送流。
4.根据权利要求3所述的数据传输方法，其特征在于，所述的将本地存储的数据进行组装包括：
根据发送流组装定时器中配置的时间，将本地存储的数据进行组装，且组装的频率与所述发送端服务器的压力呈负反馈。
5.根据权利要求1所述的数据传输方法，其特征在于，所述的向接收端服务器传输所述发送流包括：
根据发送流传输定时器中配置的时间，向接收端服务器传输所述发送流，并且传输次数与所述发送端服务器的传输压力呈负反馈。
6.根据权利要求1所述的数据传输方法，其特征在于，所述的向接收端服务器传输所述发送流包括：
将预设时间内生成的所有的所述发送流的数据合并一起发送。
7.根据权利要求1所述的数据传输方法，应用于接收端服务器，其特征在于，所述方法包括：
接收发送端服务器传输的发送流，其中，所述发送端服务器根据本地存储的数据，生成所述发送流，且每条所述发送流具有索引，多个所述发送流形成队列；
对接收到的发送流进行数据处理，并记录所述索引；
当发送流的数据处理完毕，将与该发送流对应的索引回传给所述发送端服务器，其中，所述发送端服务器从所述发送流的队列中清理与回传的索引对应的发送流的数据。
8.一种数据传输系统，包括发送端服务器和接收端服务器，其特征在于，
所述发送端服务器根据本地存储的数据，生成发送流，其中，每条所述发送流具有索引，多个所述发送流形成队列；向所述接收端服务器传输所述发送流；
所述接收端服务器对接收到的发送流进行数据处理，并记录所述索引；当发送流的数据处理完毕，将与该发送流对应的索引回传给所述发送端服务器；
所述发送端服务器从所述发送流的队列中清理与回传的索引对应的发送流的数据。
9.一种电子设备，包括处理器和存储有计算机程序的存储介质，其特征在于，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的数据传输方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的数据传输方法。
技术总结本申请涉及数据传输方法、系统、电子设备和存储介质，属于游戏开发技术领域，所述方法包括：发送端服务器根据本地存储的数据，生成发送流，其中，每条发送流具有索引，多个发送流形成队列；向接收端服务器传输发送流；接收端服务器对接收到的发送流进行数据处理，并记录索引；当发送流的数据处理完毕，将与该发送流对应的索引回传给发送端服务器；发送端服务器从发送流的队列中清理与回传的索引对应的发送流的数据。能够避免发送流数据在传输的过程中丢失而导致的数据异常，提高了数据传输的可靠性。
技术研发人员：周天涯
受保护的技术使用者：杭州电魂网络科技股份有限公司
技术研发日：2020.11.16
技术公布日：2021.03.12
