本发明涉及雷电预警领域，具体涉及基于大数据挖掘的雷电预警方法及系统。
背景技术：
现有的多任务处理平台，在处理物联网收集的多种天气信息的同时，还用于数据建模，为了有效检测电网气象灾害，保障线路安全，线路状态监测系统获得大量应用，积累了海量的监测数据。这些数据一方面可用于实时诊断，掌握输电线路的当前状态，另一方面可以用来评估历史，对区域的气象灾害风险进行概率估算。
但是过多的数据积累对系统运载负荷和单位时间内的计算量造成了减益效果，对城市的雷电预警系统监测数据的同时，还在处理关于其他类型天气现象数据，为了及时处理和提高效率，开发一种基于大数据挖掘的雷电预警系统，避免多处基站在处理数据任务积压时损害的数据实时性，为预警系统提供高效的数据处理。
技术实现要素：
本发明所要解决的技术问题是：多处基站在处理数据任务积压时损害的数据实时性，影响处理数据的效率，本发明提供了解决上述问题的基于大数据挖掘的雷电预警方法及系统。
本发明结合边缘计算概念与雷电预警系统，将大数据挖掘的架构调整为分布式架构，降低计算负荷，减缓在建模和分析过程中对网络带宽的压力，能够较早的获得雷电预警，方便随后应对雷电预警信息的进一步调度，同时也大大减少了存储、计算和通讯资源成本。
本发明通过下述技术方案实现：
基于大数据挖掘的雷电预警系统，包括预警区域内的多处计算机设备，所述计算机设备包括逐级递升的一级计算设备、二级计算设备和三级计算设备；
所述一级计算设备用于收集、整合实时大气电场强度和雷达回波数据并发送至三级计算设备；
所述二级计算设备用于结合卫星云图数据，初步判断雷暴团位置信息，并发送至三级计算设备；
所述三级计算设备用于选择接收多处一级计算设备、二级计算设备数据，所述三级计算设备选择并调度建模任务至所述计算机设备，所述三级计算设备还用于监测建模任务执行情况，所述三级计算设备还用于任务执行情况反馈再次选择建模任务执行的计算机设备并协助转移所述建模任务的相关数据；
所述建模任务为依据实时的大气电场强度和雷达回波数据结合卫星云图数据，分析后进一步判断得到雷暴团的大小、位置和运动路径的建模任务。
所述一级计算设备、二级计算设备分别与三级计算设备数据通信，所述三级计算设备监测所述数据通信所用链路的冗杂度，所述三级计算设备将冗杂度信息载入所述建模任务的相关数据，冗杂度为链路的实时宽带占用数据流量占所在链路宽带上载/下载的上限的比例值，所述冗杂度为上载和下载占比值的权重均值。
所述一级计算设备、二级计算设备分别向三级计算设备单向传输数据，且传输数据的任务单独计入数据链路并计算占用带宽值，所述传输数据的任务计入冗杂度计算，且所述三级计算设备还包括结合所述占用带宽值计算所述建模任务的相关数据。
还包括所述三级计算设备用于选择部分数据传输至多处一级计算设备、二级计算设备数据；
所述三级计算设备还用于依据接收到的一级计算设备和二级计算设备实时传输的数据的宽带占用率转换的冗杂度，调度任务至空闲计算设备，受调度任务为繁忙计算设备，所述繁忙计算设备为实时通信链路冗杂度高于冗杂度均值的计算设备，所述空闲计算设备为实时通信链路冗杂度低于冗杂度均值的计算设备，所述冗杂度均值为所述三级计算设备依据接收到的计算设备中上载/下载权重占比计算后的冗杂度属性的均值。
包括多出三级计算设备，每处三级计算设备直辖多处二级计算设备，一处二级计算设备管理多处一级计算设备，多处一级计算设备还用于接收二级计算设备授权许可直接传输数据至对应的三级计算设备。
优选的，三级计算设备用于创建建模任务，三级计算设备还用于将建模任务划分为多个分布式进程子模块，并对应多个子模块的相应数据调度数据来源的计算设备；
三级计算设备用于将多个分布式进程子模块分配至多处空闲计算设备，并对应所述子模块的相应数据来源路径，计算并优化数据来源路径，建立与子模块对应的数据传输任务发送至来源计算设备，所述来源计算设备将子模块所需数据传输至对应空闲计算设备；
来源计算设备为二级计算设备或一级计算设备。
优选的，一级计算设备包括传感器、plc终端、单片机和雷达接收机。
基于大数据挖掘的雷电预警方法，基于上述的系统，应用于雷电预警的方法，包括如下步骤：
s1、一级计算设备收集、整合实时大气电场强度和雷达回波数据并发送至二级计算设备；
s2、二级计算设备收集卫星云图数据，二级计算设备接收一级计算设备的数据，二级计算设备结合一级计算设备的数据和卫星云图数据基于内置计算引擎初步判断雷暴团的位置信息并发送至三级计算设备；
s3、三级计算设备结合多处二级计算设备得到的雷暴团的位置信息，判断雷暴团的模糊分布信息，进行初步预警；
s4、三级计算设备创建建模任务，并按计算设备所处区域划分为多个子模块任务，三级计算设备下发子模块任务至一级计算设备或二级计算设备，同时对应创建子模块任务所需数据的传输任务至对应数据来源计算设备，所述所需数据为子模块任务的输入数据，所述数据来源计算设备为子模块任务计算的输入数据的来源计算设备；
s5、多个子模块计算完成后返回结果数据和子模块任务编号至三级计算设备，三级计算设备整合子模块任务得到建模任务结果，包括雷暴团的大小、位置和运动路径。
还包括s4中，多个有交叠计算子设备的三级计算设备建立相同的建模任务和等同创建子模块任务，在s5中，多个有交叠计算子设备的三级计算设备互相验证建模任务结果，依据数据计算反馈情况选择其中的建模任务结果为最终的建模任务结果，并依据建模任务结果进行雷电预警；
所述有交叠计算子设备的三级计算设备为两个或多个三级计算设备的下属等级计算设备相同，下属等级计算设备包括一级计算设备或二级计算设备。
二级计算设备记录一级计算设备的数据对应的来源计算设备编号与数据传输路径，在s4中，创建子模块任务所需数据的传输任务，所述传输任务引用二级计算设备的数据传输路径，并进一步优化数据传输路径，绕开繁忙计算设备，将多处传输路径节点规划在空闲计算设备节点上。
当进行数据通信任务信息时，一级计算设备产生超过数据通信上限的宽带通量任务，不足以传输至二级计算设备，即此时，一级计算设备与二级计算设备之间的上载/下载带宽处于饱和状态，一级计算设备暂停数据通信任务，并发送授权许可和数据通信任务信息至二级计算设备，二级计算设备判断数据通信任务信息是否正确，如正确，回传许可回执，一级计算设备继续数据通信任务并建立许可回执的任务前置于数据通信任务，许可回执的任务接收端为三级计算设备，发送端为一级计算设备，所述三级计算设备接收许可回执的任务，通过所述许可回执的任务并接收所述许可回执的任务的顺序任务，即数据通信任务，此时，三级计算设备直接接收来自一级计算设备的任务；
对于此处超过阈值的数据通信任务，三级计算设备主动标注并记入数据异常情况，方便后续管理。
关于所述冗杂度均值为所述三级计算设备依据接收到的计算设备中上载/下载权重占比计算后的冗杂度属性的均值；三级计算设备接收到包括一级计算设备或二级计算设备的数据通信任务，每处一级计算设备和二级计算设备因设备自身的属性不同，有的计算设备本身为交换机或传感器，以导通数据链路为主要功能不具备大数据计算模块，有的计算设备自身带有单片机或小型pc端，可进行初步数据计算，自身具备计算功能的设备属性的上载权重高，上载数据多为结果数据，下载权重低，此时，三级计算设备可依据计算设备的属性分配计算任务，将子模块任务划分至下载权重低的计算设备，同时，对于下载权重低的计算设备，当下载数据达到链路峰值时，占用宽带比率较高，尽管下载权重低，但数据基数大，最终得到的冗杂度值高，冗杂度高代表计算设备负荷严重，三级计算设备合理分配计算资源，减少下派到冗杂度高的计算设备任务。
多处三级计算设备，实时监测链路冗杂度，并依据冗杂度趋势，及时分配计算资源，可以较快的计算得到雷暴团的最终位置数据和路径。
本发明具有如下的优点和有益效果：
本发明将大数据挖掘的架构调整为分布式架构，降低计算负荷，减缓在建模和分析过程中对网络带宽的压力，能够较早的获得雷电预警，方便随后应对雷电预警信息的进一步调度，同时也大大减少了存储、计算和通讯资源成本。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明的流程图。
具体实施方式
在对本发明的任意实施例进行详细的描述之前，应该理解本发明的应用不局限于下面的说明或附图中所示的结构的细节。本发明可采用其它的实施例，并且可以以各种方式被实施或被执行。基于本发明中的实施例，本领域普通技术人员在没有做出创造性改进前提下所获得的所有其它实施例，均属于本发明保护的范围。
基于大数据挖掘的雷电预警系统，如图1所示，包括预警区域内的多处计算机设备，所述计算机设备包括逐级递升的一级计算设备、二级计算设备和三级计算设备；
所述一级计算设备用于收集、整合实时大气电场强度和雷达回波数据并发送至三级计算设备；
所述二级计算设备用于结合卫星云图数据，初步判断雷暴团位置信息，并发送至三级计算设备；
所述三级计算设备用于选择接收多处一级计算设备、二级计算设备数据，所述三级计算设备选择并调度建模任务至所述计算机设备，所述三级计算设备还用于监测建模任务执行情况，所述三级计算设备还用于任务执行情况反馈再次选择建模任务执行的计算机设备并协助转移所述建模任务的相关数据；
所述建模任务为依据实时的大气电场强度和雷达回波数据结合卫星云图数据，分析后进一步判断得到雷暴团的大小、位置和运动路径的建模任务。
进一步地，所述一级计算设备、二级计算设备分别与三级计算设备数据通信，所述三级计算设备监测所述数据通信所用链路的冗杂度，所述三级计算设备将冗杂度信息载入所述建模任务的相关数据，冗杂度为链路的实时宽带占用数据流量占所在链路宽带上载/下载的上限的比例值，所述冗杂度为上载和下载占比值的权重均值。
进一步地，所述一级计算设备、二级计算设备分别向三级计算设备单向传输数据，且传输数据的任务单独计入数据链路并计算占用带宽值，所述传输数据的任务计入冗杂度计算，且所述三级计算设备还包括结合所述占用带宽值计算所述建模任务的相关数据。
进一步地，还包括所述三级计算设备用于选择部分数据传输至多处一级计算设备、二级计算设备数据；
所述三级计算设备还用于依据接收到的一级计算设备和二级计算设备实时传输的数据的宽带占用率转换的冗杂度，调度任务至空闲计算设备，受调度任务为繁忙计算设备，所述繁忙计算设备为实时通信链路冗杂度高于冗杂度均值的计算设备，所述空闲计算设备为实时通信链路冗杂度低于冗杂度均值的计算设备，所述冗杂度均值为所述三级计算设备依据接收到的计算设备中上载/下载权重占比计算后的冗杂度属性的均值。
进一步地，包括多出三级计算设备，每处三级计算设备直辖多处二级计算设备，一处二级计算设备管理多处一级计算设备，多处一级计算设备还用于接收二级计算设备授权许可直接传输数据至对应的三级计算设备。
优选的，三级计算设备用于创建建模任务，三级计算设备还用于将建模任务划分为多个分布式进程子模块，并对应多个子模块的相应数据调度数据来源的计算设备；
三级计算设备用于将多个分布式进程子模块分配至多处空闲计算设备，并对应所述子模块的相应数据来源路径，计算并优化数据来源路径，建立与子模块对应的数据传输任务发送至来源计算设备，所述来源计算设备将子模块所需数据传输至对应空闲计算设备；
来源计算设备为二级计算设备或一级计算设备。
优选的，一级计算设备包括传感器、plc终端、单片机和雷达接收机。
基于大数据挖掘的雷电预警方法，基于上述的系统，应用于雷电预警的方法，包括如下步骤：
s1、一级计算设备收集、整合实时大气电场强度和雷达回波数据并发送至二级计算设备；
s2、二级计算设备收集卫星云图数据，二级计算设备接收一级计算设备的数据，二级计算设备结合一级计算设备的数据和卫星云图数据基于内置计算引擎初步判断雷暴团的位置信息并发送至三级计算设备；
s3、三级计算设备结合多处二级计算设备得到的雷暴团的位置信息，判断雷暴团的模糊分布信息，进行初步预警；
s4、三级计算设备创建建模任务，并按计算设备所处区域划分为多个子模块任务，三级计算设备下发子模块任务至一级计算设备或二级计算设备，同时对应创建子模块任务所需数据的传输任务至对应数据来源计算设备，所述所需数据为子模块任务的输入数据，所述数据来源计算设备为子模块任务计算的输入数据的来源计算设备；
s5、多个子模块计算完成后返回结果数据和子模块任务编号至三级计算设备，三级计算设备整合子模块任务得到建模任务结果，包括雷暴团的大小、位置和运动路径。
进一步地，还包括s4中，多个有交叠计算子设备的三级计算设备建立相同的建模任务和等同创建子模块任务，在s5中，多个有交叠计算子设备的三级计算设备互相验证建模任务结果，依据数据计算反馈情况选择其中的建模任务结果为最终的建模任务结果，并依据建模任务结果进行雷电预警；
所述有交叠计算子设备的三级计算设备为两个或多个三级计算设备的下属等级计算设备相同，下属等级计算设备包括一级计算设备或二级计算设备。
进一步地，二级计算设备记录一级计算设备的数据对应的来源计算设备编号与数据传输路径，在s4中，创建子模块任务所需数据的传输任务，所述传输任务引用二级计算设备的数据传输路径，并进一步优化数据传输路径，绕开繁忙计算设备，将多处传输路径节点规划在空闲计算设备节点上。
进一步地，当进行数据通信任务信息时，一级计算设备产生超过数据通信上限的宽带通量任务，不足以传输至二级计算设备，即此时，一级计算设备与二级计算设备之间的上载/下载带宽处于饱和状态，一级计算设备暂停数据通信任务，并发送授权许可和数据通信任务信息至二级计算设备，二级计算设备判断数据通信任务信息是否正确，如正确，回传许可回执，一级计算设备继续数据通信任务并建立许可回执的任务前置于数据通信任务，许可回执的任务接收端为三级计算设备，发送端为一级计算设备，所述三级计算设备接收许可回执的任务，通过所述许可回执的任务并接收所述许可回执的任务的顺序任务，即数据通信任务，此时，三级计算设备直接接收来自一级计算设备的任务；
对于此处超过阈值的数据通信任务，三级计算设备主动标注并记入数据异常情况，方便后续管理。
进一步地，关于所述冗杂度均值为所述三级计算设备依据接收到的计算设备中上载/下载权重占比计算后的冗杂度属性的均值；三级计算设备接收到包括一级计算设备或二级计算设备的数据通信任务，每处一级计算设备和二级计算设备因设备自身的属性不同，有的计算设备本身为交换机或传感器，以导通数据链路为主要功能不具备大数据计算模块，有的计算设备自身带有单片机或小型pc端，可进行初步数据计算，自身具备计算功能的设备属性的上载权重高，上载数据多为结果数据，下载权重低，此时，三级计算设备可依据计算设备的属性分配计算任务，将子模块任务划分至下载权重低的计算设备，同时，对于下载权重低的计算设备，当下载数据达到链路峰值时，占用宽带比率较高，尽管下载权重低，但数据基数大，最终得到的冗杂度值高，冗杂度高代表计算设备负荷严重，三级计算设备合理分配计算资源，减少下派到冗杂度高的计算设备任务。
进一步地，多处三级计算设备，实时监测链路冗杂度，并依据冗杂度趋势，及时分配计算资源，可以较快的计算得到雷暴团的最终位置数据和路径。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
1.基于大数据挖掘的雷电预警系统，其特征在于，包括预警区域内的多处计算机设备，所述计算机设备包括逐级递升的一级计算设备、二级计算设备和三级计算设备；
所述一级计算设备用于收集、整合实时大气电场强度和雷达回波数据并发送至三级计算设备；
所述二级计算设备用于结合卫星云图数据，初步判断雷暴团位置信息，并发送至三级计算设备；
所述三级计算设备用于选择接收多处一级计算设备、二级计算设备数据，所述三级计算设备选择并调度建模任务至所述计算机设备，所述三级计算设备还用于监测建模任务执行情况，所述三级计算设备还用于任务执行情况反馈再次选择建模任务执行的计算机设备并协助转移所述建模任务的相关数据；
所述建模任务为依据实时的大气电场强度和雷达回波数据结合卫星云图数据，分析后进一步判断得到雷暴团的大小、位置和运动路径的建模任务。
2.根据权利要求1所述的基于大数据挖掘的雷电预警系统，其特征在于，所述一级计算设备、二级计算设备分别与三级计算设备数据通信，所述三级计算设备监测所述数据通信所用链路的冗杂度，所述三级计算设备将冗杂度信息载入所述建模任务的相关数据，冗杂度为链路的实时宽带占用数据流量占所在链路宽带上载/下载的上限的比例值，所述冗杂度为上载和下载占比值的权重均值。
3.根据权利要求2所述的基于大数据挖掘的雷电预警系统，其特征在于，所述一级计算设备、二级计算设备分别向三级计算设备单向传输数据，且传输数据的任务单独计入数据链路并计算占用带宽值，所述传输数据的任务计入冗杂度计算，且所述三级计算设备还包括结合所述占用带宽值计算所述建模任务的相关数据。
4.根据权利要求3所述的基于大数据挖掘的雷电预警系统，其特征在于，还包括所述三级计算设备用于选择部分数据传输至多处一级计算设备、二级计算设备数据；
所述三级计算设备还用于依据接收到的一级计算设备和二级计算设备实时传输的数据的宽带占用率转换的冗杂度，调度任务至空闲计算设备，受调度任务为繁忙计算设备，所述繁忙计算设备为实时通信链路冗杂度高于冗杂度均值的计算设备，所述空闲计算设备为实时通信链路冗杂度低于冗杂度均值的计算设备，所述冗杂度均值为所述三级计算设备依据接收到的计算设备中上载/下载权重占比计算后的冗杂度属性的均值。
5.根据权利要求4所述的基于大数据挖掘的雷电预警系统，其特征在于，包括多出三级计算设备，每处三级计算设备直辖多处二级计算设备，一处二级计算设备管理多处一级计算设备，多处一级计算设备还用于接收二级计算设备授权许可直接传输数据至对应的三级计算设备。
6.根据权利要求1-5任意一条所述的基于大数据挖掘的雷电预警系统，其特征在于，三级计算设备用于创建建模任务，三级计算设备还用于将建模任务划分为多个分布式进程子模块，并对应多个子模块的相应数据调度数据来源的计算设备；
三级计算设备用于将多个分布式进程子模块分配至多处空闲计算设备，并对应所述子模块的相应数据来源路径，计算并优化数据来源路径，建立与子模块对应的数据传输任务发送至来源计算设备，所述来源计算设备将子模块所需数据传输至对应空闲计算设备；
来源计算设备为二级计算设备或一级计算设备。
7.根据权利要求1-5任意一条所述的基于大数据挖掘的雷电预警系统，其特征在于，一级计算设备包括传感器、plc终端、单片机和雷达接收机。
8.基于大数据挖掘的雷电预警方法，其特征在于，基于权利要求1-5任意一条所述的基于大数据挖掘的雷电预警系统，应用于雷电预警的方法，包括如下步骤：
s1、一级计算设备收集、整合实时大气电场强度和雷达回波数据并发送至二级计算设备；
s2、二级计算设备收集卫星云图数据，二级计算设备接收一级计算设备的数据，二级计算设备结合一级计算设备的数据和卫星云图数据基于内置计算引擎初步判断雷暴团的位置信息并发送至三级计算设备；
s3、三级计算设备结合多处二级计算设备得到的雷暴团的位置信息，判断雷暴团的模糊分布信息，进行初步预警；
s4、三级计算设备创建建模任务，并按计算设备所处区域划分为多个子模块任务，三级计算设备下发子模块任务至一级计算设备或二级计算设备，同时对应创建子模块任务所需数据的传输任务至对应数据来源计算设备，所述所需数据为子模块任务的输入数据，所述数据来源计算设备为子模块任务计算的输入数据的来源计算设备；
s5、多个子模块计算完成后返回结果数据和子模块任务编号至三级计算设备，三级计算设备整合子模块任务得到建模任务结果，包括雷暴团的大小、位置和运动路径。
9.根据权利要求8所述的基于大数据挖掘的雷电预警方法，其特征在于，还包括s4中，多个有交叠计算子设备的三级计算设备建立相同的建模任务和等同创建子模块任务，在s5中，多个有交叠计算子设备的三级计算设备互相验证建模任务结果，依据数据计算反馈情况选择其中的建模任务结果为最终的建模任务结果，并依据建模任务结果进行雷电预警；
所述有交叠计算子设备的三级计算设备为两个或多个三级计算设备的下属等级计算设备相同，下属等级计算设备包括一级计算设备或二级计算设备。
10.根据权利要求8所述的基于大数据挖掘的雷电预警方法，其特征在于，二级计算设备记录一级计算设备的数据对应的来源计算设备编号与数据传输路径，在s4中，创建子模块任务所需数据的传输任务，所述传输任务引用二级计算设备的数据传输路径，并进一步优化数据传输路径，绕开繁忙计算设备，将多处传输路径节点规划在空闲计算设备节点上。
技术总结