本发明涉及电力系统技术领域，尤其涉及一种基于负荷预测流水线框架语言的负荷预测系统及方法。
背景技术：
电力企业为满足电网规划、电力调度以及电力交易等业务需求，需要从区域维度、行业维度以及用户维度等多个维度对电力负荷进行周期性的预测。
目前，电力大数据负荷预测涉及异构大数据的采集、清洗、存储以及探索分析、建模特征、模型训练、模型评价以及模型应用的流程，其中使用的大数据平台及技术不仅实施复杂，而且在不断发展变化，对电力企业开展周期性负荷预测业务造成巨大的阻碍。
技术实现要素：
本发明的目的是提供一种基于负荷预测流水线框架语言(loadforecastingflowlineframeworklanguage，lf_flfl)的负荷预测系统及方法，以可视化的方式提交电力负荷预测需求的配置信息，并按照有向无环图自动执行电力负荷预测的大数据的采集、清洗、存储以及探索分析、建模特征、模型训练、模型评价以及模型应用负荷预测任务，从而实现负荷的智能预测，降低负荷预测的实施难度，提高负荷预测的效率。
为实现上述目的，本发明实施例提供了一种基于负荷预测流水线框架语言的负荷预测系统，包括lf_flfl生成器、lf_flfl解释器和大数据平台，其中，
所述lf_flfl生成器与所述lf_flfl解释器通过所述第一接口和所述第二接口连接，所述lf_flfl解释器通过所述大数据适配器组件与所述大数据平台连接。
所述lf_flfl生成器模块用于生成执行负荷预测任务的有向无环图。
所述lf_flfl解释器模块用于按照所述有向无环图执行负荷预测的大数据采集、清洗、存储、探索分析、建模特征、模型训练、模型评价和模型应用负荷预测任务。
所述大数据平台用于提供支持大数据平台技术的组件。
进一步的，所述lf_flfl解释器由有向无环图解释执行调度引擎、数据加载组件、数据清洗组件、探索分析组件、建模特征组件、模型训练组件、模型评价组件、模型应用组件、大数据平台适配器组件、大数据平台适配元数据库、调度策略元数据库、机器学习模型库和第二接口组成。
所述大数据平台由mapreduce适配器组件、spark适配器组件、flink适配器组件、storm适配器组件、s4适配器组件和apachebeam适配器组件组成。
所述api接口包括所述第一接口和所述第二接口。
所述连接组件为所述大数据平台适配器组件。
进一步的，所述lf_flfl生成器模块由可视化交互组件、负荷预测任务表组件、有向无环图组件和第一接口组成，具体为：
可视化交互组件，包括以可视化模板方式获取用户提供的负荷预测配置信息的微服务和以可视化图表方式向用户输出负荷预测结果信息的微服务。
负荷预测任务表组件，包括读取所述负荷预测配置信息的微服务和定义满足用户负荷预测需求的负荷预测任务表的微服务。
有向无环图组件，包括读取所述负荷预测任务表的微服务和将所述负荷预测任务表转换为在大数据平台上可执行负荷预测任务的有向无环图的微服务。
第一接口，包括所述负荷预测配置信息输入接口的微服务和所述负荷预测结果信息输出接口的微服务。
进一步的，所述负荷预测配置信息由负荷预测的大数据资源配置信息、负荷预测需求配置信息、负荷预测目标配置信息、机器学习模型库配置信息和大数据平台资源配置信息组成。
进一步的，所述lf_flfl解释器模块由有向无环图解释执行调度引擎、数据加载组件、数据清洗组件、探索分析组件、建模特征组件、模型训练组件、模型评价组件、模型应用组件、大数据平台适配器组件、大数据平台适配元数据库、调度策略元数据库、机器学习模型库和第二接口组成，具体为：
有向无环图解释执行调度引擎，用于通过调用调度策略元数据库中的图遍历访问策略，执行所述有向无环图的负荷预测任务。
数据加载组件，包括负荷区域负荷数据加载微服务、负荷区域气象信息加载微服务和将加载的数据存入大数据平台的微服务。
数据清洗组件，包括负荷数据缺失值填补微服务和负荷数据异常值处理微服务。
探索分析组件，包括探索性因子分析微服务和负荷预测先验信息微服务。
建模特征组件，包括验证所述探索性因子分析的微服务。
模型训练组件，包括从机器学习模型库中选择负荷预测模型的微服务和对所选择的所述负荷预测模型进行建模以及机器学习训练的微服务。
模型评价组件，包括对机器学习训练后的负荷预测模型进行精准度评价的微服务。
模型应用组件，包括对所述机器学习训练后的负荷预测模型进行入库管理的微服务和负荷预测模型应用的微服务。
大数据平台适配器组件，包括大数据平台的mapreduce适配器微服务、spark适配器微服务、flink适配器微服务、storm适配器微服务、s4适配器微服务和apachebeam适配器微服务。
第二接口，包括所述负荷预测配置信息输入接口的微服务和所述负荷预测结果信息输出接口的微服务。
进一步的，所述负荷预测任务由数据加载组件微服务、数据清洗组件微服务、探索分析组件微服务、建模特征组件微服务、模型训练组件微服务、模型评价组件微服务和模型应用组件微服务组成。
本发明实施例还提供了一种基于负荷预测流水线框架语言的负荷预测方法，包括以下步骤：
步骤一，启动lf_flfl生成器中的可视化交互组件微服务。
步骤二，通过所述可视化交互组件微服务，获取用户提供的负荷预测配置信息。
步骤三，启动所述lf_flfl生成器中的负荷预测任务表组件微服务。
步骤四，根据所述负荷预测配置信息，定义负荷预测任务表的微服务。
步骤五，启动有向无环图组件微服务。
步骤六，将所述负荷预测任务表转换为可执行负荷预测任务的有向无环图的微服务。
步骤七，启动所述lf_flfl解释器中的大数据平台适配器组件微服务。
步骤八，根据所述大数据平台资源配置信息，绑定所述大数据平台适配器组件微服务，配置大数据技术支持平台环境，并耦合所述有向无环图的负荷预测任务。
步骤九，启动所述lf_flfl解释器中的有向无环图解释执行调度引擎。
步骤十，根据所述调度策略元数据库中的图遍历访问策略，执行所述有向无环图的负荷预测任务；其中，所述访问策略包括自顶而下的访问策略和自底而上的访问策略。
本发明实施例提供的一种基于负荷预测流水线框架语言的负荷预测系统及方法，与现有技术相比，具有如下有益效果：
通过lf_flfl生成器，以可视化模板方式获取用户的负荷预测配置信息，生成满足用户电力负荷预测需求的负荷预测任务表，并转换为执行负荷预测任务的有向无环图，通过lf_flfl解释器，在用户配置的大数据技术支持平台环境下，根据机器学习模型库及调度策略元数据库，按照有向无环图自动执行电力负荷预测的大数据采集、清洗、存储、探索分析、建模特征、模型训练、模型评价以及模型应用负荷预测任务，从而实现负荷的智能预测，降低负荷预测的实施难度，提高负荷预测的效率。
附图说明
图1是本发明实施例提供的一种基于负荷预测流水线框架语言的负荷预测系统及方法的系统结构图；
图2是本发明实施例提供的一种基于负荷预测流水线框架语言的负荷预测系统及方法的方法流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，其是本发明实施例提供的一种基于负荷预测流水线框架语言的负荷预测系统及方法的系统结构图，包括lf_flfl生成器、lf_flfl解释器和大数据平台。
具体的，lf_flfl生成器与lf_flfl解释器通过第一接口和第二接口连接，lf_flfl解释器通过大数据适配器组件与大数据平台连接。
lf_flfl生成器模块用于生成执行负荷预测任务的有向无环图。
lf_flfl解释器模块用于按照有向无环图执行负荷预测的大数据采集、清洗、存储、探索分析、建模特征、模型训练、模型评价和模型应用负荷预测任务。
大数据平台用于提供支持大数据平台技术的组件。
进一步的，lf_flfl生成器由可视化交互组件、负荷预测任务表组件、有向无环图组件和第一接口组成。
lf_flfl解释器由有向无环图解释执行调度引擎、数据加载组件、数据清洗组件、探索分析组件、建模特征组件、模型训练组件、模型评价组件、模型应用组件、大数据平台适配器组件、大数据平台适配元数据库、调度策略元数据库、机器学习模型库和第二接口组成。
大数据平台由mapreduce适配器组件、spark适配器组件、flink适配器组件、storm适配器组件、s4适配器组件和apachebeam适配器组件组成。
其中，api接口包括第一接口和第二接口，连接组件为大数据平台适配器组件。
进一步的，lf_flfl生成器模块由可视化交互组件、负荷预测任务表组件、有向无环图组件和第一接口组成，具体为：
可视化交互组件，包括以可视化模板方式获取用户提供的负荷预测配置信息的微服务和以可视化图表方式向用户输出负荷预测结果信息的微服务。
具体的，可视化组件以可视化图表方式通过api接口向用户输出负荷预测结果信息。
其中，负荷预测配置信息包括负荷预测的大数据资源配置信息、负荷预测需求配置信息、负荷预测目标配置信息、机器学习模型库配置信息和大数据平台资源配置信息。
负荷预测任务表组件，包括读取负荷预测配置信息的微服务和定义满足用户负荷预测需求的负荷预测任务表的微服务。
有向无环图组件，包括读取负荷预测任务表的微服务和将负荷预测任务表转换为在大数据平台上可执行负荷预测任务的有向无环图的微服务。
第一接口，包括负荷预测配置信息输入接口的微服务和负荷预测结果信息输出接口的微服务。
进一步的，lf_flfl解释器模块由有向无环图解释执行调度引擎、数据加载组件、数据清洗组件、探索分析组件、建模特征组件、模型训练组件、模型评价组件、模型应用组件、大数据平台适配器组件、大数据平台适配元数据库、调度策略元数据库、机器学习模型库和第二接口组成。
有向无环图解释执行调度引擎，用于通过调用调度策略元数据库中的图遍历访问策略，执行有向无环图的负荷预测任务。
具体的，图遍历访问策略是访问图节点的一种技术。
具体的，负荷预测任务包括数据加载组件微服务、数据清洗组件微服务、探索分析组件微服务、建模特征组件微服务、模型训练组件微服务、模型评价组件微服务和模型应用组件微服务。
数据加载组件，包括负荷区域负荷数据加载微服务、负荷区域气象信息加载微服务和将加载的数据存入大数据平台的微服务。
具体的，数据加载组件将加载数据存入大数据平台，为负荷预测的其它数据处理组件提供待处理的数据。
数据清洗组件，包括负荷数据缺失值填补微服务和负荷数据异常值处理微服务。
探索分析组件，包括探索性因子分析微服务和负荷预测先验信息微服务。
具体的，探索性因子分析微服务用于实现因子与因子之间的相关性分析，得到探索性因子分析因子的相关系数载荷，负荷预测先验信息微服务用于给出探索性因子分析因子的相关系数载荷的权重先验信息，并将带权重先验信息的因子相关系数载荷记入因子载荷表中。
建模特征组件，包括验证所述探索性因子分析的微服务。
具体的，探索性因子分析的微服务是指通过使用因子载荷表中带权重先验信息的因子相关系数载荷信息和调度策略元数据库中的筛选策略筛选出负荷预测的建模特征，生成负荷预测的建模特征表。
模型训练组件，包括从机器学习模型库中选择负荷预测模型的微服务和对所选择的负荷预测模型进行建模以及机器学习训练的微服务。
具体的，对所选择的负荷预测模型依据建模特征表进行建模以及机器学习训练。
模型评价组件，包括对机器学习训练后的负荷预测模型进行精准度评价的微服务。
模型应用组件，包括对机器学习训练后的负荷预测模型进行入库管理的微服务和负荷预测模型应用的微服务。
大数据平台适配器组件，包括大数据平台的mapreduce适配器微服务、spark适配器微服务、flink适配器微服务、storm适配器微服务、s4适配器微服务和apachebeam适配器微服务。
具体的，大数据平台适配器组件的作用是，为用户提供的大数据平台资源配置信息的微服务选择目前流行的大数据平台的技术支持，上述列出了目前流行的大数据平台，随着大数据平台技术的发展，支持新的大数据平台技术的适配器微服务要加入到大数据平台适配器组件中。
第二接口，包括所述负荷预测配置信息输入接口的微服务和所述负荷预测结果信息输出接口的微服务。
参见图2，是本发明实施例提供的一种基于负荷预测流水线框架语言的负荷预测系统及方法的方法流程示意图，包括以下步骤：
s1，启动lf_flfl生成器中的可视化交互组件微服务。
s2，通过所述可视化交互组件微服务，获取用户提供的负荷预测配置信息。
s3，启动lf_flfl生成器中的负荷预测任务表组件微服务。
s4，根据负荷预测配置信息，定义负荷预测任务表的微服务。
s5，启动有向无环图组件微服务。
s6，将负荷预测任务表转换为可执行负荷预测任务的有向无环图的微服务。
s7，启动lf_flfl解释器中的大数据平台适配器组件微服务。
s8，根据大数据平台资源配置信息，绑定大数据平台适配器组件微服务，配置大数据技术支持平台环境，并耦合有向无环图的负荷预测任务。
具体的，步骤s8的主要作用是，将在负荷预测过程中运行的微服务与用户提供的大数据平台资源的技术支持适配器绑定，以获得用户提供的大数据平台的技术支持。
具体的，耦合的主要意思是，适配用户提供的大数据平台资源配置信息，绑定大数据平台提供的大数据平台技术支持组件。
s9，启动lf_flfl解释器中的有向无环图解释执行调度引擎。
s10，根据调度策略元数据库中的图遍历访问策略，执行有向无环图的负荷预测任务。
其中，访问策略包括自顶而下的访问策略和自底而上的访问策略。
运用自顶而下的访问策略执行有向无环图上的负荷预测任务的算法思想是：对入度为零的处理任务节点并行执行，对合流、分流及连接等处理任务节点，必须满足完成上游处理任务节点后才能执行。
运用自底而上的访问策略执行有向无环图上的负荷预测任务的算法思想是：找出有向无环图中所有出度为零的处理任务节点，逐个遍历，判断其是否存在入边(即上游处理任务节点)，若存在入边，则逐个递归调用入边的所有处理任务节点后才执行当前的处理任务节点，若不存在入边，则直接执行当前的处理任务节点。
本发明采用专用服务器电脑作为信息处理单元，专用服务器电脑内置的调度策略元数据库、大数据平台适配元数据库、机器学习模型库以及大数据负荷预测流水线框架语言及其实现的功能组件采用固态硬盘作为存贮介质，
相对于现有技术，本发明实施例提供的一种基于负荷预测流水线框架语言的负荷预测系统及方法的有益效果在于：
通过lf_flfl生成器，以可视化模板方式获取用户的负荷预测配置信息，生成满足用户电力负荷预测需求的负荷预测任务表，并转换为执行负荷预测任务的有向无环图，通过lf_flfl解释器，在用户配置的大数据技术支持平台环境下，根据机器学习模型库及调度策略元数据库，按照有向无环图自动执行电力负荷预测的大数据采集、清洗、存储、探索分析、建模特征、模型训练、模型评价以及模型应用负荷预测任务，从而实现负荷的智能预测，降低负荷预测的实施难度，提高负荷预测的效率。
由于电力负荷预测流水线框架语言及其实现是由多层体系架构软硬件功能组成的，软硬件功能具有升级能力。因此，本发明具有更新换代的灵活性。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
1.一种基于负荷预测流水线框架语言的负荷预测系统，其特征在于，包括lf_flfl生成器、lf_flfl解释器和大数据平台，其中，
所述lf_flfl生成器与所述lf_flfl解释器通过api接口连接，所述lf_flfl解释器通过连接组件与所述大数据平台连接；
所述lf_flfl生成器模块用于生成执行负荷预测任务的有向无环图；
所述lf_flfl解释器模块用于按照所述有向无环图执行负荷预测的大数据采集、清洗、存储、探索分析、建模特征、模型训练、模型评价和模型应用负荷预测任务；
所述大数据平台用于提供支持大数据平台技术的组件。
2.根据权利要求1所述的基于负荷预测流水线框架语言的负荷预测系统，其特征在于，所述lf_flfl生成器由可视化交互组件、负荷预测任务表组件、有向无环图组件和第一接口组成；
所述lf_flfl解释器由有向无环图解释执行调度引擎、数据加载组件、数据清洗组件、探索分析组件、建模特征组件、模型训练组件、模型评价组件、模型应用组件、大数据平台适配器组件、大数据平台适配元数据库、调度策略元数据库、机器学习模型库和第二接口组成；
所述大数据平台由mapreduce适配器组件、spark适配器组件、flink适配器组件、storm适配器组件、s4适配器组件和apachebeam适配器组件组成；
所述api接口包括所述第一接口和所述第二接口；
所述连接组件为所述大数据平台适配器组件。
3.根据权利要求2所述的基于负荷预测流水线框架语言的负荷预测系统，其特征在于，所述所述lf_flfl生成器模块由可视化交互组件、负荷预测任务表组件、有向无环图组件和第一接口组成，具体为：
可视化交互组件，包括以可视化模板方式获取用户提供的负荷预测配置信息的微服务和以可视化图表方式向用户输出负荷预测结果信息的微服务；
负荷预测任务表组件，包括读取所述负荷预测配置信息的微服务和定义满足用户负荷预测需求的负荷预测任务表的微服务；
有向无环图组件，包括读取所述负荷预测任务表的微服务和将所述负荷预测任务表转换为在大数据平台上可执行负荷预测任务的有向无环图的微服务。
第一接口，包括所述负荷预测配置信息输入接口的微服务和所述负荷预测结果信息输出接口的微服务。
4.根据权利要求3所述的基于负荷预测流水线框架语言的负荷预测系统，其特征在于，所述负荷预测配置信息由负荷预测的大数据资源配置信息、负荷预测需求配置信息、负荷预测目标配置信息、机器学习模型库配置信息和大数据平台资源配置信息组成。
5.根据权利要求2所述的基于负荷预测流水线框架语言的负荷预测系统，其特征在于，所述所述lf_flfl解释器模块由有向无环图解释执行调度引擎、数据加载组件、数据清洗组件、探索分析组件、建模特征组件、模型训练组件、模型评价组件、模型应用组件、大数据平台适配器组件、大数据平台适配元数据库、调度策略元数据库、机器学习模型库和第二接口组成，具体为：
有向无环图解释执行调度引擎，用于通过调用调度策略元数据库中的图遍历访问策略，执行所述有向无环图的负荷预测任务；
数据加载组件，包括负荷区域负荷数据加载微服务、负荷区域气象信息加载微服务和将加载的数据存入大数据平台的微服务；
数据清洗组件，包括负荷数据缺失值填补微服务和负荷数据异常值处理微服务；
探索分析组件，包括探索性因子分析微服务和负荷预测先验信息微服务；
建模特征组件，包括验证所述探索性因子分析的微服务；
模型训练组件，包括从机器学习模型库中选择负荷预测模型的微服务和对所选择的所述负荷预测模型进行建模以及机器学习训练的微服务；
模型评价组件，包括对机器学习训练后的负荷预测模型进行精准度评价的微服务；
模型应用组件，包括对所述机器学习训练后的负荷预测模型进行入库管理的微服务和负荷预测模型应用的微服务；
大数据平台适配器组件，包括大数据平台的mapreduce适配器微服务、spark适配器微服务、flink适配器微服务、storm适配器微服务、s4适配器微服务和apachebeam适配器微服务；
第二接口，包括所述负荷预测配置信息输入接口的微服务和所述负荷预测结果信息输出接口的微服务。
6.根据权利要求5所述的基于负荷预测流水线框架语言的负荷预测系统，其特征在于，所述负荷预测任务由数据加载组件微服务、数据清洗组件微服务、探索分析组件微服务、建模特征组件微服务、模型训练组件微服务、模型评价组件微服务和模型应用组件微服务组成。
7.一种基于负荷预测流水线框架语言的负荷预测方法，其特征在于，应用权利要求1到6任一项所述的基于负荷预测流水线框架语言的负荷预测系统实现，包括以下步骤：
步骤一，启动lf_flfl生成器中的可视化交互组件微服务；
步骤二，通过所述可视化交互组件微服务，获取用户提供的负荷预测配置信息；
步骤三，启动所述lf_flfl生成器中的负荷预测任务表组件微服务；
步骤四，根据所述负荷预测配置信息，定义负荷预测任务表的微服务；
步骤五，启动有向无环图组件微服务；
步骤六，将所述负荷预测任务表转换为可执行负荷预测任务的有向无环图的微服务；
步骤七，启动所述lf_flfl解释器中的大数据平台适配器组件微服务；
步骤八，根据所述大数据平台资源配置信息，绑定所述大数据平台适配器组件微服务，配置大数据技术支持平台环境，并耦合所述有向无环图的负荷预测任务；
步骤九，启动所述lf_flfl解释器中的有向无环图解释执行调度引擎；
步骤十，根据所述调度策略元数据库中的图遍历访问策略，执行所述有向无环图的负荷预测任务；其中，所述访问策略包括自顶而下的访问策略和自底而上的访问策略。
技术总结