技术领域：
本发明涉及配网技术领域，特别是涉及一种基于深度强化学习算法及源荷不确定性的配电网重构方法。
背景技术：
：
配电网重构是通过配电网联络开关位置的调整，以达到降低损耗、均衡负荷、提高供电可靠性、安全性、经济性为目的的优化决策过程，配电网重构的结果一般需满足配电网辐射运行约束。近年来，分布式能源发展迅速，其经济性、环保性的特点也越来越受到重视，必将得到更广泛的应用。
目前，国内外学者对分布式电源接入配电网的重构方法进行了大量的研究。有的引入区间数以描述各种不确定量，以区间数描述最小化网损为目标函数，建立了含dg和电动汽车的配电网重构区间描述方法。有的提出通过充分利用主动配电网快速重构和分布式能源调控手段，降低配电公司的运行成本，引导配电公司实现更多的新能源消纳。有的考虑可信度时段差异性，提出通过协调优化制定合理的调度计划，给可信度差的时段留有更大的裕度，降低运行风险。这些研究为分布式能源接入后的配电网重构提供了理论依据，但通过增大配电系统运行的保守性，来降低分布式能源和负荷的不确定性对配电网的运行风险。未能解决，在配电网源荷水平确定且与预期不符情况下，如何快速的实现合理的配电网重构。
有源配电网日前重构是以风光荷的日前预测数据为基础，制定满足预期目标的日重构方案，但是日前预测与实际运行状况存在一定的误差，这可能导致日前重构方案在实际运行中出现电压越限、功率过载、网损增大等运行风险，要求做到快速在线调节。配电网的电压治理要应对更大挑战。
技术实现要素：
：
本发明所要解决的技术问题是：克服现有技术的不足，运用深度强化学习(drl)算法，针对配电网运行历史中的电源和负荷水平进行最优开关状态选择的预学习，学习完成后，可以快速得到不同源荷状态配电网的最优拓扑状态的基于深度强化学习算法及源荷不确定性的配电网重构方法。
本发明的技术方案是：一种基于深度强化学习算法及源荷不确定性的配电网重构方法，基于配电网中分布式能源出力、网络负荷的不确定性问题，可通过日前神经网络的训练，实现针对含分布式能源的配电网重构在线算法，实现配电网重构的秒级求解，其具体步骤是：
步骤一，通过日前神经网络，将各时刻的分布式能源、负荷的功率预测值的置信区间离散化为区间形式，进行神经网络的预学习；
步骤二，离线学习中，随机地初始化actor神经网络各开关动作概率和critic神经网络各拓扑状态的状态-动作值函数q，在线学习中，采取离线学习获得的神经网络值为初值；
步骤三，根据现在的开关状态和现在的分布式能源和负荷功率，确定现在的配电网运行状态；在actor和critic神经网络指导下进行mcts搜索各阶段的最优开关动作，在每一阶段均可对actor网络进行更新，直至最终阶段，选择q值最高的开关动作；
步骤四，依据步骤三中所得的最优开关动作进行潮流计算，求此开关状态下的网损，得到实际的动作奖励，对critic神经网络进行修正；
步骤五，判断配电网重构过程是否收敛，收敛则配电网重构终止，并输出最终配电网运行状态价值和各阶段开关动作概率，不收敛则返回步骤一对配电网重构方案进行再次校订。
进一步的，所述步骤一中，每个配电网中存在数量有限的联络开关，把一个联络开关闭合形成环网，再将环网中某分段开关打开重新形成辐射状网络的过程称为一个阶段，配电网中联络开关的数量就是配电网重构的总阶段数量，描述阶段的变量称为阶段变量，用i表示，设共有n个联络开关。
进一步的，所述步骤二中，学习内容首先是配电网历史运行中出现的各种运行状态，其次，依据分布式能源和负荷的功率所在区间内的概率分布，对不同的功率值采取对应的概率取样，获得新的状态空间样本。
进一步的，所述步骤三中，配电网运行过程中，确定的配电网中，其拓扑结构、各节点分布式能源和负荷的功率，表述为该配电网运行状态，在配电网重构的第i阶段，配电网运行状态si通过配电网重构动作，转移到运行状态si 1。
进一步的，所述步骤三中，开关动作的寻优过程中，需要考虑的约束条件包括：重构网络辐射式约束、线路容量约束、节点电压约束、潮流约束、dg出力约束。
进一步的，所述步骤四中，在确定的配电网运行状态下，第i阶段某分段开关的开断为一个动作，表示为ai，将每个阶段的动作空间定义为下一阶段的环境，对于配电网重构，当重构完成最终阶段的开关状态选择，形成的配电网运行状态的优劣不一，对重构效果好的重构措施给予正的r值，对重构效果更好的措施给予更高的r值，对效果差的重构措施给予负的r值
式中，ploss,r表示实际重构结果的网损值，ploss表示配电网初始运行状态的网损值。
进一步的，所述步骤五中，是否收敛的判断标准为，当配电网重构实现的最终达到预设最大的迭代次数或者神经你网络的动作概率和状态动作值更新小于设定阈值，配电网重构终止。
本发明的有益效果是：
本发明根据在分布式能源大规模并网的背景下，配电网重构过程中，受环境因素和人为因素等的影响，分布式能源的可用性及配电系统负荷可能与预测不符，若仍按照预想的离线优化方案进行配电网重构，则在实际的重构过程中，可能会出现电压越限的可靠性问题和网损增大的经济性问题，因此事前制定的重构方案虽然可以给调度运行人员一定的指导，但可能无法直接用于实际重构过程；因此，本发明提出的深度强化学习求解配电网重构的方法，基于配电网中分布式能源出力、网络负荷的不确定性问题，运用深度强化学习(drl)算法，针对配电网运行历史中的电源和负荷水平进行最优开关状态选择的预学习，学习完成后，可通过日前神经网络的训练，实现针对含分布式能源的配电网重构在线算法，实现配电网重构的秒级求解，快速得到不同源荷状态配电网的最优拓扑状态。
附图说明：
图1为本发明的理论流程框图。
图2为本发明的分布式能源出力和负荷功率的概率分布图。
具体实施方式：
实施例：参见图1和图2。
基于深度强化学习算法及源荷不确定性的配电网重构方法，根据在分布式能源大规模并网的背景下，配电网重构过程中，受环境因素和人为因素等的影响，分布式能源的可用性及配电系统负荷可能与预测不符，若仍按照预想的离线优化方案进行配电网重构，则在实际的重构过程中，可能会出现电压越限的可靠性问题和网损增大的经济性问题。因此事前制定的重构方案虽然可以给调度运行人员一定的指导，但可能无法直接用于实际重构过程。本发明提出的深度强化学习求解配电网重构的方法，基于配电网中分布式能源出力、网络负荷的不确定性问题，可通过日前神经网络的训练，实现针对含分布式能源的配电网重构在线算法，实现配电网重构的秒级求解。
下面结合附图和实施例对本申请进行详细描述。
构建基于深度强化学习理论的计及分布式能源出力和负荷预测不确定性的配电网重构的理论框图，如图1所示，假设分布式能源出力和负荷功率均服从正态分布，如图2所示。
步骤一，通过日前神经网络，将各时刻的分布式能源、负荷的功率预测值的置信区间离散化为区间形式，进行神经网络的预学习；
步骤一中，每个配电网中存在数量有限的联络开关，把一个联络开关闭合形成环网，再将环网中某分段开关打开重新形成辐射状网络的过程称为一个阶段，配电网中联络开关的数量就是配电网重构的总阶段数量，描述阶段的变量称为阶段变量，用i表示，设共有n个联络开关。
图中，fp,t(pp,t)表示时刻t各节点分布式光伏功率预测值和负荷出力pp,t的概率密度函数。如图所示，t时刻分布式光伏出力和各节点负荷的预期出力的分布区间可以分别表示为[ppv,t-βpvσpv,t,ppv,t αpvσpv,t]、[ppl,t-βplσpl,t,ppl,t αplσpl,t]。其中：σpv,t、σpl,t分别为功率概率分布的标准差；αpv、βpv、αpl、βpl分别为功率实际高于、低于预测值的置信系数。本文在对配电网重构进行训练的过程中，依照其出力的概率在其功率分布区间内随机取值进行配电网重构开关状态的选择。
一般在配电网中，分布式光伏常采取恒功率控制，功率因数
将各时刻的分布式能源、负荷的功率预测值的置信区间离散化为区间形式，各区间长度δp表示为如下形式
式中，k为偶数，pp,t是时刻t的分布式能源或负荷的预测值，其经过离散化后，共包括[0,δp)、…、[pp,t,pp,t δp)、…、[pp,max-δp,pp,max]合计k个区间。设分布式能源或负荷实际出力落于区间[a,b)内，则取状态值为
步骤二，离线学习中，随机地初始化actor神经网络各开关动作概率和critic神经网络各拓扑状态的状态-动作值函数q，在线学习中，采取离线学习获得的神经网络值为初值；
步骤二中，学习内容首先是配电网历史运行中出现的各种运行状态，其次，依据分布式能源和负荷的功率所在区间内的概率分布，对不同的功率值采取对应的概率取样，获得新的状态空间样本。
步骤三，根据现在的开关状态和现在的分布式能源和负荷功率，确定现在的配电网运行状态；在actor和critic神经网络指导下进行mcts搜索各阶段的最优开关动作，在每一阶段均可对actor网络进行更新，直至最终阶段，选择q值最高的开关动作；
步骤三中，配电网运行过程中，确定的配电网中，其拓扑结构、各节点分布式能源和负荷的功率，表述为该配电网运行状态，在配电网重构的第i阶段，配电网运行状态si通过配电网重构动作，转移到运行状态si 1。
步骤三中，开关动作的寻优过程中，需要考虑的约束条件包括：重构网络辐射式约束、线路容量约束、节点电压约束、潮流约束、dg出力约束。
(1)潮流约束
计及分布式能源并网的配电网潮流计算模型。
(2)节点电压约束
ui,min≤ui≤ui,maxi＝1,…,n(3)
即要求节点电压实际值应满足节点电压的上、下限值，一般上限值取1.05，下限值取0.9.
(3)支路容量约束
pi,jk、qi,jk分别表示流经支路jk的有功和无功功率，si,jkmax表示线路的最大复功率传输容量。
(4)dg出力约束
pi,dg、qi,dg分别表示第i个并网的分布式能源的有功出力和无功出力，si,dgn表示第i个分布式能源并网逆变器的容量。
(5)网络辐射式约束
在联络开关闭合形成环形网络后应该断开该环网内某一个分段开关，保证配电网络的辐射状拓扑。
步骤四，依据步骤三中所得的最优开关动作进行潮流计算，求此开关状态下的网损，得到实际的动作奖励，对critic神经网络进行修正；
步骤四中，在确定的配电网运行状态下，第i阶段某分段开关的开断为一个动作，表示为ai，将每个阶段的动作空间定义为下一阶段的环境，对于配电网重构，当重构完成最终阶段的开关状态选择，形成的配电网运行状态的优劣不一，对重构效果好的重构措施给予正的r值，对重构效果更好的措施给予更高的r值，对效果差的重构措施给予负的r值
式中，ploss,r表示实际重构结果的网损值，ploss表示配电网初始运行状态的网损值。
步骤五，判断配电网重构过程是否收敛，收敛则配电网重构终止，并输出最终配电网运行状态价值和各阶段开关动作概率，不收敛则返回步骤一对配电网重构方案进行再次校订。
步骤五中，是否收敛的判断标准为，当配电网重构实现的最终达到预设最大的迭代次数或者神经你网络的动作概率和状态动作值更新小于设定阈值，配电网重构终止。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
1.一种基于深度强化学习算法及源荷不确定性的配电网重构方法，基于配电网中分布式能源出力、网络负荷的不确定性问题，可通过日前神经网络的训练，实现针对含分布式能源的配电网重构在线算法，实现配电网重构的秒级求解，其具体步骤是：
步骤一，通过日前神经网络，将各时刻的分布式能源、负荷的功率预测值的置信区间离散化为区间形式，进行神经网络的预学习；
步骤二，离线学习中，随机地初始化actor神经网络各开关动作概率和critic神经网络各拓扑状态的状态-动作值函数q，在线学习中，采取离线学习获得的神经网络值为初值；
步骤三，根据现在的开关状态和现在的分布式能源和负荷功率，确定现在的配电网运行状态；在actor和critic神经网络指导下进行mcts搜索各阶段的最优开关动作，在每一阶段均可对actor网络进行更新，直至最终阶段，选择q值最高的开关动作；
步骤四，依据步骤三中所得的最优开关动作进行潮流计算，求此开关状态下的网损，得到实际的动作奖励，对critic神经网络进行修正；
步骤五，判断配电网重构过程是否收敛，收敛则配电网重构终止，并输出最终配电网运行状态价值和各阶段开关动作概率，不收敛则返回步骤一对配电网重构方案进行再次校订。
2.根据权利要求1所述的基于深度强化学习算法及源荷不确定性的配电网重构方法，其特征是：所述步骤一中，每个配电网中存在数量有限的联络开关，把一个联络开关闭合形成环网，再将环网中某分段开关打开重新形成辐射状网络的过程称为一个阶段，配电网中联络开关的数量就是配电网重构的总阶段数量，描述阶段的变量称为阶段变量，用i表示，设共有n个联络开关。
3.根据权利要求1所述的基于深度强化学习算法及源荷不确定性的配电网重构方法，其特征是：所述步骤二中，学习内容首先是配电网历史运行中出现的各种运行状态，其次，依据分布式能源和负荷的功率所在区间内的概率分布，对不同的功率值采取对应的概率取样，获得新的状态空间样本。
4.根据权利要求1所述的基于深度强化学习算法及源荷不确定性的配电网重构方法，其特征是：所述步骤三中，配电网运行过程中，确定的配电网中，其拓扑结构、各节点分布式能源和负荷的功率，表述为该配电网运行状态，在配电网重构的第i阶段，配电网运行状态si通过配电网重构动作，转移到运行状态si 1。
5.根据权利要求1所述的基于深度强化学习算法及源荷不确定性的配电网重构方法，其特征是：所述步骤三中，开关动作的寻优过程中，需要考虑的约束条件包括：重构网络辐射式约束、线路容量约束、节点电压约束、潮流约束、dg出力约束。
6.根据权利要求1所述的基于深度强化学习算法及源荷不确定性的配电网重构方法，其特征是：所述步骤四中，在确定的配电网运行状态下，第i阶段某分段开关的开断为一个动作，表示为ai，将每个阶段的动作空间定义为下一阶段的环境，对于配电网重构，当重构完成最终阶段的开关状态选择，形成的配电网运行状态的优劣不一，对重构效果好的重构措施给予正的r值，对重构效果更好的措施给予更高的r值，对效果差的重构措施给予负的r值
式中，ploss,r表示实际重构结果的网损值，ploss表示配电网初始运行状态的网损值。
7.根据权利要求1所述的基于深度强化学习算法及源荷不确定性的配电网重构方法，其特征是：所述步骤五中，是否收敛的判断标准为，当配电网重构实现的最终达到预设最大的迭代次数或者神经你网络的动作概率和状态动作值更新小于设定阈值，配电网重构终止。
技术总结