基于深度分布式强化学习的电力系统分散协调调度方法
时间：2023-01-26 10:00:05 来源：柠檬阅读网 本文已影响 人 
潮 铸段秦尉钱 峰黄红伟薛艳军
(1.广东电网电力调度控制中心，广东 广州 510080；
2.北京清大科越股份有限公司，北京 100084)
随着风光等可再生能源发电不断并入电力系统传统发电、输电、配电和用电等电网，尤其是大量并入低电压等级电网，如配电网，使传统配电网由单纯的被动受电逐渐具有主动供电能力，且主动性随着可再生能源发电的并入量越来越明显，由此使配电网具有受电和供电的双重性，引起了国内外专家学者的高度重视[1-3]。
针对主动配电网中风电、光电具有随机性、波动性特点，使得主动配电网具有“源”或者“荷”状态的不确定性，在实施电力系统调度过程中，增加了电力系统调度和控制的难度[4-5]。
对此问题，国内外专家学者进行了深入的研究，从研究思路上来说，主要可以分为两类:第一类是集中式的电力系统调度控制方法，第二类是分布式的电力系统调度控制方法。
对于第一类的研究来说，主要思路是采用集中的方式建立“源”“网”“荷”联合调度的优化模型，如文献[6-8]考虑到可再生能源的不确定对电网调度的影响，将需求响应和电动汽车结合，能够有效降低电网调度的风险；
文献[9-11]综合考虑了传输限制的风电、燃气机组等不确定性的协同优化调度模型；
文献[12-14]通过考虑风力发电、网络拓扑结构、光伏发电、微型燃气轮机、储能等不确定因素，建立了动态优化的综合调度模型。对于集中式的经济调度方法来说，其通常做法是在调度中心通过获得的各个部分信息(如发电、负荷、网络等状态)建立以经济成本最小为目标的最优模型，使用多种方法予以求解。然而，随着可再生能源发电越来越多分散在电力系统各个部分(如主动配电网各个地域)，使传统集中式调度方法存在通信网络、大数据量并发、计算效率、局部故障容易引发全局故障等问题，使集中式调度方法具有一定的困难。
为了解决集中式的困难，分散式调度方法应运而生。对于第二类的研究来说，主要研究思路是采用分散或分布式方式建立“源”“网”“荷”的调度优化模型，如文献[15-17]提出了可再生电源以微电网为单元的分散协调调度方式；
文献[18-20]考虑到分布式优化框架下参与主体为了获得更多利益而遵循其私有设置的优化算法，从而破坏全局最优配置，在分解协调算法和纯分布式算法基础上，提出了基于区块链共识机制的多区域最优潮流分布式算法；
文献[21-23]采用一致性算法，将“源”“网”“荷”的不确定嵌入其中，提出了源网荷完全分布式的优化调控策略。
对于分散式的经济调度方式而言，目前主要的做法是建立分散式的算法、优化模型以保证在全局范围内的资源配置最优，然而该类方法忽略了多个区域在分散协调过程中，可能因为局部区域为了获取自身利益最大而协调虚假信息，从而无法实现全局最优。本文以此为切入点，在强化学习方法的基础上，提出了局部分散、全局集中的深度强化学习的经济调度方法。
根据前述，要实现主网、配网之间的分散协调以达到全网最优，主网、配网内部实现区域自治，二者之间实现协调。
1.1 主动配电网源荷潮流模型
由于实际的配电网呈现辐射状网络，因此对于如图1 所示具有n+1 的节点的配电网来说，其潮流方程为:
图1 辐射状配电网结构图
式中:Pjk、Qjk分别表示配电网中支路为jk的有功潮流、无功潮流；
rij、xij分别表示支路为ij的等值电阻和等值电抗；
Pj和Qj分别表示节点j的注入有功功率和无功功率；
Vi和Vj分别表示节点i和j的电压幅值；
Iij表示支路ij中流过的电流幅值。
为了解决配电网辐射状潮流计算的收敛性问题，设:
将式(2)代入式(1)中，对式(1)进行二阶锥变换:
在24 h 的日前经济调度过程中，在时刻t的潮流计算过程中节点j的注入功率可以表示为:
在日前调度至在线调度的滚动过程中，t时刻的节点j上的功率变化分别为:
1.2 成本最低的目标函数
主电网、主动配电网以及分散的微电网之间相互协调的目的是使全网的成本最小，即:
式中:T表示经济调度的时段总数，Ns表示微电网总数。对于24 h 的日前调度，一般以15 min 为一时段；
C1表示在日前调度时段内的成本；
C2表示在线调度时段内的成本。
对于式(6)中的C1成本，可以表示为:
对于式(6)中的C2成本，可以表示为:
1.3 目标函数的约束
要实现目标函数的潮流计算，需要满足多种计算约束条件。
首先，系统潮流需要满足如下的约束:
其次，对于微小型燃气机的运行需要满足如下约束:
第三，对于无功补偿器，需要满足如下约束:
第四，主电网、配电网之间的协调约束:
第五，主动配电网与微电网中的可再生能源发电之间的协调约束:
2.1 成本最低的目标函数
微电网存在于配电网中，是由单独或者小范围的可再生能源发电及其负荷组合而成，由此可知微电网中由于可再生能源的波动性和间歇性，有时对外发电，有时需要购电，即微电网与配网之间要交互电能，由此构建经济调度成本最小的目标函数为:
式中:C3表示24 h 前的调度成本；
C4表示在线调度成本。
对于式(14)中的24 h 前的调度成本可以表示为:
对于式(14)中的在线调度成本可以表示为:
2.2 目标函数的约束
要实现式(14)的计算，需要满足一系列的约束条件，下面分别介绍。
第一，微小型燃气机的有功出力约束:
第二，有功潮流的平衡约束:
3.1 强化学习
强化学习(Reinforcement Learning，RL)源自人工智能领域中的一种控制方法，它的基本原理是设置优化控制的规则，在该规则下引导智能体不断探索并最终收敛到最优值[21]。
设S表示状态空间，A表示动作空间，R表示奖赏函数，P表示状态转移概率，γ表示折扣引子，那么可以建模一个五元素组合为:
在上述五元素中，制定一个策略:
那么策略π(s)表示在状态集合S中的选择一个状态s进行动作所产生的策略。这个策略的质量由评价函数Vπ(s)来计算:
式(21)实际是表示在状态s下执行策略π 得到的一个累积奖赏的期望值。式(21)具有递归特性，可以展开表示为:
由式(22)可见，对于给定的一个式(19)，驱动式(21)寻找一个获得最大奖赏值的策略，即最优策略:
在式(23)的基础上，Watkins 提出了无模型的Q型强化学习方法。该方法通过优化可迭代计算的动作值函数Q(s，a)，来寻找一种策略，该策略能够使得期望的折扣报酬累加值最大，即任意给定一个策略π，定义Q函数为:
模型式(24)的基本思路是在任意一种策略情况下，即未知转移概率和所获得报酬的情况下，来不断试探并最终找到策略的最优Q*值:
试探迭代公式为:
3.2 分布式强化学习
由上述的强化学习原理和过程可知，强化学习过程其实就是将式(19)中的各个元素划分为多个离散的区间，在这些离散的区间内通过不断试探，寻找最优的策略。
由此，可以进一步提出分布式强化学习的思路，即将强化学习过程(如式(24)～式(26))看成多个智能体独立动作和协调动作，每个智能体独立完成一部分工作，然后经过多次协调完成整体最优动作。
从数学模型上讲，分布式强化学习Q(λ)实际是一个多步回溯函数，在通过试探寻优过程中，利用资格迹来更新其值函数:
式中:k表示迭代过程标记；
a表示学习因子，通常取0.999；
ek(s，a)表示在第k步的迭代过程中的资格迹；
R(sk，sk+1，ak)表示第k次的迭代过程中，在动作ak的驱动下将状态sk转换到sk+1的奖励。
式(27)的动作选择面临多种机制，如贪婪、探索、回退等，本文提出概率机制来确定动作:
式中:β表示迭代频率大小，本文取0.999；
表示第k次迭代过程中状态s被动作a执行的概率大小。
4.1 强化学习建模
通常来说，对于微电网中的可再生能源和负荷具有对外售电、购电双重不同场景行为，这是贯穿在主电网、配电网、微电网协调过程中，即目标是:(1)有功功率平衡；
(2)主电网、配电网、微电网三者的成本目标函数最小。
为了实现这两个目标，在强化学习模型中需要设置局部奖惩函数、全局奖惩函数。
4.1.1 局部奖惩函数
对于主电网、配电网、微电网中各个局部的强化学习智能体的奖惩函数设置为:
式中:R1与电价有关；
R2为发电成本；
R3表示惩罚项。
式(29)中的R1，R2，R3分别为:
式中:u表示实时电价；
R2表示发电成本，β1，β2分别由表示可再生能源发电、常规电源成本参数；
R3表示强化学习过程中的惩罚项，λ1，λ2，λ3，λ4分别表示权值，设置为5，10，15，20；
参数e1，e2，e3表示有功功率变化ΔP范围取值。
由式(32)可见，当有功功率偏差ΔP越小，对应的惩罚项越小，而偏差越大，对应的惩罚项就越大，这时就能够驱动强化学习的智能体动作减小，以至于改变动作。
4.1.2 全局奖惩函数
所谓的全局奖惩函数就是指主电网、配电网、微电网之间进行交互协调时的奖惩函数。
4.2 分布式最优强化学习
根据分布式强化学习原理，设分布式强化学习式(28)中的动作空间A划分为h个离散区间，状态空间S划分为g个离散空间，由此形成h×g阶动作-状态矩阵。
本文提出的分布式最优强化学习就是对主电网、配电网、微电网各个独立的个体进行奖励累加为全局奖励，那么可以定义如下的强化学习模型:
为了在有功功率协调过程中保证电压稳定，即无功补偿设备的投入量(式(10)和式(11))，在有功功率动作集合中选择动作atP进行强化学习:
式(37)的最优策略可以通过迭代获得:
采用如图2 所示的某实际主电网、配电网、微电网对本文算法予以验证。图2 所示系统中共包含33 个辐射状配电网节点，其中包含4 个微小型燃气机MT、3 个微电网(MG1、MG2、MG3)、1 台微型风力发电机、4 个静止无功发生器(Static Var Generator，SVG)，其他为负荷节点。
图2 某实际电网
在3 个微电网MG1、MG2、MG3 中，MG1 包含了1 台微小型燃气机和1 台微型光伏发电机，MG2 包含了1 台微小型燃气机，MG3 包含了1 台微小型燃气机和1 台微型风力发电机。
配电网的有功负荷具有相似的波动曲线，某一周内7 d 每天24 h 的负荷曲线如图3 所示。
图3 某周7 天的日负荷曲线
假设用于调度的微电网内的风力发电和光伏发电曲线每天24 h 具有相似曲线特性，如图4 所示。
图4 微电网中的光伏发电、风力发电曲线
主电网、微电网不同时段的电价如表1 所示。
表1 主电网和微电网电价 单位:/元
为了验证本文算法的有效性，在MATLAB 仿真平台编写算法，使用MATPOWER 软件包实现潮流计算过程。
为了与本文所提出的分散协调的调度结果比较，采用如下的多种调度策略:
策略1 传统集中式优化调度策略，即将主电网、配电网、微电网一起优化调度。
策略2 分散协调的优化调度策略，即将主电网、配电网、微电网中的传统发电方式作为电源进行分散协调。
策略3 本文策略，即分散协调的优化调度策略，充分考虑传统发电和可再生能源发电。
经过分别测试，三种策略的结果如表2 所示。由表2 可见，策略1 与策略2 无论在主网、配网、微网的成本差别不大，主要原因是这两种策略都没有考虑可再生能源发电的参与，只是采用传统的发电满足负荷的运行模式。策略3 是在可再生能源发电参与的情况下的结果，由于可再生能源发电的成本相对较低，消耗主网、配网和微网中的传统电源较少，因而总成本较低。
表2 不同调度策略结果比较
表2 是从不同调度策略的情况下分析结果。通过进一步分析三种不同策略运行过程中发现:对于第一种策略来说，配网中的负荷主要靠主电网电源来满足。同理，对于第二类策略中虽然采用分布式的解决方式，但在调度过程中没有考虑可再生能源，但使用了微小型燃气机，因而配电网中的负荷主要由主电网中的电源和微小型燃气机提供。对于第三种策略来说，由于设置强化学习方法中惩罚因子，即在舍弃风电、光伏时惩罚因子较大，因而迫使调度过程中始终使用可再生能源发电，因而使总体成本较低。
针对电力系统主电网、配电网和微电网中可再生能源发电日益增多问题，提出了分布式强化学习方法以实现主电网、配电网和微电网的分散协调，通过实际算例的仿真验证可得如下结论:
(1)充分调度主电网、配电网和微电网中的可再生能源发电，能够降低系统成本，节能减排。
(2)与集中式调度方式相比，分布式调度策略更能够最大化消纳可再生能源，使各个部分成本都达到最低。
总之，通过分散式交易方式能够加大交易市场的灵活性，符合资本运作的实际。但是经过实验发现，分布式计算时间较长，这与交易次数有关，因此对于大型电力系统而言，计算耗时较大，这也是后续需要解决的关键问题。
猜你喜欢 分布式配电网发电 基于RTDS的分布式光伏并网建模研究湖南电力(2022年3期)2022-07-07“发电”环球时报(2022-06-15)2022-06-15柠檬亦能发电?科学大众(2021年9期)2021-07-16含风光发电的互联电力系统自动发电控制论述科学家(2021年24期)2021-04-25配电网FTU配置优化方法研究电子制作(2019年16期)2019-09-2710千伏配电网线损原因与管理策略探析活力(2019年22期)2019-03-16关于城市10kV配电网自动化实施的探讨电子制作(2018年8期)2018-06-26基于预处理MUSIC算法的分布式阵列DOA估计制导与引信(2017年3期)2017-11-02分布式并联逆变器解耦电流下垂控制技术燕山大学学报(2015年4期)2015-12-25家庭分布式储能的发展前景汽车电器(2014年5期)2014-02-28
