基于TL-LSTM的新能源功率短期预测

郑真，朱峰，马小丽，田书欣*，姜皓喆

（1.国网上海市电力公司青浦供电公司，上海 201700；
2.上海电力大学 电气工程学院，上海 200090）

新能源电厂的短期功率预测是保证主动配电网态势预测准确、可靠的重要前提。考虑到新能源出力具有随机性和波动性［1］，不精确的新能源功率预测将影响到主动配电系统对电网全局态势的感知能力［2-4］，不利于配电网的平稳运行。

新能源功率预测属于时序预测问题。早期阶段主要使用统计学方法实现时序预测，如自回归模型、差分自回归移动平均模型［5］等。而随着计算机科学的进步，利用机器学习等数据驱动手段实现时序预测的方法渐渐被重视。长短期记忆网络（Long Short-Term Memory，LSTM）［6］、门控循环单元（Gate Recurrent Unit，GRU）［7］等神经网络均被引入时序预测中，其中LSTM 模型由于其泛用性被大量使用在新能源功率预测中。当前一部分研究集中于改进模型从而提高预测精度。文献［8］利用深度回声状态网络进行光伏功率预测，并利用稀疏高斯混合过程的专家模型对预测误差进行补正。文献［9］引入自组织聚类方法及宽度学习神经网络综合提高光伏预测精度。然而，上述方法很少考虑对训练数据进行处理，目前针对训练数据的处理主要有数据降维［10］和序列分解［11］。文献［12］提出可以通过筛选与目标每日光伏功率数据相近的特征历史数据，使用筛选后数据进行训练可提高模型的预测精度。但由于新能源的不确定性和波动性，筛选后的数据量较少，可被视为信息不足的小样本情况，此环境下模型的精确度较差。类似的，支持向量机［13］、卷积神经网络［14］、BP神经网络［15］等机器学习方法也被使用在时序预测中。但目前电力系统方面关于神经网络在小样本背景下应用的研究较少［16-17］。近年来，迁移学习（Transfer Learning，TL）受到了国内外学者的广泛关注。迁移学习能够将一个模型的特征迁移到另一个模型上。我国新能源投入已有数十年，拥有大量的历史新能源运行数据，这些数据可以为神经网络训练提供充分的辅助数据，可作为迁移学习的迁移来源。

综上所述，为对现有新能源功率预测相关研究进行有效补充和完善，针对新能源的不确定性和波动性，提出了一种基于迁移学习长短期神经网络（Transfer Learning based Long Short-Term Memory，TL-LSTM）模型的新能源功率短期预测方法。首先，在数据筛选过程中，使用能够考虑非线性相关的kshape 算法将海量数据进行聚合；
其次，引入针对时序数据相似性的形态距离指标（Shape-based Distance，SBD）实现辅助数据簇的优化选择；
最后，提出一种基于TL 与LSTM 组合模型的新能源功率预测方法。

新能源往往拥有极为丰富的历史运行数据，包含新能源的输出功率特征、当地气候、光照等。因此利用历史数据驱动的神经网络能够较为精准地预测新能源功率。但是，神经网络需要大量的数据实现模型构建，且网络预测效果也受训练数据的影响。一方面，过多的训练数据增加模型的训练成本。另一方面，没有选择的使用训练数据，会导致模型在训练中学习到大量与目标数据无关的数据特征。这会使得训练好的模型失去针对性，进而导致新能源功率预测的精确性下降。为了充分利用新能源历史数据资源，提升新能源预测的精度。本文提出一种新能源数据预处理方法。

1.1 新能源数据清洗

新能源数据往往会因仪器损坏、传输出错等原因包含异常数据。而异常数据会直接影响预测效果［18］。因此，本文在数据预处理阶段利用孤立森林算法［19］对异常数据进行辨识。

孤立森林算法将异常数据假设为游离于正常数据集外的孤立数据。该算法通过对1个超平面不断进行随机切割，直至切割所生成的每个子平面中只包含1 个数据点。而在切割的过程中，越是孤立的数据点需要切割的次数越少。算法具体过程如下。

（1）孤立森林生成。在整个数据集中不断随机抽取m个样本形成子集，将每个子集视为一棵孤立树的根节点，并对每个子集从根节点开始进行如下操作来生成孤立树。

步骤1：随机指定当前数据集的一个维度，并随机选取一个阈值。

步骤2：将当前数据集按照该维度的阈值划分为2 个子空间，将2 个子空间作为本节点的2 个叶节点。

步骤3：对每个分支的叶节点递归步骤1和步骤2不断生成新的叶节点，直至叶节点只含有1个样本或树的深度达到设定值为止。

（2）异常指标获取。通过利用计算异常指标来估计样本为异常数据的可能性。异常指标值在［0，1］内，越接近1则代表该样本是异常点的可能越大。对于孤立树为k的随机森林，样本x的异常指标计算如下

式中：hi（x）为样本x在第i棵树深度；
E（•）为平均值计算符；
ζ=0.577 215 664 9。

对于辨识为异常的数据，本文利用其前一时刻和后一时刻数据的均值进行替换。

此外，过长的数据会加大神经网络训练成本，且影响后续聚类效果，还需要对数据进行切分。通过指定的单位切分长度对收集的数据进行数据切分

式中：V为切分的长数据集；
vi（i=1，2，…，b）为切分后长度为制定切分长度的数据集；
b为切分后数据集个数；
g（•）为数据切分器。

1.2 基于k-shape聚类的辅助数据簇

新能源功率数据本质上是时序数据，但常规的k-means算法难以对时序数据进行有效聚类。因此，本文利用k-shape 聚类算法进行数据的聚类进而生成辅助数据簇。k-shape 聚类算法是一种基于SBD的时序数据聚类算法。对比时序聚类中最常使用的动态时间规整（Dynamic Time Warping，DTW）类算法，k-shape 算法在保证非线性相关数据聚类效果的情况下获得了更快的计算速度［20］。该算法的核心在于SBD指标及基于SBD质心的计算。

1.2.1 SBD指标

SBD 指标用于判断2 个时序数据间形状的相似性，其值在［0，2］之内。SBD 指标越小代表2 个时序数据的形状越接近，其计算如下

表2 目标数据与光伏数据簇距离Table 2 Distances between the target data and PV data clusters

式中：x→，y→为需要计算距离的时序序列；
w为位移次数；
R0（•）为内积操作符；
CCw（•）为互相关系数计算式；
k∈{1 -s，2 -s，…，0，…，s- 2，s- 1}；
s为序列y的总长。

1.2.2 基于SBD的质心计算

常规的k-means 聚类算法中所采用的基于均值的质心计算并不适合形状聚类。因此，k-shape 聚类算法将寻找序列质心的问题转化为最优化问题，以求解与聚类内所有序列距离最近序列x，从而得到能够反映簇内时序数据形状特征的质心。基于SBD的时间序列质心计算如下

利用聚类过程中产生的质心序列作为对应数据簇的标签，并按照下式获得辅助数据簇

式中：X→aim为目标数据；
μ̂为辅助数据簇所对应的质心序列。

上文中所获取的辅助数据簇包含大量与目标序列相似的新能源历史信息。为有效构建数据驱动的预测模型，本文使用适合处理时序数据的LSTM 神经网络完成预训练模型的构建，并利用预训练模型实现迁移学习，实现对目标序列的预测。

2.1 迁移学习理论

本文所提迁移有两方面的含义。一方面为数据的迁移，本文旨在利用大量的外源新能源数据进行网络的训练，而这些数据并不一定与目标数据来源于同一厂站，这些外来数据经过预处理后被用于目标数据的训练。另一方面为模型的迁移，本文所提模型与常规神经网络训练不同，需要经过数次网络的训练。网络先通过筛选后的数据簇进行预训练，然后利用目标序列进行再训练。其中，若将预训练模型视为非线性函数则可以将其表示为

式中：Dpre为构建预训练模型时使用的的样本；
Ypre预训练样本对应的标签；
fpre为预训练模型。

则迁移模型可以表示为

式中：Dtr为训练迁移模型时使用的样本；
Y为样本对应的标签；
Laim为迁移模型。

2.2 LSTM 模型

本文使用LSTM 模型作为迁移模型和与训练模型的实现形式。LSTM 基本记忆模块由遗忘门、输入门、输出门所构成［21］，拥有长期、短期2 种单独的记忆状态，通过这种结构保证网络不会丢失数据的时序关联性。LSTM基本单元结构如图1所示。

图1 LSTM 基本单元结构Fig.1 Structure of the LSTM basic unit

由图1 可知，遗忘门决定长期记忆状态ct-1中被保留的部分，输入门决定当前输入xt中被保留的部分及长期状态ct的输出，输出门决定当前单元状态ht的输出，其计算公式如下

式中：ft，it，ot，ct，ht分别为遗忘门、输入门、输出门、长期记忆单元和输出单元的状态矩阵；
σ为sigmoid 激活函数；
ĉt为当前记忆单元状态的候选细胞向量；
wf，wi，wo，wc分别为遗忘门、输入门、输出门和记忆单元的权重矩阵；
bf，bi，bo，bc分别为遗忘门、输入门、输出门和记忆单元的偏置项；
tanh（•）是激活函数；
⊗表示矩阵对应元素相乘。

利用神经网络进行短期预测时，常出现所预测的t+1 时刻值与实际数据t时刻值极度接近的情况，如图2所示，本文称之为“滞后”现象。

图2 预测滞后示意Fig.2 Prediction lag

该问题是由时序数据的自相关性及神经网络追求损失最小化的特性共同导致。出现滞后现象时，网络并没有实现预测功能，仅仅将本时刻数值作为预测结果输出，属于无效预测。为了避免此类事件的发生，本文采用差值化方法处理训练集标签，公式如下

式中：f（•）为代表神经网络；
din，t为t时刻样本所对应的历史信息输入；
oin，t为t时刻样本对应的外源数据输入；
st+1为t时刻样本对应的标签，st+1=dt+1，step-dt，step，即下一刻目标数据与当前时刻目标数据的差值；
step为t时刻输入片段的长度。

2.3 TL-LSTM 预测模型

利用上述理论，可构建TL-LSTM 模型。其中，预训练模型可以表示为

式中：Dsis为利用辅助域数据所构成的样本；
Ssis为辅助域样本经过差值处理之后得到的样本标签；
fLSTM为预训练的LSTM模型。

则最终TL-LSTM模型可以表示为

式中：Daim为新能源功率序列所构建的输入样本；
Saim为样本对应标签经过差值化处理所获得的训练标签；
LLSTM为最终的TL-LSTM模型。

基于TL-LSTM 模型的新能源功率预测方法的流程如图3所示，具体步骤如下。

图3 新能源功率短期预测流程Fig.3 Process for short-term forecasting on new energy power

（1）利用外源新能源功率历史数据作为生成辅助数据簇的原始数据，并对其进行预处理。通过孤立森林算法实现异常数据辨识并进行替换。将清洗后的数据切分为单位片段。

（2）对切分好的数据集利用k-shape算法进行聚类，聚类前使用肘方法确定聚类数量。将质心序列作为每个聚类的标签。

（3）用每一个数据簇分别训练LSTM 模型，得到若干预训练LSTM 模型，并使用每个聚类簇的质心序列作为各个模型的标签。

（4）使用SBD 计算各聚类标签和目标序列间的距离，获取最近的聚类标签及对应预训练模型。

（5）利用预训练模型进行模型迁移，并且利用目标新能源数据进行TL-LSTM 的训练，得到训练好的TL-LSTM模型。

（6）利用TL-LSTM模型进行新能源功率预测。

本算例中，需要进行态势预测的目标数据来自中国某实际风电场和光伏电站所提供的小段时序片段，生成辅助域的数据来自于同地区其他风电场和光伏电站的历史数据。

3.1 新能源数据预处理阶段

首先对原数据进行数据填补和异常数据的处理，且按照30 d 的时间跨度将数据切分为长度相等的若干待处理数据。

为对数据进行k-shape聚类，需要先利用肘方法确定最适宜的聚类数量。风电数据的聚类数与簇内聚合度关系曲线如图4 所示，光伏数据的聚类数与簇内聚合度关系曲线5所示。

图4 风电聚类数量确认Fig.4 Confirming the number of wind power clusters

图5 光伏聚类数量确认Fig.5 Confirming the number of PV clusters

由肘方法可以确定，2 种数据的最优聚类数量皆为8。利用k-shape 方法进行聚类，图6—7 分别显示两类数据的聚类结果中的前3个聚类，图中，以风机容量5 MW 为基准，图像纵坐标采用百分比显示，红色曲线为每个聚类的标签序列。

图6 风电聚类结果Fig.6 Results of wind power clustering

3.2 风力及光伏功率预测阶段

本算例中，分别使用长度为8 日的风电数据和长度为5日的光伏数据作为目标序列。利用SBD 指标对各辅助数据簇进行距离判断，结果见表1—2。由计算结果可知，与目标风力数据最接近的是6 号聚类簇，与目标光电数据最接近的是8号聚类，通过LSTM训练生成对应与训练模型。

表1 目标数据与风力数据簇距离Table 1 Distance between the target data and wind data clusters

利用目标序列的80%数据作为微调用训练集，余下20%数据作为验证集。所选光伏数据测试集中存在神经网络较难预测的大波动数据区段［22］，以此进一步检验模型效果。为体现本文所提方法的有效性，设置对照组，分别为直接使用目标数据训练的LSTM 模型、GRU 模型以及双重注意力长短期记忆网络（Dual-stage Attention-based Long Short -Term Memory Network，DA-LSTM ）模型［23］。所有模型的超参数均相同，设置学习率为0.003，批尺寸为32，数据输入步长为96，迭代次数为1 500，训练集采用差值化处理。结果分析时，利用平均绝对误差（MAE），均方根误差（RMSE），决定系数（R2）3 类指标对4种模型的预测结果进行评估预测结果。风电选取整日时段，光伏只选取06：00—20：00有效功率时段，预测结果评估见表3—4，预测结果如图8及图9所示。

表3 风电预测结果评估Table 3 Evaluation metrics for wind power forecast results

由图8、图9 可知，差值方法能够有效地抑制神经网络预测中产生的滞后问题。避免了网络预测过程中出现无效预测行为的可能，预测结果能够真实反映模型的预测能力。这使得评估指标间的比较更具有价值。

图8 风电预测结果Fig.8 Predicted wind turbine outputs

图9 光伏预测结果Fig.9 Predicted PV outputs

图7 光伏聚类结果Fig.7 Results of PV clustering

由风电功率的预测结果可知，各个模型的R2指标均高于0.800 0，拟合程度较高。LSTM 模型和GRU 模型的各项指标均非常接近；
DA-LSTM 模型的3 类指标均优于LSTM 模型与GRU 模型，其结构中的双重注意力机制使网络能够关注于时序数据的重要特征，提升模型的预测精度；
TL-LSTM 模型的3类预测效果指标均优于其他模型。由光伏数据预测结果可知，所有模型的R2指标均低于0.8，拟合程度较低，TL-LSTM 的预测效果仍要比其他3 类模型更好。

表4 光伏预测结果评估Table 4 Evaluation metrics for PV forecast results

综上可知，TL-LSTM 模型对两类不同特征的新能源均能获得较好的功率预测效果。这是由于本文所提迁移学习方法的本质就是使用外来电厂的大量相似数据对目标数据进行扩充。尤其是在光伏算例中，面对历史数据中不常见的大波动数据，TL-LSTM 模型仍可以保持较好的预测精度。此外，考虑到本算例使用的训练数据相较于常规神经网络训练所用数据更少，所提TL-LSTM 模型也可以应用于小信息环境下的新能源预测。

本文基于TL 和LSTM 的组合模型提出了一种新能源功率的短期预测方法，并通过理论分析和试验验证得到如下结论。

（1）本文采用的差值预测方法抑制了神经网时序预测时常出现的“滞后”现象，保证了模型的有效性，避免了无效网络预测行为的出现。

（2）本文所提的k-shape 聚类算法以及基于SBD的聚类选择方法可有效地在外来新能源数据中提取与目标数据最接近的数据，并能够借助该数据实现对原数据集的扩充。

（3）算例分析可知，本文所提迁移学习方法具有一定鲁棒性，且能应用于小样本背景下数据量不足时的新能源功率预测。

（4）本文所提方法适用于环境相对稳定的常规新能源电站，对于海上风电这类极易发生时序数据突变的站点而言，需要构建相关的突变预测模型来进行态势预测，具有一定局限性。因此，后续研究工作也将围绕着这些内容展开。

猜你喜欢时序聚类新能源清明小猕猴智力画刊(2022年3期)2022-03-28基于不同建设时序的地铁互联互通方案分析铁道建筑技术(2020年11期)2020-05-22基于K-means聚类的车-地无线通信场强研究铁道通信信号(2019年6期)2019-10-08基于FPGA 的时序信号光纤传输系统电子制作(2017年13期)2017-12-15基于高斯混合聚类的阵列干涉SAR三维成像雷达学报(2017年6期)2017-03-26买不买新能源汽车瞭望东方周刊(2016年40期)2016-11-02基于Spark平台的K-means聚类算法改进及并行化实现互联网天地(2016年1期)2016-05-04基于模体演化的时序链路预测方法自动化学报(2016年5期)2016-04-16基于改进的遗传算法的模糊聚类算法智能系统学报(2015年4期)2015-12-27绿色新能源小学生导刊(高年级) (2006年6期)2006-06-27