《基于贝叶斯神经网络方法的短期负荷预测资料讲解.doc》由会员分享，可在线阅读，更多相关《基于贝叶斯神经网络方法的短期负荷预测资料讲解.doc（22页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、Good is good, but better carries it.精益求精，善益求善。基于贝叶斯神经网络方法的短期负荷预测-基于贝叶斯神经网络方法的短期负荷预测摘要：短期负荷预测对于有效的电力系统规划和运营是非常重要的工具。我们在本文提出使用贝叶斯方法来设计一个基于电力负荷预测模型的最优神经网络。贝叶斯建模法比传统的神经网络学习法具有更显著的优势。在其他方法中，我们是通过引用正则化系数的自动调谐，选择最重要的输入变量，引出说明模型输出的不确定性区间及对不同模型进行比较的可能性来选取最优模型的。我们提出的这种方法被应用于现实的负荷数据中。关键词：负荷模型；短期负荷预测；神经网络；贝叶斯理论
2、；模型选择1介绍短期负荷预测（STLF）对于电力系统1的日常运营是必不可少的。对电力系统每小时负载的准确预测能够帮助系统操作员提前一天到一个星期完成各种像发电量的经济预算和燃料采购预算等具体经济调度任务。特别是对峰值需求的预测更加重要，因为电力设备的发电容量必须满足这一要求。由于负荷预测技术会促进更加安全的电力系统运行环境以及更节约的经济成本，许多技术已被用于改善STLF2。在这些技术中，神经网络（NNS）技术的使用在负荷预测领域2,3占主导地位。实际上，实用数据库中历史负荷数据的有效性以及神经网络方法对于输入和输出变量集之间进行非线性映射的驱动的特性使得这种建模工具变得非常受欢迎。然而，就像
3、文献2,4指出的一样，神经网络模型是非常灵活的模型以至于设计一个用于特定应用程序的神经网络是很不容易的。本文的研究内容是基于神经网络模型能够以任意精度值逼近任意连续函数并能提供足够的隐藏神经元数5。但是，这样的特点也有缺陷，即这种精确的的近似对噪音来说也是一种近似。结果，该模型产生了在当新数据被输入时输出能力很差的状况。在神经网络研究领域，这个问题被称为过度拟合，它可能因为神经网络模型过于复杂而产生（即模型中设置了太多的参数）。实际上，在解决某种问题前，有必要对神经网络的复杂程度和待研究的问题之间进行匹配。模型的复杂程度决定了模型的输出能力（由泛化误差或测试误差衡量）。过于简单或者过于复杂的神
4、经网络都会导致低效的预测结果。目前主要有两种方法来控制神经网络的复杂性，即结构选择和正则化技巧。结构选择通过改变神经网络参数（称为权重和误差）的数量来控制复杂性。其中一个最简单的方法是单隐藏层网络的使用，隐藏层中自由量的数目是通过调整隐藏单元的数量来控制。其他方法包括在训练过程中不断增加或修剪网络结构。修剪法采用的方式是先从一个比较大的网络着手，然后再逐步移除用于连接的隐藏单元6-8。正则化技术，通过支持较小的神经网络参数值实现了平滑的网络映射。实际上，事实证明6，估计时使用较小的值能够减小模型过度拟合的趋势。其中一个最简单的正则化的形式被称为权值衰减，正则化系数（也叫权值衰减项）还允许控制正
5、规化的程度。然而，所有这些技术都需要说明参数（即正则化系数，隐藏单元数，修剪参数）的调整以最大限度地提高神经网络的泛化性能。传统上这种控制参数的设置是通过使用所谓的交叉验证（CV）技术进行的。的确，交叉验证提供泛化误差的估计法，进而提供了选择最佳的体系结构或最优的正则化系数的可能性。然而不幸的是，交叉验证技术存在几个缺点。首先，为了估计由隐藏神经元或正规化系数的值改变而导致的一般化误差的变化（这里称为验证错误），交叉验证技术需要一个被称作验证组的单独数据集（训练集需要的数据很少）。隐藏节点的最优数量或正规化系数的最优值和最少的验证错误必须相一致。其次，由于真实数据集中固有噪声的存在而且数据的数
6、量是有限的，人们必须使用不同的数据划分重复多次交叉验证实验来进行训练和验证。这促使了像k-fold交叉验证或leave-one-out等知名交叉验证技术6的发展。最后，交叉验证技术可能变得计算量大且繁琐，而且有关的实例正则化技术以及所占权重较少的衰减系数通常还需要测试。另一个关键问题是确定相关的输入变量。的确，有太多的输入变量，其中那些与输出无关的变量还可能降低该模型的预测精度。这中情况在有限数据集中输出和输入变量之间建立随机关系时特别明显。同样不幸的是，经典的神经网络方法也无法以令人满意的方式完成这种特殊任务。大多数研究人员在短期负荷预测领域都强调需要正确设计神经网络模型，但遗憾的是目前仍然
7、缺乏一致的允许派生最优神经网络模型2,4,9的研究方法。因此，Hippert2指出，一些研究人员怀疑并认为没有系统的证据能够表明神经网络是优于现存的其他标准预测方法（如基于时间序列）的。此外，AlvesdaSilva10指出，人们在不能确定可靠性的情况下不应该进行任何类型的预测，他还指出当时间序列很杂乱时预测是没有意义的。在本文中，我们认为，为了获得电力负荷预测的一个很好的模型，重点要放在对神经网络的设计上。换句话说，传统的神经网络的学习方法必须改进。为此，我们提出了使用贝叶斯技术的神经网络学习概率解释法。MacKay11最初开发了基于贝叶斯方法的神经网络模型。贝叶斯建模法具有显著优于经典神经
8、网络学习过程的优点。在其它方法中，人们可以通过一种称为自动相关性确定（ARD）的特定技术，使用所有可用的数据并选择最重要的输入变量来实现正则化系数的自动调谐。此外，由于这种方法能够计算出模型输出的错误，所以预测的可靠性在我们的研究过程中也被考虑在内。由于我们重点研究神经网络模型，因此寻找最优的神经网络结构在我们看来（即隐节点的最优数量）是很重要的。同样，我们将看到，贝叶斯方法提供了一种选择最优神经网络模型（通过执行模型比较）的方法。在本次研究中，神经网络学习的贝叶斯方法被应用到实际的负荷数据中。这些数据是由法国电力公司提供的。2模型描述和研究的背景为了评估该方法的可行性，我们设计了一个目标是预
9、测第二天同一时刻负载的神经网络。实际上，该模型构成的小时模块，包括确定与过去的负载和天气情况为同一小时的每小时负荷分布之间的非线性关系。这个小时模块是一个通过联合24小时模块而构成的全球性气象预报的一部分（即产生第二天完整的负荷曲线）。文献资料给了我们一些如表1中所示的输入变量的经验值。该组输入通常包含外生变量（与天气有关的变量）和如周末或假日的负荷及过去负载值等指标。很明显，负荷需求和与天气相关的变量之间有很紧密的联系。根据文献2，负载量被称为是外生变量的非线性函数。例如，负荷需求和温度之间的U型散点图已被文献9阐明。这些数据是在2001年从ReunionIsland(21.06S,55.3
10、6E)南方的微型区域收集的。该数据库包含多达1074小时的数据记录。表1神经网络模型的输入3神经网络应用于短期负荷预测的方法我们选择一个神经网络对电力负荷进行建模。确实，在基于模型的神经网络结构以及多项式回归技术中，我们并不需要建立输入和输出之间的明确函数关系。最流行的神经网络类型是一种所谓多层感知器(即MLP)的结构。该结构由一个输入层，一个或多个隐藏层以及一个输出层构成。输入层产生模型的输入向量x，而输出层产生模型的输出向量y。输入向量x是表1所给出的变量x1到x14的单位小时值，输出向量y只包含一个输出量y，这个值是第二天的负荷在同一时刻的预测值。图1显示了一个隐藏层的MLP结构。图1图
11、示为有d个输入和h个隐藏单元的MLP结构，在我们的研究中，d=14（参见表1）输出变量y是第二天同一时刻的负荷值这个隐藏层具有多个非线性的单元（或者说是神经元）。通常我们可以用反正切函数描述这种非线性函数关系（也叫激化函数）。因此，用有d个输入，h个隐藏神经元和1个线性输出单元的神经网络可以定义一个被下面关系式表示的从输入x到输出y的非线性参数映射关系：.4基于贝叶斯神经网络方法的短期负荷预测4.1贝叶斯神经网络的学习原则：神经网络学习的概率法在本文中，我们对贝叶斯推理1215的原则进行了概述并把它应用到神经网络参数的估计中。本节的其余部分总结了文献11所述的贝叶斯方法。本文将表明过度拟合问题
12、可以通过使用贝叶斯方法控制模型的复杂度来解决。贝叶斯方法考虑了权重空间的概率密度函数。该概率密度函数用来表示能够确信采取的权重向量的不同值的程度。概率密度函数的初始设置为某些先验分布，其在数据通过使用贝叶斯定理14观察到的时候转换成一个后验分布。因此，贝叶斯方法不是由经典的最大似然（最小化误差函数）方法来计算单一的“最佳”权重集合，而是构造了一个完整的神经网络参数分布。这个后验分布可以被用来推断网络的输入变量的新值。4.1.1先验由于我们最开始就在想象什么样的权重值应该是合适的，因此先验分布被我们首选为一个广泛分布。这可通过描述先验概率密度是具有较大方差的高斯分布来实现：其中代表所设置的权重和
13、偏移值的方差的倒数，Zw（）表示概率密度函数的标准化常量。在贝叶斯理论中，被称为超参数，因为它控制其它参数的分布。高斯分布的选择简化了分析并允许进一步进行分析。另外，高斯先验的权重选择诠释了前述调整量的概率意义。事实上，前述调整量可以被解释为减去参数的先验概率分布的对数。要注意，权重先前的分布用给定的值来定义是很重要的。因此，就目前而言，我们假设它的值是已知的。在接下来的部分，我们将沿用这一假定。由于我们选择了高斯先验，所以标准化因子Zw（）可由下式给出：我们仍然假定m为神经网络参数的总个数。4.1.2似然函数与噪声模型似然函数的推导和噪声模型的定义是联系在一起的。表示N个样本的训练集D，神经
14、网络学习的目标是找到xi与ti之间的关系R。考虑到这种关系的不确定性以及噪声或者某种其他某种因素的影响，该关系可描述为:其中噪声为表示各种不确定性因素的附加量。在我们的分析中，我们用y(x;w)来近似R（X），即由MLP给出了非线性回归模型。因此，在下文中，我们假设第i个目标变量ti（或被测量量）由输入向量x与附加的独立高斯噪声的一些确定函数给出。此外，如果我们假定误差的分布为正态分布N(0，)，其中那么噪声的分布函数可由下式给出：假设噪声是独立的，那么具有N个噪声的总体联合概率可以写为:然后算出数据和模型的差异并把它带到方程中得到似然函数：5结果与讨论与贝叶斯方法（即数据框架以及ARD技术）
15、相关的短期负荷预测模型是通过使用特定的被称为NETLAB18的MATLAB工具箱来实现的。我们选择连续变化的数据来进行训练和测试，即将693个小时的实时值用来进行神经网络训练，其余的数据则用于测试（包括381个样本）。该模型的性能好坏通过对他们的平均绝对百分误差和均方根误差的计算来进行评估。5.1关于经典神经网络建模方法过度拟合问题的说明（模型1）为了说明过度拟合的问题，突出贝叶斯方法的优点，我们特意选择了具有32个隐藏单元（命名为模型1）的经典神经网络模型来对电力负荷进行建模。有一点很明确，也就是我们事先不会知道隐藏单元的最优数量，除非执行了交叉验证程序。表2列出了在训练集和测试集中获得的模
16、型的性能，图2显示了预测的逐时负荷与实测值。正如我们所看到的，训练集中数据的拟合结果是非常好的，但是在测试集合中它的性能会降低。这种结果是过度拟合的标志。在这里，模型过于复杂，我们必须采用某种方法来降低这种复杂性。在接下来的部分，我们将表明这种过度拟合问题可以通过使用能够控制神经网络复杂性的贝叶斯方法来消除。表2不同模型的性能表现图2经典神经网络模型1（a）训练集（b）测试集5.2贝叶斯神经网络建模方法（模型2）在这个实验中，我们采取了和模型1相同的神经网络结构，但是我们使用贝叶斯方法来预测电力负荷。我们称这个模型为模型2。图3经典神经网络模型2（a）训练集（b）测试集图3和表2（2号线）清楚
17、地表明了贝叶斯方法所带来的改善。事实上，测试数据中的性能已得到增强。贝叶斯神经网络建模方法将测试集数据的均方根误差和平均绝对误差减少了52。图4示出数据框架的趋同趋势。最佳的正则化系数值是0.04。我们还记得，不像传统的神经网络技术，如交叉验证技术，这个最优值是线性优化，即与使用所有训练数据的神经网络权重（能够产生最佳的权重向量）同时进行优化。图4网络结构的超参数值的收敛状况5.3贝叶斯神经网络模型的选择（模型3）关系曲线图6显示了具有1-20个隐藏节点的神经网络模型的表现的记录。正如所看到的，最佳的神经网络结构（即最可能的神经网络模型）对应于具有四个隐藏节点的神经网络。表2（4号线）示出了这
18、种新模型的性能。在这种情况下，通过调整神经网络带来的改善更为显著，测试集数据的均方根误差和平均绝对误差减少了15。5.4输出误差分析下一阶段是通过误差分析来进行预测。图7绘出的了平均预测水平（即神经网络的输出）以及该预测误差分析的1标准偏差（RT）。图5不同网络结构的记录数据6结论在这项工作中，我们提出了一种基于短期负荷预测贝叶斯法的新方法。结果显示，与传统的神经网络技术，如和交叉验证技术相比，该方法能够通过使用数据框架和模型选择而相当有效地处理模型的复杂度问题（如过度拟合问题）。它也提供了选择模型的最重要的输入变量的方法。贝叶斯方法能够进行模型输出的误差计算。后者很自然地考虑了两个因素：一是
19、来源于数据中的固有噪声，另外一个是来源于由后验概率密度的宽度给定参数值引起的不确定性因素。我们今后的工作将致力于稳健模型的设计。换句话说，今后还要设计更好的噪声模型，特别是若能在设计时考虑到模型输入的不确定性，就可以大大提高模型的精确度。我们认为，从事短期负荷预测研究工作的研究人员能够从贝叶斯框架中大大受益，因为贝叶斯方法明确提供了对模型输出不确定性的处理方法。所以，即使使用理论上的复杂建模工具，但如果可以改善预测模型的质量（尽管在实践中，它并不是这种情况），那么这种尝试也是值得的。致谢我们衷心感谢法国电力公司为此项研究提供的数据库。参考文献1SenjyuTH,TakaraK,Funabash
20、iT.One-hour-aheadloadforecastingusingneuralnetwork.IEEETransPowerSyst2002;17(1):1138.2HippertHS,PedreiraCE,SouzaRC.Neuralnetworksforshort-termloadforecasting:areviewandevaluation.IEEETransPowerSyst2001;16(1):4555.3MandalP,SenjyuT,FunabashiT.Neuralnetworksapproachtoforecastseveralhouraheadelectricity
21、pricesandloadsinderegulatedmarket.EnergyConversManage2006;47:2128-42.4ZhangG,PatuwoBE,HuMY.Forecastingwithneuralnetworks.IntJForecast1998;14:3562.5HornikK,StinchcombeM,WhiteH.Multilayerfeedforwardnetworksareuniversalapproximators.NeuralNetworks1989;2(5):35966.6BishopCM.Neuralnetworksforpatternrecogn
22、ition.Oxford:OxfordUniversityPress;1995.7ReedR.Pruningalgorithmsasurvey.IEEETransNeuralNetworks1996;4(5):7407.8LauretP,FockE,MaraTA.AnodepruningalgorithmbasedontheFourieramplitudesensitivitytestmethod.IEEETransNeuralNetworks2006;17(2):27393.9YuanJL,FineTL.Neural-networkdesignforsmalltrainingsetsofhi
23、ghdimension.IEEETransNeuralNetworks1998;9(2):26780.10AlvesdaSilvaAP,MoulinLS.Confidenceintervalsforneuralnetworkbasedshort-termloadforecasting.IEEETransPowerSyst2000;15(4):11916.11MacKayDJC.Informationtheory,inference,andlearningalgorithms.Cambridge:CambridgeUniversityPress;2003.12MalakoffDM.Bayesof
24、fernewwaytomakesenseofnumbers.Science1999;286:14604.13CoxRT.Probability,frequencyandreasonableexpectation.AmJPhys1946;14:113.14SiviaDS.Dataanalysis:aBayesiantutorial.Oxford:OxfordUniversityPress;1996.15JaynesET.Probabilitytheorythelogicofscience.Cambridge:CambridgeUniversityPress;2003.16MacKayDJC.Ap
25、racticalBayesianframeworkforback-propagationnetworks.NeuralComput1992;4(3):44872.17BretthorstGL.Bayesianmodelselection:examplesrelevanttoNMR.In:SkillingP,editor.MaximumentropyandBayesianmethods.Dordrecht,TheNetherlands:KluwerAcademicPublishers;1990.p.37788.18NabneyIT.NETLAB:Algorithmsforpatternrecognition.London:Springer;2002.本文译自：PhilippeLauret,EricFock,RijaN.Randrianarivony,Jean-Franc，Manicom-Ramsamy，Bayesianneuralnetworkapproachtoshorttimeloadforecasting，EnergyConversionandManagement49(2008)11561166.-