最小二乘参数辨识方法及原理(201210版)ppt课件.ppt

《最小二乘参数辨识方法及原理(201210版)ppt课件.ppt》由会员分享，可在线阅读，更多相关《最小二乘参数辨识方法及原理(201210版)ppt课件.ppt（188页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、系统辨识第第3章章 最小二乘参数辨识方法最小二乘参数辨识方法主讲教师：赵主讲教师：赵 龙龙办公地点：新主楼办公地点：新主楼E402网网 站：站：Email：1、最小二乘辨识的基本概念2、一般最小二乘辨识方法3、加权最小二乘辨识方法4、递推最小二乘参数辨识方法5、处理有色噪声的最小二乘法6、多变量最小二乘辨识方法 本章内容本章内容 本章的学习目的本章的学习目的1、掌握最小二乘参数辨识方法的基本原理2、掌握常用的最小二乘辨识方法3、熟练应用最小二乘参数辨识方法进行模型参数辨识4、能够编程实现最小二乘参数辨识1、问题的提出、问题的提出vbtaR1、问题的提出、问题的提出辨识目的：辨识目的：根据过程所

2、提供的测量信息，在某种准则意 义下，估计模型的未知参数。ProcessInputOutputvbtaRt()203251738895R()76582687394210101032a, b1、问题的提出、问题的提出辨识目的：辨识目的：根据过程所提供的测量信息，在某种准则意 义下，估计模型的未知参数。ProcessInputOutput工程实践 目 的模型结构参数辨识模型校验模型确定例子：例子：是谁打中的呢？是谁打中的呢？某位同学与一位猎人一起外出打某位同学与一位猎人一起外出打猎猎 . .一只野兔从前方窜过一只野兔从前方窜过 . .如果要你推测，如果要你推测，你会如何想呢?只听一声枪响，野兔应声倒

3、下只听一声枪响，野兔应声倒下 . .1、问题的提出、问题的提出1、问题的提出、问题的提出一般人会想，只发一枪便打中一般人会想，只发一枪便打中, ,猎人命中的概率一般猎人命中的概率一般大于该同学命中的概率大于该同学命中的概率. . 看来这一枪是猎人射中的看来这一枪是猎人射中的. . 辨识准则：辨识准则：以观测值的出现概率最大为准则。思路：思路：设一随机试验已知有若干个结果,，如果在一次试验中发生了，则可认为当时的条件最有利于发生，故应如此选择分布的参数，使发生的概率最大 。该例子所作的推断已体现了极大似然法的基本思想该例子所作的推断已体现了极大似然法的基本思想. .ProcessInputOut

4、put1、问题的提出、问题的提出极大似然：极大似然：构造一个以数据和未知参数为自变量的似然函数。ProcessInputOutput)|(maxZPJ缺点：缺点：?要求：要求：?1、问题的提出、问题的提出极大似然：极大似然：构造一个以数据和未知参数为自变量的似然函数。ProcessInputOutput)|(maxZPJ要求：独立观测条件下，知道输出量的概率分布要求：独立观测条件下，知道输出量的概率分布缺点：输出量概率密度分布未知，极大似然无法工作缺点：输出量概率密度分布未知，极大似然无法工作 计算量大，得不到解析解计算量大，得不到解析解m次独立试验的数据),(11zt),(22zt),(mm

5、zt)()()()(22110thathathaatynn )(kG )(kt)(ky)(kv)(kz )(kG )(kt)(ky1、问题的提出、问题的提出)()()(kvkykzm次独立试验的数据),(11zt),(22zt),(mmzt)()()()()(22110kvkhakhakhaakznn zt)(tf1795年，高斯提出了最小二乘方法。 )(kG )(kt)(ky)(kv)(kz1、问题的提出、问题的提出 未知量的最可能值是使各项实际观测值和计算值之间差的平方乘以其精确度的数值以后的和为最小。1795年，高斯提出的最小二乘的基本原理是1、问题的提出、问题的提出Gauss（1777

6、-1855）)()()(kvkykz使使 最小最小mkkykzkw12| )()(| )( 未知量的最可能值是使各项实际观测值和计算值之间差的平方乘以其精确度的数值以后的和为最小。1795年，高斯提出的最小二乘的基本原理是1、问题的提出、问题的提出Gauss（1777-1855）)()()(kvkykz使使 最小最小mkkykzkw12| )()(| )(2、最小二乘辨识方法的基本概念、最小二乘辨识方法的基本概念通过试验确定热敏电阻阻值和温度间的关系 当测量没有任何误差时，仅需2个测量值。 每次测量总是存在随机误差。btaRiiiiiibtayvRyv或2.1 利用最小二乘法求模型参数利用最小

7、二乘法求模型参数根据最小二乘的准则有NiiiNiibtaRvJ1212min)(根据求极值的方法，对上式求导NiiiibbNiiiaatbtaRbJbtaRaJ110)(20)(2NiiiibbNiiiaatbtaRbJbtaRaJ110)(20)(2NiNiiiNiiiNiNiiitRtbtaRtbaN1112112112111211211121NiiNiiNiiNiiNiiiNiiNiiNiiNiiiNiiNiittNtRtRNbttNttRtRa2.1 利用最小二乘法求模型参数利用最小二乘法求模型参数762.702 a4344. 3bCt 70168.943R21121112112111

8、21NiiNiiNiiNiiNiiiNiiNiiNiiNiiiNiiNiittNtRtRNbttNttRtRabtaR2.2 一般最小二乘法原理及算法一般最小二乘法原理及算法 )(kG )(ku)(ky)(kv)(kz图 3.4 SISO 系统的“灰箱”结构 nnnnzazazazbzbzbzuzyzG221122111)()()(niiniiikubikyaky11)()()(2.2 一般最小二乘法原理及算法一般最小二乘法原理及算法 )(zG )(ku)(ky)(kv)(kz图 SISO 系统的“灰箱”结构 若考虑被辨识系统或观测信息中含有噪声 )()()()(11kvikubikyakzn

9、iinii)()()()(11kvikubikyakzniinii)(,),2(),1(),(,),2(),1()(nkukukunkykykykh如果定义Tnnbbbaaa,2121)()()(kvkhkz2.2 一般最小二乘法原理及算法一般最小二乘法原理及算法)()()(kvkhkz)()2() 1 (mzzzZm)() 1()() 1()2 () 1 ()2 () 1 ()1 () 0 ()1 () 0 ()() 2 () 1 (nmumunmymynuunyynuunyymhhhHmTnnbbaa11TmmvvvV)()2() 1 (2.2 一般最小二乘法原理及算法一般最小二乘法原理及

10、算法mmmVHZ )(zG )(ku)(ky)(kv)(kz图 SISO 系统的“灰箱”结构 2.2 一般最小二乘法原理及算法一般最小二乘法原理及算法min)()()(mmTmmHZHZJ0)(2mmTmHZHJmTmmTmZHHH2.2 一般最小二乘法原理及算法一般最小二乘法原理及算法mTmmTmZHHH1)(2.2 一般最小二乘法原理及算法一般最小二乘法原理及算法mTmmTmZHHH1)(mmmVHZ zt)(tf2.2 一般最小二乘法原理及算法一般最小二乘法原理及算法 最小二乘法的几何解释mmmVHZ)()2() 1 (mzzzZm)() 1()() 1()2 () 1 ()2 () 1

11、 ()1 () 0 ()1 () 0 ()() 2 () 1 (nmumunmymynuunyynuunyymhhhHmTnnbbaa11的线性组合维空间中基向量是)(),2(),1 (mhhhmZm的近似是在最小二乘意义下对mmZH的张成的空间的投影。在应该等于)(),2(),1 (mhhhZHmm2.2 一般最小二乘法原理及算法一般最小二乘法原理及算法 最小二乘法的几何解释222VHZ2Z) 1 (h)2(hV2H)2() 1 (2zzZTnnbbaa11)2() 1 (2hhH2.2 一般最小二乘法原理及算法一般最小二乘法原理及算法11)()()(mTmmTmmTmTHHRHHHHE0)

12、|(|limmmp最小证明：mTmmTmZHHH1)()()()(1mTmmTmVHHHEEE)()(1mmTmmTmZHHHHmTmmTmVHHH1)(0mTmmTmmTmmTmZHHHHHHH11)()()()()(1mTmmTmVEHHH2.2 一般最小二乘法原理及算法一般最小二乘法原理及算法如果由测量噪声及模型误差等引起的误差如果由测量噪声及模型误差等引起的误差V 的均值为的均值为0，且，且V与输入矢量与输入矢量Hm是统计独立，最小二乘的估计值是无偏的。是统计独立，最小二乘的估计值是无偏的。11)()()(mTmmTmmTmTHHRHHHHE证明：11)()()()(mTmmTmmTm

13、mTmTHHHVVEHHHE11)()(mTmmTmmTmHHRHHHH根据第（1）式的证明，显然有2.2 一般最小二乘法原理及算法一般最小二乘法原理及算法112)()(mTmmTmmTmHHHHHH12)(mTmHH独立随机变量同分布、零均值、中的各个量是mVIR2证明：2.2 一般最小二乘法原理及算法一般最小二乘法原理及算法0)|(|limmmp12121)(limlimmTmmmTmmHHmmHH0)(12limmTmmHH奇异常数阵是非mTmHH2.2 一般最小二乘法原理及算法一般最小二乘法原理及算法解：由题意得量测方程222VHZ212zzZ112HrrR400)(211111112

14、1211zzzzrrrrET45111111400111111)(112.2 一般最小二乘法原理及算法一般最小二乘法原理及算法222VHZ212zzZ112HrrR4002.3 加权最小二乘法原理及算法加权最小二乘法原理及算法 一般最小二乘估计精度不高的原因之一是对测量数据同等对待 各次测量数据很难在相同的条件下获得的 有的测量值置信度高，有的测量值置信度低 对不同置信度的测量值采用加权的办法分别对待 置信度高的，权重取得大些；置信度低的，权重取的小些min)()()(mmTmmHZHZJmin)()()(mmmTmmHZWHZJ )(,),2(),1 (diagmwwwWmmin)()()(

15、mmmTmmHZWHZJ2.3 加权最小二乘法原理及算法加权最小二乘法原理及算法0)(2mmmTmHZWHJmmTmmmTmZWHHWH1)(2.2 加权最小二乘法原理及算法加权最小二乘法原理及算法0)|(|limmmp1)()(mTmTRHHE2.3 加权最小二乘法原理及算法加权最小二乘法原理及算法11)()()(mmTmmmmTmmmTmTHWHHRWWHHWHE2.3 加权最小二乘法原理及算法加权最小二乘法原理及算法mmTmmmTmZWHHWH1)(mTmmTmZRHHRH111)(马尔可夫估计马尔可夫估计11)()()(mmTmmmmTmmmTmTHWHHRWWHHWHE1111)()

16、()(mTmmmTmmmmTmmmTmHRHHWHHRWWHHWH2.3 加权最小二乘法原理及算法加权最小二乘法原理及算法例例3.2 用用2台仪器对未知标量各直接测量一次，台仪器对未知标量各直接测量一次，量测量分别为量测量分别为z1和和z2，仪器的测量误差均值为，仪器的测量误差均值为0，方，方差分别为差分别为r和和4r的随机量，求其最小二乘估计，并的随机量，求其最小二乘估计，并计算估计的均方误差。计算估计的均方误差。2.3 加权最小二乘法原理及算法加权最小二乘法原理及算法212zzZ112H解：由题意得量测方程222VHZrrRWm4100112121151544100111114100111

17、zzzzrrrrrrrrrrrrET541141001111140011114100111)(11例3.4 考虑仿真对象)() 2(5 . 0) 1() 2(7 . 0) 1(5 . 1)(kVkukukzkzkz)() 2() 1() 2() 1()(2121kVkubkubkzakzakz选择如下的辨识模型进行一般的最小二乘参数辨识。 IWm2.3 加权最小二乘法原理及算法加权最小二乘法原理及算法4阶M序列输出信号)16()4() 3(zzzZm)14()15()14()15()2()3()2()3() 1 ()2() 1 ()2()16()4()3(uuzzuuzzuuzzhhhHm21

18、21bbaamTmmTmZHHH1)( 开始 产生输入信号 M 序列 产生输出信号 z（k） 给出样本矩阵mH和mZ 估计参数 分离估计参数1a、2a、1b和2b 结束 画图：输入/输出信号和估计参数 一般最小二乘参数辨识流程图3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法 )(kG )(ku)(ky)(kv)(kz图 SISO 系统的“灰箱”结构 一般最小二乘或加权最小二乘为一次完成算法或批处理算法。 计算量大、存储大、不适合在线辨识。 采用参数递推估计递推最小二乘算法。 3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法mmTmmmTmmZWHHWH1)() 1() 1()

19、 1(mvmhmz111mmmVHZ3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法111mmmVHZ) 1(1mzZZmm) 1(1mhHHmm) 1(1mvVVmm11111111)(mmTmmmTmmZWHHWHmmTmmmTmmZWHHWH1)() 1(001mwWWmm3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法1mmTmmHWHP11111mmTmmHWHP如果设则有11111111)(mmTmmmTmmZWHHWHmmTmmmTmmZWHHWH1)(mmTmmmZWHP11111mmTmmmZWHP) 1(1mzZZmm) 1(1mhHHmm) 1(001mw

20、WWmm) 1() 1(00) 1(11mzZmwWmhHPmmTTmmm) 1() 1() 1(11mzmwmhPZWHPTmmmTmmmmTmmmZWHPmmmmTmPZWH1) 1() 1() 1(1111mzmwmhPPPTmmmmm3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法1)1() 1() 1(mhmwmhHWHTmmTm11) 1() 1(00) 1(mhHmwWmhHPmmTTmm1111111)()(DABDACBAABCDAmTmTmmmPmhmhPmhmwmhPPP) 1()1() 1() 1()1(1

21、11) 1() 1() 1(111mhmwmhPPTmm111)1() 1() 1(mhmwmhPPTmm) 1() 1() 1(1111mzmwmhPPPTmmmmm3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法mTmmmmhmwmhPP)1() 1() 1(1111) 1() 1() 1(1mzmwmhPTmmTmmmmhmwmhP) 1() 1() 1(11) 1() 1() 1(1mzmwmhPTm) 1() 1()1() 1(11mTmmmmhmzmwmhP) 1() 1()1() 1(11mTmmmmhmzmwmhP3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法

22、) 1() 1(11mwmhPKTmm令mTmTmmmPmhmhPmhmwmhPPP) 1()1() 1() 1()1(111111)1() 1() 1()1(mhPmhmwmhPKTmTmmmTmTmmmPmhmhPmhmwmhPPP) 1()1() 1() 1()1(111111)1() 1() 1()1(mhPmhmwmhPKTmTmm3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法) 1() 1(11mmmmmhmzK3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法)()() 1(maxmmmiiii3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法3.3 递推最

23、小二乘法原理及算法递推最小二乘法原理及算法3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法例3.5 对3.4采用递推最小二乘估计辨识模型参数 )() 2(5 . 0) 1() 2(7 . 0) 1(5 . 1)(kVkukukzkzkz)() 2() 1() 2() 1()(2121kVkubkubkzakzakz选择如下的辨识模型进行递推最小二乘参数辨识。 IWm 1a2a1b2b3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法mTmTmmmPmhmhPmhmwmhPPP) 1()1() 1() 1()1(111111)

24、1() 1() 1()1(mhPmhmwmhPKTmTmm) 1() 1(11mmmmmhmzKIWmmTmTmmmPmhmhPmhmhPPP) 1()1() 1(1)1(1111)1()1(1)1(mhPmhmhPKTmTmm) 1() 1(11mmmmmhmzK3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法 数据饱和后，由于递推计算的舍入误差，不仅新的观测数据饱和后，由于递推计算的舍入误差，不仅新的观测值对参数估计不起修正作用，反而使值对参数估计不起修正作用，反而使 失去正定性，导致失去正定性，导致估计误差增加。估计误差增加。)(mP) 1() 1(11mmmmmhmzKmTmT

25、mmmPmhmhPmhmhPPP) 1()1() 1(1)1(1111)1()1(1)1(mhPmhmhPKTmTmm数据饱和数据饱和3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法 当系统参数随时间变化时，因新数据被旧数据所当系统参数随时间变化时，因新数据被旧数据所淹没，递推算法无法直接使用。为适应时变参数的情淹没，递推算法无法直接使用。为适应时变参数的情况，修改算法时旧数据的权重况，修改算法时旧数据的权重(降低降低)，增加新数据的，增加新数据的作用。作用。 主要方法有数据窗法和主要方法有数据窗法和Kalman滤波法。滤波法。数据窗法主要有矩形窗和指数窗。数据窗法主要有矩形窗和指数窗

26、。3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法 矩形窗矩形窗oi1mimi1ik0 . 1imiTimiTimiimiimiPmihmihPmihmiwmihPPP, 11, 11, 1, 1,)()()()()(1, 11, 1,)()()()(mihPmihimwmihPKTimiTimiimi)()(, 1, 1,imiimiimiimimihmizK，于是，获得新观测数据在)(mizmik3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法 矩形窗矩形窗oi1mimi1ik0 . 1imiTimiTimiimiimiPihihPihmiwihPPP,1,1,1,)()(

27、)()()(1,11 ,1,)()() 1()(ihPihmwihPKTimiTmiimi)()(,1,1,imiimiimiimiihizK，于是时刻的观测，剔除为了保持数据窗的长度)(izim3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法 指数窗指数窗om1nk0 . 1) 1(111mmmmPmhKPP111)1()1()1(mhPmhmhPKTmmm) 1() 1(11mmmmmhmzKimmiVVJmTmim,2 , 1min,)(3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法) 1() 1(11mmmmmhmzK) 1(111mmmmPmhKPP111)1()

28、1()1(mhPmhmhPKTmmm加权最小二乘加权最小二乘) 1(11mmmmPmhKPP111)1() 1(1)1(mhPmhmhPKTmmm一般最小二乘一般最小二乘1可适用时变参数系统只适用于时不变系统0)|(|limmmp0limmmP0limmmK0limmmK0limmmP3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法 指数窗指数窗om1nk0 . 1) 1(111mmmmPmhKPP111)1()1()1(mhPmhmhPKTmmm) 1() 1(11mmmmmhmzKim99. 09 . 0参数参数快快时时变变 小小参数参数慢慢时时变变 大大 由上述最小二乘参数辨识的

29、统计特性可知，当在由上述最小二乘参数辨识的统计特性可知，当在量测噪声的均值为量测噪声的均值为0时，才能保其估计值是无偏的。时，才能保其估计值是无偏的。 在实际工程和社会系统的辨识中，量测噪声Vm 是 各种系统内外扰动和结构建模误差等因素的综合 反映； Vm不一定为统计独立的白噪声。3.4.1 处理有色噪声扰动的最小二乘类方法处理有色噪声扰动的最小二乘类方法3.4.1 处理有色噪声扰动的最小二乘类方法处理有色噪声扰动的最小二乘类方法 当量测噪声Vm不是统计独立的白噪声。量测噪声Vm是有色噪声，如何获得无偏估计？ 增广最小二乘法 广义最小二乘法 辅助变量法 多级最小二乘法 偏差补偿最小二乘法不同的

30、有色噪声特性不同的有色噪声模型不同的辨识要求)(E3.4.2 增广最小二乘法原理及算法增广最小二乘法原理及算法 )(kG )(ku)(ky)(kv)(kz图 3.4 SISO 系统的“灰箱”结构 )()()()(11kvikubikyakyniinii平稳相关序列 由关于有色噪声的结论和假设可知，平稳的相关扰动v(k)可被建模如下niiikvckv1)()(3.4.2 增广最小二乘法原理及算法增广最小二乘法原理及算法)()()()()(111kvikvcikubikyakzniiniinii )(kG )(ku)(ky)(kv)(kz)(kN )(kv )(kG )(ku)(ky)(kv)(k

31、z图 3.4 SISO 系统的“灰箱”结构 )()()()(11kvikubikyakyniinii)()()()()(111kvikvcikubikyakzniiniinii3.4.2 增广最小二乘法原理及算法增广最小二乘法原理及算法)( ,),1( ),(,),2(),1(),(,),2(),1()(nkvkvnkukukunkykykykhTnnnccbbbaaa,12121 当上述观测数据向量h(k)精确已知时，利用前面讨论的批处理最小二乘法可求得向量 的最小二乘估计值。 向量h(k)中包含有不可测的噪声量v(k-1)，.，v(k-n) 对自回归模型并不能直接用最小二乘方法. 用递推参

32、数估计在线估计在线估计噪声v(k)以实现模型参数在 线递推估计 循环估计参数 在递推估计过程中，假设当前或前一步的在线参数估计值已相当程度可用的前提下3.4.2 增广最小二乘法原理及算法增广最小二乘法原理及算法 选择噪声v(0)的估计值 对输入u(k)和输出z(k) 采样 构成观测数据向量)(kh 下一个采样周期 根据辨识模型估计噪声v(k) 辨识 ai bi ci 利用该参数估计值来在线估计白噪声利用该参数估计值来在线估计白噪声v(k)的值的值 以替代数以替代数据向量据向量h(k)中的白噪声中的白噪声v(k)( kv噪声噪声v(k)的具体的估计算法是如下的事后估计的具体的估计算法是如下的事后

33、估计或事前估计算法或事前估计算法:事前估计事后估计) 1-()(-)()()(-)()( kkhkzkkhkzkv)-( ),.,1-( ),-(),.,1-(),-(),.,1-()(nkvkvnkukunkzkzkh的估计值为)()(khkh3.4.2 增广最小二乘法原理及算法增广最小二乘法原理及算法)()()()()(111kvikvcikubikyakzniiniinii3.4.2 增广最小二乘法原理及算法增广最小二乘法原理及算法)( ,),1( ),(,),2(),1(),(,),2(),1()(nkvkvnkukukunkykykykhTnnnccbbbaaa,12121)()()

34、(kvkhkz) 1() 1(11mmmmmhmzKmTmTmmmPmhmhPmhmwmhPPP) 1()1() 1() 1()1(111111)1() 1() 1()1(mhPmhmwmhPKTmTmm 渐消记忆递推增广最小二乘法渐消记忆递推增广最小二乘法3.4.2 增广最小二乘法原理及算法增广最小二乘法原理及算法) 1(111mmmmPmhKPP111)1()1()1(mhPmhmhPKTmmm) 1() 1(11mmmmmhmzK增广最小二乘参数和噪声v(k)的估计可交替进行计算) 1( ) 1()( )() 1( ) 1(kvkkvkkvk事事后后估计估计：事事前前估计：估计：) 1(

35、) 1( )()( ) 1() 1( kkvkkvkkv3.4.2 增广最小二乘法原理及算法增广最小二乘法原理及算法例3.6 考虑理想数学模型为选择如下的辨识模型进行增广递推最小二乘参数辨识。 IWm)2(2 . 0) 1()(2 . 1)2(5 . 0) 1()2(7 . 0) 1(5 . 1)(kvkvkvkukukzkzkz)2() 1()()2() 1()2() 1()(3212121kvckvckvckubkubkzakzakz3.4.2 增广最小二乘法原理及算法增广最小二乘法原理及算法 1a1b2a2b1c2c3c3.4.2 增广最小二乘法原理及算法增广最小二乘法原理及算法 下面给

36、出随机线性离散系统在线辨识的伪代码)()1()()()1()()1()(111cnbnank-nvck-vckvk-nubk-ubk-nya.k-yakycba/% 第一步第一步 初始化初始化输入系统阶次输入系统阶次na,nb和和nc,以及加权因子以及加权因子 输入系统模型输入系统模型Az=1 a1 a2 和和Bz=0 b1 b2 ;输入噪声模型输入噪声模型Cz=1 c1 c2 输入系统输入信号输入系统输入信号u(k)的方差的方差 u 、过程噪声、过程噪声w(k)的方差的方差 w和输入输出测量噪声和输入输出测量噪声 uw 、 yw设定系统变量初始值设定系统变量初始值:yf1:na+1=0; u

37、f1:nb+1=0; wf1:nc+1=0;设定辨识变量初始值设定辨识变量初始值:yb1:na+1=0; ub1:nb+1=0; wb=1:nc+1=0; 1:na+nb+nc=0; P=106*I(na+nb+nc,na+nb+nc);3.4.2 增广最小二乘法原理及算法增广最小二乘法原理及算法/% 第二步第二步 辨识仿真辨识仿真for k=1:最大仿真步数最大仿真步数/% 被控对象模型仿真被控对象模型仿真(产生系统输入输出信号产生系统输入输出信号,即数据即数据)yf2:na+1=yf1:na;uf2:nb+1=uf1:nb;wf2:nc+1=wf1:nc;uf1=2* u*(rand()-

38、0.5);wf1=2* w*(rand()-0.5);yf1=-Az2:na+1*yf2:na+1+Bz2:nb+1*uf2:nb+1 +Cz1:nc+1*wf1:nc+1;3.4.2 增广最小二乘法原理及算法增广最小二乘法原理及算法/% 输入输出数据检测输入输出数据检测ub1=uf1;yb1=yf1;/% 或模拟检测噪声或模拟检测噪声 % ub1=uf1+2* uw*(rand()-0.5); % yb1=yf1+2* yw*(rand()-0.5);/% 在线递推辨识过程仿真在线递推辨识过程仿真 =-yb(2:na+1) ub(2:nb+1) wb(2:nc+1);K= P*h/( +h

39、*P*h); = +K*yb(1)-h * ;P=I-K*h *P/ ;修正矩阵修正矩阵P；输出在线递推参数估计值输出在线递推参数估计值 ；3.4.2 增广最小二乘法原理及算法增广最小二乘法原理及算法vb1=yb(1)-h * ;yb2:na+1=yb1:na;ub2:nb+1=ub1:nb;vb2:nc+1=vb1:nc;3.4.2 增广最小二乘法原理及算法增广最小二乘法原理及算法也可采用事也可采用事前估计前估计例例3.7 考虑如图下所示的仿真对象考虑如图下所示的仿真对象 1-1.5z-1+0.7z-2 1-1.0z-1+0.2z-2 1-1.5z-1+0.7z-2 1.0z-1+0.5z-

40、2 vv(k) u(k) y(k) + + 辨识中辨识中,选择如下模型结构选择如下模型结构y(k)+a1y(k-1)+a2y(k-2)=b1u(k-1)+b2u(k-2)+v(k)+c1v(k-1)+c2v(k-2) v(k)是服从均值为零是服从均值为零,方差为方差为1的的 正态分布的不相关随机噪声正态分布的不相关随机噪声; 输入信号输入信号u(k)采用伪随机二进制序列采用伪随机二进制序列; 通过控制通过控制 v值来改变数据的噪信比值来改变数据的噪信比.3.4.2 增广最小二乘法原理及算法增广最小二乘法原理及算法2 . 015 . 017 . 05 . 1212121ccbbaa，其中， 计算

41、机仿真结果(噪信比=23%,数据组数1000)参数a1a2b1b2c1c2真值-1.50.71.00.5-1.00.2估计值=1-1.496 0.7117 0.9992 0.4982-0.90980.1193估计值=0.98-1.465 0.6940 1.0660 0.5506-0.97780.33693.4.2 增广最小二乘法原理及算法增广最小二乘法原理及算法 递推辨识过程的辨识值如下图所示递推辨识过程的辨识值如下图所示遗忘因子=1时递推辨识结果噪声估计误差3.4.2 增广最小二乘法原理及算法增广最小二乘法原理及算法遗忘因子=0.98时递推辨识结果噪声估计误差3.4.2 增广最小二乘法原理及

42、算法增广最小二乘法原理及算法 递推辨识过程的辨识值如下图所示递推辨识过程的辨识值如下图所示 增广最小二乘法是最小二乘法的一种简单推广 只是扩充了参数向量和数据向量h(k)的维数 辨识过程模型参数的同时辨识噪声模型 就这种意义上说，可称之为增广最小二乘法 噪声模型参数估计的收敛过程比过程模型参数估计值的收敛速度慢 从实用角度来说，噪声模型阶次不宜取太高3.4.2 增广最小二乘法原理及算法增广最小二乘法原理及算法增广最小二乘算法的特点增广最小二乘算法的特点3.4.2 增广最小二乘法原理及算法增广最小二乘法原理及算法 课后作业课后作业 查阅相关系统辨识书籍 根据递推最小二乘的工作流程图 画出递推增广

43、最小二乘的流程图)()()()()(111kvikvcikubikyakzniiniinii )(kG )(ku)(ky)(kv)(kz)(kN )(kv )(kG )(ku)(ky)(kv)(kz图 3.4 SISO 系统的“灰箱”结构 )()()()(11kvikubikyakyniinii3.4.2 增广最小二乘法原理及算法增广最小二乘法原理及算法对于有色噪声对于有色噪声v(k)，可通过对噪声建模的方式来使，可通过对噪声建模的方式来使其估计为无偏估计。其估计为无偏估计。 噪声模型参数估计比过程模型参数估计的收敛速度慢 噪声模型的阶次不能太高 实际工程中存在一些系统，其噪声模型阶次很高 建

44、模精度和应用比较困难广义最小二乘法广义最小二乘法 引入一个白色滤波器，将相关残差过滤成白引入一个白色滤波器，将相关残差过滤成白色残差。色残差。3.4.2 增广最小二乘法原理及算法增广最小二乘法原理及算法3.4.3 广义最小二乘法原理及算法广义最小二乘法原理及算法 )(kG )(ku)(ky)(kv)(kz图 3.4 SISO 系统的“灰箱”结构 )()()()(11kvikubikyakzniinii )(kN )(kv)(kv形成滤波器niiniiikvdikvckv11)()()()()()()()()(111kvkvzNkvzDzCiininnzczczczC111111)(iininn

45、zdzdzddzD01101)(iimimmzfznznzN111111)()()(1)(1kvzNkv未知的、稳未知的、稳定的、有限定的、有限阶的线性滤阶的线性滤波器波器3.4.3 广义最小二乘法原理及算法广义最小二乘法原理及算法)()()()()()(111zNkvkuzBkyzAiininnzazazazA111111)(iininnzbzbzbbzB01101)(iimimmzfznznzN111111)(3.4.3 广义最小二乘法原理及算法广义最小二乘法原理及算法)()()()()()(111zNkvkuzBkyzA两边左乘线性滤波器N(z-1)()()()()()()(1111kv

46、kuzNzBkyzNzA)()()()()(11kvkuzBkyzA记记为为用最小二乘法估计A(z-1)和B(z-1)()( )(1kvkvzN)(kv利用)()()()()(11kvkuzBkyzA计算用最小二乘法估计N(z-1)修正滤波器N(z-1)3.4.3 广义最小二乘法原理及算法广义最小二乘法原理及算法 预选 白化 滤波器 输入输出数据 采样 输入输出数据滤波(白化)处理 辨识A(z-1)和B(z-1) 计算模 型辨识 残差 辨识 N(z-1) 下一次迭代 )()()()()()(111zNkvkuzBkyzA)()( )(1kvkvzN3.4.3 广义最小二乘法原理及算法广义最小二

47、乘法原理及算法)()()()()()(111zNkvkuzBkyzA)()( )(1kvkvzN广义最小二乘算法的计算步骤如下: Step 1. 确定模型的结构及A(z-1)、B(z-1)和N(z-1)的阶次； Step 2. 选定稳定的稳定的初始滤波器N(z-1)； Step 3. 采样获取新的观测数据y(k)和u(k)；3.4.3 广义最小二乘法原理及算法广义最小二乘法原理及算法 Step 5. 列成如下自回归方程: Step 4. 基于滤波器N(z-1),进行如下滤波计算 y (k)=N(z-1)y(k) u (k)=N(z-1)u(k) )()()(kvkhkyT)-(),.,1-()

48、,-(),.,1-()(nkukunkykykh,.,-,.,- 11nnbbaammmVHY3.4.3 广义最小二乘法原理及算法广义最小二乘法原理及算法 Step 7. 计算模型残差的估计值 Step 6. 用最小二乘法计算 mTmmTmYHHH1)(mkkhkykv,.,2 , 1 ) 1-(-)()( Step 8. 计算有色噪声v(k)和白噪声v(k)的自回归方程)() 1-()(vkvkhkv)-( ),.,1-( ) 1-(mkvkvkh-,.,- 1mvnnmmmVHVv3.4.3 广义最小二乘法原理及算法广义最小二乘法原理及算法 Step 10. 修正滤波器N(z-1) Ste

49、p 9. 用最小二乘法计算 1)(mTmmTmvVHHH Step 11. 如满足精度，辨识结束，否则转入Step3. GLS法的思想是对输入输出数据先进行一次滤波预处理，然法的思想是对输入输出数据先进行一次滤波预处理，然后利用普通后利用普通LS法对滤波后的数据进行辨识，并反复迭代法对滤波后的数据进行辨识，并反复迭代受滤波模型好坏的影响较大受滤波模型好坏的影响较大滤波模型的好坏也直接与系统模型辨识结果有关系滤波模型的好坏也直接与系统模型辨识结果有关系. 从优化理论的角度来说，从优化理论的角度来说，GLS法其实属于非线性优化方法法其实属于非线性优化方法难以避免出现非线性优化中的局部极值点情况难以

50、避免出现非线性优化中的局部极值点情况该方法并不能保证得到的估计值是一致无偏的该方法并不能保证得到的估计值是一致无偏的这是这是GLS法的一个不太令人满意之处法的一个不太令人满意之处.3.4.3 广义最小二乘法原理及算法广义最小二乘法原理及算法思考题：思考题：量测噪声Vm是有色噪声，利用递推广义最小递推广义最小二乘法二乘法辨识参数的步骤分哪几步？能否画出流程图？3.4.3 广义最小二乘法原理及算法广义最小二乘法原理及算法 递推广义最小二乘法递推广义最小二乘法递推递推GLSGLS法的基本思想是与成批型法的基本思想是与成批型LSLS法大致相同，不同的是法大致相同，不同的是: : 由于是递推估计，不能像