《第4章最小二乘类辨识算法 (2).ppt》由会员分享，可在线阅读，更多相关《第4章最小二乘类辨识算法 (2).ppt（143页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、1第章第章最小二乘类参数辨识方法（一）最小二乘类参数辨识方法（一）2 4.0 4.0 4.0 4.0 引言引言引言引言4.1 4.1 4.1 4.1 最小二乘法的基本概念最小二乘法的基本概念最小二乘法的基本概念最小二乘法的基本概念4.2 4.2 4.2 4.2 最小二乘问题的提法最小二乘问题的提法最小二乘问题的提法最小二乘问题的提法4.3 4.3 4.3 4.3 最小二乘问题的解最小二乘问题的解最小二乘问题的解最小二乘问题的解4.4 4.4 最小二乘估计的可辨识性最小二乘估计的可辨识性4.5 4.5 最小二乘估计的几何解析最小二乘估计的几何解析4.4.4.4.6 6 6 6 最小二乘参数估计值
2、的统计性质最小二乘参数估计值的统计性质最小二乘参数估计值的统计性质最小二乘参数估计值的统计性质4.4.4.4.7 7 7 7 噪声方差估计噪声方差估计噪声方差估计噪声方差估计4.4.4.4.8 8 8 8 最小二乘参数估计的递推算法最小二乘参数估计的递推算法最小二乘参数估计的递推算法最小二乘参数估计的递推算法 m次独立试验的数据4.0 4.0 引言引言 18011801年初，天文学家皮亚齐发现了谷神星。年初，天文学家皮亚齐发现了谷神星。18011801年末，天文爱好者奥博斯，在高斯预年末，天文爱好者奥博斯，在高斯预 言的时间里，再次发现谷神星。言的时间里，再次发现谷神星。18021802年又成
3、功地预测了智神星的轨道。年又成功地预测了智神星的轨道。高斯自己独创了一套行星轨道计算高斯自己独创了一套行星轨道计算 理论。理论。高斯仅用高斯仅用1小时就算出了谷神星的小时就算出了谷神星的 轨道形状，并进行了预测轨道形状，并进行了预测1794年，高斯提出了最小二乘的思想。1794年，高斯提出的最小二乘的基本原理是年，高斯提出的最小二乘的基本原理是 未知量的最可能值是使各项实际观测值和计算值之间差的平方乘以其精确度的数值以后的和为最小。6最小二乘类辨识算法的主要内容最小二乘类辨识算法的主要内容n最小二乘辨识算法最小二乘辨识算法n自适应辨识算法自适应辨识算法n偏差补偿最小二乘法偏差补偿最小二乘法n增
4、广最小二乘算法增广最小二乘算法n广义最小二乘法广义最小二乘法n辅助变量法辅助变量法n相关二步法相关二步法7如果如果n仅仅关心所要辨识的过程输入输出特仅仅关心所要辨识的过程输入输出特性性n可以将所过程视为可以将所过程视为“黑箱黑箱”n而不考虑过程的内部机理而不考虑过程的内部机理8过程的过程的“黑箱黑箱”结构结构nu(k)u(k)和和 z(k)z(k)分别是过程的输入和输出分别是过程的输入和输出n -描述输入输出关系的模型，称为描述输入输出关系的模型，称为过程模型过程模型9 通常可以表示成通常可以表示成 其中其中（4.0.1）（4.0.2）10n(k)n(k)为噪声为噪声可以表示成均值为零的平稳随
5、机系列可以表示成均值为零的平稳随机系列 式中式中（4.0.5）（4.0.4）（4.0.3）11 各种方法所用的辨识模型结构略有不同各种方法所用的辨识模型结构略有不同 n最小二乘法（最小二乘法（受控自回归受控自回归 CAR模型模型）n增广最小二乘法增广最小二乘法(受控自回归滑动平均受控自回归滑动平均 CARMA模型模型)n广义最小二乘法广义最小二乘法(动态调节动态调节 DA模型模型)（4.0.9）（4.0.8）（4.0.7）12经比较可以看出经比较可以看出n各种方法所用过程模型一样各种方法所用过程模型一样n只是噪声模型有所不同只是噪声模型有所不同 根据不同的辨识原理，参数模型辨识方法可归根据不同
6、的辨识原理，参数模型辨识方法可归纳成三类：纳成三类：最小二乘类参数辨识方法，其基本思想是通最小二乘类参数辨识方法，其基本思想是通过极小化如下准则函数来估计模型参数：过极小化如下准则函数来估计模型参数：其中其中 代表模型输出与系统输出的偏差。代表模型输出与系统输出的偏差。典型的方法有最小二乘法、增广最小二乘法、典型的方法有最小二乘法、增广最小二乘法、辅助变量法、广义最小二乘法等。辅助变量法、广义最小二乘法等。（4.0.10）梯度校正参数辨识方法，其基本思想是沿着准梯度校正参数辨识方法，其基本思想是沿着准则函数负梯度方向逐步修正模型参数，使准则函则函数负梯度方向逐步修正模型参数，使准则函数达到最小
7、，如随机逼近法。数达到最小，如随机逼近法。概率密度逼近参数辨识方法，其基本思想是使概率密度逼近参数辨识方法，其基本思想是使输出输出z 的条件概率密度的条件概率密度 最大限度地逼近最大限度地逼近条件条件 下的概率密度下的概率密度 ，即，即 典型的方法是极大似然法。典型的方法是极大似然法。（4.0.11）15 4.1 4.1 最小二乘法的基本概念最小二乘法的基本概念n最小二乘法最小二乘法 17951795年高斯在其著名的星体运动轨迹预报研究年高斯在其著名的星体运动轨迹预报研究工作中提出的工作中提出的,后来成了估计理论的奠基石。后来成了估计理论的奠基石。最小二乘的基本结果有两种算法：最小二乘的基本结
8、果有两种算法：一次完成算法或一次完成算法或批处理算法：批处理算法：利用一批观测数据，利用一批观测数据，一次计算或经反复迭代，以获得模型参数的估计值。一次计算或经反复迭代，以获得模型参数的估计值。递递推算法：在上次模型参数估推算法：在上次模型参数估计值计值 的的基基础础上，根据当前上，根据当前获获得的数据提出修正，得的数据提出修正，进进而而获获得本次模型参数估得本次模型参数估计值计值 ，广泛采用的，广泛采用的递递推算法形式推算法形式为为其中其中 表示表示k 时时刻的模型参数估刻的模型参数估计值计值，K(k)为为算法算法的增益，的增益，h(k-d)是由是由观测观测数据数据组组成的成的输输入数据向入
9、数据向量，量，d 为为整数，整数，表示新息。表示新息。（4.1.1）17假设假设过程的输入输出关系可以描述成以下最小二乘格式过程的输入输出关系可以描述成以下最小二乘格式nz(k)z(k)过程的输出过程的输出n 参数参数 nh(k)h(k)观测的数据向量观测的数据向量 nn(k)n(k)均值为零的随机噪声均值为零的随机噪声（4.1.2）18利用数据序列利用数据序列z(k)z(k)和和h(k)h(k)极小化下列准则函数极小化下列准则函数 使使 J J 最小的最小的 的估计值的估计值 ，称为的，称为的最小二乘最小二乘估计值。估计值。（4.1.3）最小二乘原理表明，未知参数估计问题，就最小二乘原理表明
10、，未知参数估计问题，就是求参数估计值是求参数估计值 ，使序列的估计值尽，使序列的估计值尽可能地接近实际序列，两者的接近程度用可能地接近实际序列，两者的接近程度用实际序列与序列估计值之差的平方和来度实际序列与序列估计值之差的平方和来度量。量。最小二乘估计值应在观测值与估计值之累次最小二乘估计值应在观测值与估计值之累次误差的平方和达到最小值处，所得到的模误差的平方和达到最小值处，所得到的模型输出能最好地逼近实际系统的输出。型输出能最好地逼近实际系统的输出。20.2 2 最小二乘问题的提法最小二乘问题的提法 设时不变设时不变 SISO SISO 动态过程的数学模型为动态过程的数学模型为 n所要解决的
11、最小二乘问题所要解决的最小二乘问题如何利用过程的输入、输出数据如何利用过程的输入、输出数据确定多项式确定多项式 和和 的系数的系数（4.2.1）21在最小二乘问题中，一般对模型作以下假设在最小二乘问题中，一般对模型作以下假设n首先，模型的阶次首先，模型的阶次 ，已定已定n且一般且一般 n其次，将（其次，将（4.1.44.1.4）模型写成最小二乘格式）模型写成最小二乘格式 n式中式中（4.2.2）（4.2.3）22对对(4.1.5)(4.1.5)式构成一个线性方程组式构成一个线性方程组可以写成可以写成 （4.2.4）23n（4.2.5）24另外另外设模型的噪声设模型的噪声 n(k)n(k)特征为
12、特征为（4.2.6）25在最小二乘法中在最小二乘法中假定假定 n(k)n(k)是白噪声序列是白噪声序列 -n(k)-n(k)的方差的方差最后，假设数据长度最后，假设数据长度（4.2.8）（4.2.7）(4.2.4)式有式有L个方程，包括个方程，包括 个未知数。个未知数。n如果如果 ，方程的个数少于未知数的，方程的个数少于未知数的个数，模型参数个数，模型参数 不是唯一确定。不是唯一确定。n如果如果 ，则则只有当只有当 时时，才有唯一确定解。才有唯一确定解。n当当 时时，只有取，只有取 ，才有可能，才有可能确定一个最确定一个最优优的模型参数的模型参数 ，而且，而且为为了保了保证证辨辨识识的精度，的
13、精度，L必必须须充分大。充分大。27.3 3 最小二乘问题的解最小二乘问题的解 取准则函数取准则函数n -加权因子，对加权因子，对n如如K=1 K=1 时时 ，K=LK=L时时 体现对不同时刻的数据给予不同程度的信任体现对不同时刻的数据给予不同程度的信任（4.3.1）28准则函数准则函数 可写成二次型形式可写成二次型形式 -加权矩，一般为正定的对角矩阵加权矩，一般为正定的对角矩阵（4.3.3）（4.3.2）29设设使使则有则有 则得则得（4.3.4）（4.3.5）（4.3.6）30当当 可逆时（称为正则）时可逆时（称为正则）时 充分条件充分条件 因因n所以所以 ,是唯一的是唯一的（4.3.8）
14、（4.3.7）31通过极小化（通过极小化（4.3.24.3.2）式）式计算计算 称为加权最小二乘法称为加权最小二乘法取取则（则（4.3.74.3.7）式变化成）式变化成 -最小二乘估计值最小二乘估计值（4.3.9）（4.3.10）32n上述最小二乘法的计算步骤为：首先获取一批上述最小二乘法的计算步骤为：首先获取一批足够数量的过程输入输出数据和，足够数量的过程输入输出数据和，并确定加权矩阵，计算的逆矩阵并确定加权矩阵，计算的逆矩阵（要求必须是正则矩阵），按照式（要求必须是正则矩阵），按照式(4.3.7)即即可计算出过程参数的估计值。这种可计算出过程参数的估计值。这种方法称为方法称为“一次完成算法
15、一次完成算法”，它为理论分析提，它为理论分析提供了便利，但在计算时需要对矩阵求逆，如果供了便利，但在计算时需要对矩阵求逆，如果矩阵维数过大，矩阵求逆的计算量将急剧增加，矩阵维数过大，矩阵求逆的计算量将急剧增加，对计算机造成一定的负担。较为实用的方法是对计算机造成一定的负担。较为实用的方法是“递推算法递推算法”，即把式，即把式(4.3.7)化成递推计算化成递推计算的形式，这样便于实现在线辨识。的形式，这样便于实现在线辨识。33n一次性完成算法要求必须是正则一次性完成算法要求必须是正则矩阵，其充分必要条件是过程的输入信号矩阵，其充分必要条件是过程的输入信号必须是阶持续激励信号。即要求必须是阶持续激
16、励信号。即要求（4.3.11）34其中（4.3.12）35 上述条件称为开环可辨识性条件。即辨识上述条件称为开环可辨识性条件。即辨识所用的输入信号不能随意选择，否则可能造成所用的输入信号不能随意选择，否则可能造成不可辨识。目前常用的信号有：不可辨识。目前常用的信号有：）随机序列（白噪声）随机序列（白噪声）伪随机序列（如序列）伪随机序列（如序列）离散序列，通常指对含有种频率（各频率）离散序列，通常指对含有种频率（各频率不能满足整数倍关系）的正弦信号进行采样处不能满足整数倍关系）的正弦信号进行采样处理获得的离散序列。理获得的离散序列。例例 考虑仿真对象考虑仿真对象选择如下的辨识模型进行一般的最小二
17、乘参数辨识。选择如下的辨识模型进行一般的最小二乘参数辨识。式中，式中，v(k)是服从正是服从正态态分布的白噪声分布的白噪声N(0,1)。输输入信入信号采用号采用4阶阶M序列，其幅序列，其幅值为值为1.4阶阶M序序列列输输出出信信号号一一般般最最小小二二乘乘参参数数辨辨识识流流程程图图56.6.6 最小二乘参数估计值的统计性质最小二乘参数估计值的统计性质 最小二乘参数估计值具有随机性，最小二乘参数估计值具有随机性，因此需要研究因此需要研究它们的统计性质它们的统计性质 1.1.无偏性无偏性 2.2.参数估计偏差的协方差性质参数估计偏差的协方差性质 3 3一致性一致性4.4.有效性有效性5.5.渐近
18、正态性渐近正态性57 1.1.无偏性无偏性(无偏性是用来衡量参数估计值是否围绕无偏性是用来衡量参数估计值是否围绕真值波动的一个性质。真值波动的一个性质。)定理定理 1 1 若模型若模型 中的噪声向量中的噪声向量 的均值的均值为零，即为零，即 ，并且，并且 与与 是统计独立的，是统计独立的，即即 ，则加权最小二乘参数估计值，则加权最小二乘参数估计值 是无偏估计量，即是无偏估计量，即其中其中 表示系统的真实值。表示系统的真实值。(4.6.1)58证证明明:根据（根据（5.3.7）及定理）及定理1所所给给的条件，的条件，参数估参数估计计量量 的数学期望的数学期望为为所以所以 是无偏估是无偏估计计。(
19、4.6.2)59n无偏性并不要求噪声一定是白噪声，无偏性并不要求噪声一定是白噪声，只要求它与统计独立即可。如果只要求它与统计独立即可。如果是白噪声，则与一定统计独立。是白噪声，则与一定统计独立。n另外，定理所给出是条件是另外，定理所给出是条件是为无偏估计的充分条件，并不是必要条为无偏估计的充分条件，并不是必要条件。它的必要条件应是件。它的必要条件应是(4.6.3)60 即与正交。即与正交。当定理的条件不能满足时，它提供了一当定理的条件不能满足时，它提供了一种获取无偏估计的方法，即可通过选择加种获取无偏估计的方法，即可通过选择加权矩阵使之满足正交条件。权矩阵使之满足正交条件。612.2.参数估计
20、偏差的协方差性质参数估计偏差的协方差性质 （参数估计偏差参数估计偏差的协方差阵是用来评价参数估计精度的一个依的协方差阵是用来评价参数估计精度的一个依据。据。）定理定理 2 2 若模型若模型 的的 是均值为零，是均值为零，即即 ，协方差阵为，协方差阵为 ，并且与，并且与 统计独立的噪声向量，则参数估计偏差统计独立的噪声向量，则参数估计偏差 的协方差阵为的协方差阵为 (4.6.4)62 证明：根据（证明：根据（5.3.7）及定理）及定理1、定理、定理2所给出的所给出的条件，有条件，有(4.6.5)63推论推论 1 1，在定理，在定理2 2的条件下，如果加权矩阵的条件下，如果加权矩阵 ，则模型，则模
21、型 的参数估的参数估计值为计值为相应的参数估计偏差的协方差为相应的参数估计偏差的协方差为 此时参数的估计值称为此时参数的估计值称为Markov估计，或最小方差估计估计，或最小方差估计(4.6.7)(4.6.6)64推论推论 2 2若模型若模型 中的中的 是零均值的白噪是零均值的白噪声向量，且加权矩阵取声向量，且加权矩阵取 ，则参数估计偏，则参数估计偏差的协方差阵为差的协方差阵为 其中其中 是噪声的方差，且定义是噪声的方差，且定义（5.6.8）推论推论1、推论、推论2可以由可以由定理定理2直接得出，直接得出，它们是评价最小二乘参数辨识方法的重要它们是评价最小二乘参数辨识方法的重要依据。如果噪声同
22、时又服从正态分布，则依据。如果噪声同时又服从正态分布，则（4.6.6）式给出的参数估计值其偏差的方）式给出的参数估计值其偏差的方差达到最小值，称为最小方差估计，也称差达到最小值，称为最小方差估计，也称Markov估计。估计。65663 3一致性一致性 如果估计值具有一致性，说明它将以概率如果估计值具有一致性，说明它将以概率 1 1 收敛于真收敛于真值。值。定理定理 3 3 在推论在推论2 2的条件下，最小二乘参数估计是一致性的条件下，最小二乘参数估计是一致性收敛的，即收敛的，即 w.p（with probability）1W.P.1(4.6.9)67证明：证明：根据（根据（4.5.8）式，有）
23、式，有式中式中 将依概率将依概率1收敛于一个正定阵，且收敛于一个正定阵，且 是有界的，因而是有界的，因而（4.6.10）（4.6.11）68又因所以（4.6.12）69需要特别指出：只有当是白噪声需要特别指出：只有当是白噪声时，定理才能成立。时，定理才能成立。744.有效性有效性 即估计值偏差的协方差阵将达到最小值。即估计值偏差的协方差阵将达到最小值。定理定理4 在推论在推论2 2的条件下，并设噪声的条件下，并设噪声 服从正态分服从正态分布，则最小二乘参数估计布，则最小二乘参数估计 是有效估计值，即是有效估计值，即参数参数估计偏差的协方差达到估计偏差的协方差达到Cramer-Rao不等式的下界
24、不等式的下界其中，其中，M为为Fisher信息矩阵信息矩阵（4.6.21）（4.6.22）75证明：因为证明：因为其中其中由定理由定理3知知（4.6.23）（4.6.24）76 则则 ，故有，故有那么那么即即（4.6.25）（4.6.26a）（4.6.26b）77上式取偏导数，得上式取偏导数，得于是于是（4.6.27）（4.6.28）78n推论推论3 在推论在推论1 的条件下，并设噪声的条件下，并设噪声服从正态分布，则最小误差方差估计服从正态分布，则最小误差方差估计是有效估计，即是有效估计，即其中，其中，M为为Fisher信息矩阵。信息矩阵。（4.6.29）证明：和证明定理证明：和证明定理3类
25、似，同类可以证明类似，同类可以证明Markov参数估计参数估计 将依概率将依概率1收敛于收敛于 。则。则可得可得Fisher信息矩阵为信息矩阵为与（与（4.6.7）比较知，（）比较知，（4.6.29）式成立。）式成立。定理定理4和推论和推论3表明，在一定条件下，最小二乘参表明，在一定条件下，最小二乘参数估计值和数估计值和Markov参数估计值都是有效估计量。参数估计值都是有效估计量。（4.6.30）805.5.渐近正态性渐近正态性定理定理5 5 在推论在推论2 2的条件下，的条件下，设噪声设噪声 服从正态分布，服从正态分布，则最小二乘估计值则最小二乘估计值 服从正态分布，即服从正态分布，即（4
26、.6.31）81n证明：根据及证明：根据及可得可得由知由知可见，是的线性函数，则可见，是的线性函数，则整理，即为（）式。整理，即为（）式。（4.6.32）（4.6.33）（4.6.34）82推论推论 在推论在推论1 的条件下，并设噪声的条件下，并设噪声服从正态分布，则最小误差方差估计服从正态分布，则最小误差方差估计服从正态分布。即服从正态分布。即（4.6.35）834.7 4.7 噪声方差估计噪声方差估计 定理定理：在推论：在推论 2 2的条件下噪声方差的条件下噪声方差 的估的估计值由下式计算计值由下式计算 其中其中 ，为输出残差，即为输出残差，即（4.7.1）84该定理提供了一种计算噪声方差
27、估计值的该定理提供了一种计算噪声方差估计值的方法。它必须先获得参数估计值，方法。它必须先获得参数估计值，继而进一步求得输出残差继而进一步求得输出残差然后按上式求的估计值。然后按上式求的估计值。而且是的无偏估计量。而且是的无偏估计量。85证明是的无偏估计证明是的无偏估计因因 ，故为同幂矩阵，故为同幂矩阵，则，则（4.7.2）（4.7.3）（4.7.4）86利用下列公式利用下列公式n并考虑到并考虑到 是白噪声向量，它必与是白噪声向量，它必与 统统计独立，则有计独立，则有（4.7.5）87（4.7.6）0.501.000.70-1.50真实参数0.41 0.610.980.610.740.02-1.
28、480.075.00.46 0.140.930.120.660.06-1.470.061.00.48 0.070.960.060.670.03-1.480.040.50.49 0.020.990.010.690.01-1.500.010.10.50 0.001.000.000.700.00-1.500.000.00噪声均 方差表表 不同噪声水平下的辨识结果不同噪声水平下的辨识结果904.8 4.8 最小二乘参数估计的递推算法最小二乘参数估计的递推算法 n新的估计值新的估计值 =老的估计值老的估计值 +修正项修正项（4.8.1）91n初值的选取初值的选取 （1 1）根据一批数据，利用一次完成算法
29、，预先求得）根据一批数据，利用一次完成算法，预先求得（2 2）直接给定初始值）直接给定初始值n ，a-a-充分大的实数充分大的实数n ，-充分小的实向量充分小的实向量（4.8.2）最小二乘参数估计的递推算法最小二乘参数估计的递推算法目的：减小重复计算量和贮存空间、便于在线应用目的：减小重复计算量和贮存空间、便于在线应用思想：按观测次序一步一修正，即思想：按观测次序一步一修正，即 新的估计值新的估计值 =老的估计值老的估计值 +修正项修正项改写一次性完成算法：改写一次性完成算法：(na+nb)(na+nb)L 1(na+nb)1（4.8.3）基于数据长度为基于数据长度为L的测量值，所得参数最小二
30、乘估计为：的测量值，所得参数最小二乘估计为：LL-1 L-21PastFuture“估计估计”z(1)所用数据所用数据,这些数据构成这些数据构成 h(1)max(na,nb)拍拍max(na,nb)拍拍“估计估计”z(L)所用数据所用数据,这些数据构成这些数据构成 h(L)令令k=L（即假设观测方程个数为（即假设观测方程个数为k）,可得：可得：其中：其中：以下省去以下省去k(na+nb)L被称作记忆长度或数据长度被称作记忆长度或数据长度（4.8.4）（4.8.5）（4.8.6）进一步：进一步：重温可知可知(na+nb)(na+nb)此此 k 指观测指观测数据长度数据长度（4.8.8）（4.8.
31、9）（4.8.7）这样：因为 （4.8.10）（4.8.11）引进增益矩阵引进增益矩阵可得加权最小二乘的另一表述式：可得加权最小二乘的另一表述式：上式中除上式中除K(k)以外均为迭代计算形式。能否对以外均为迭代计算形式。能否对K(k)，本，本质上是质上是P(k),也实现迭代计算呢？也实现迭代计算呢？P(k)已经被定义为逆矩阵：已经被定义为逆矩阵：欲实现其迭代计算，需用到矩阵反演公式。欲实现其迭代计算，需用到矩阵反演公式。（4.8.12）（4.8.13）（4.8.14）设设A为为n n非奇异阵，非奇异阵，C为为n m维矩阵，则有矩阵反演维矩阵，则有矩阵反演公式：公式：两边同时右乘矩阵（两边同时右
32、乘矩阵（A+CCT）可以证明上式是成立的。）可以证明上式是成立的。将将改写为改写为标量标量A C CTm mn n（4.8.16）（4.8.15）标量标量标量标量(na+nb)(na+nb)与与P(k-1)同维同维（4.8.17）（4.8.19）（4.8.18）（4.8.17）至此，可得加权最小二乘参数估计递推算法（RWLS-Recursive Weighted Least Square）：新息新息时变矩阵时变矩阵对称阵对称阵（4.8.20）为为了保了保证证P(k)的的对对称性，有称性，有时时将上式的第将上式的第3式写成：式写成：这样这样在在计计算算过过程中即使有舍入程中即使有舍入误误差，也能
33、保差，也能保证证P(k)始始终终是是对对称的。称的。（4.8.21）104n初值的选取初值的选取 n（1 1）根据一批数据，利用一次完成算法，预先求）根据一批数据，利用一次完成算法，预先求得得n（2 2）直接给定初始值）直接给定初始值n ，a-a-充分大的实数充分大的实数n ，-充分小的实向量充分小的实向量（4.8.22）（4.8.23）因为因为根据参数估计公式有根据参数估计公式有显然，使上式成立的条件是显然，使上式成立的条件是故有（故有（4.8.23）式）式（4.8.25）（4.8.24）可用下式作为递推算法的终止条件可用下式作为递推算法的终止条件（4.8.26）例例题题考考虑虑如如图图所示
34、的仿真所示的仿真对对象。象。图图中中v(k)是服从是服从N(0,1)正正态态分布的不相关随机噪声分布的不相关随机噪声输输入信号入信号u(k)采用采用4阶阶逆逆M序列，幅序列，幅值为值为1。控制。控制值值，使数据的信噪比，使数据的信噪比=73%。+选择选择如下模型如下模型结结构构加加权权因子取因子取为为(k)=1，数据，数据长长度度L=480；初始条件取；初始条件取为为利用最小二乘利用最小二乘递递推算法在推算法在线线估估计计参数参数 ，结结果果如表所示。如表所示。参数参数a1a2b1b2静态增益噪声均值噪声方差真值真值-1.50.71.00.57.50.01.0估计值估计值-1.504240.7
35、049091.043510.5116777.75001-0.000361451.00207为了进一步确认辨识结果，需要对所获得的模型进为了进一步确认辨识结果，需要对所获得的模型进行检验。计算输出残差序列的均值和自相关系数，行检验。计算输出残差序列的均值和自相关系数，结果如下表。结果如下表。均均值值（0）1.0自相关系数自相关系数(l)=R(l)/R(0)（1）-0.0525683（6）-.0917693（11）0.0115489（16）-0.125323（2）0.066278（7）0.0260347（12）-0.0456214（17）0.0732433（3）0.0515224（8）-0.013
36、6756（13）-0.0409843（18）-0.0173458（4）-0.0854844（9）0.0476114（14）-0.0382442（19）-0.0423732（5）-0.0324464（10）0.0392559（15）0.0493622（20）0.0307972上述结果表明，输出残差序列接近于白噪声，因此获上述结果表明，输出残差序列接近于白噪声，因此获得的模型是可靠的。得的模型是可靠的。112n几点讨论几点讨论 n1.1.残差与新息的关系残差与新息的关系 n2.2.准则函数的递推计算准则函数的递推计算n3.3.递推算法的收敛性递推算法的收敛性113n1 1残差与新息的关系残差与新息
37、的关系 n新息新息描述描述 时刻的时刻的输出预报误差输出预报误差n残差残差用来描述用来描述 时刻的时刻的输出偏差输出偏差n定义定义（4.8.27）（4.8.28）114n残差与新息的之间存在以下联系残差与新息的之间存在以下联系n或者或者（4.8.30）（4.8.29）证明：根据残差、新息的定义和递推估计算法，有证明：根据残差、新息的定义和递推估计算法，有（4.8.31）116n2.2.准则函数的递推计算准则函数的递推计算 准则函数的递推计算为准则函数的递推计算为 采用上式计算准则函数，因为采用上式计算准则函数，因为 和和 在参数在参数估计递推公式中已经求过了，可以直接利用，所以，估计递推公式中
38、已经求过了，可以直接利用，所以，递推计算准则函数速度非常快。递推计算准则函数速度非常快。（4.8.32）117n3.3.递推算法的收敛性递推算法的收敛性 n如果噪声是零均值的白噪声如果噪声是零均值的白噪声n那么那么 6 6节中递推算法给出的参数估计值是一致收敛节中递推算法给出的参数估计值是一致收敛的的（4.8.33）RWLS的收敛性的收敛性对模型对模型z(k)=hT(k)+n(k),若若n(k)是均值为是均值为0的白噪声，可的白噪声，可以证明以证明WLS一次性估计算法是一致收敛的一次性估计算法是一致收敛的,即即 以概以概率率1收敛于真值收敛于真值 0。对对RWLS算法，同样可以证明：算法，同样
39、可以证明：（4.8.34）证明：构造关于证明：构造关于 的差的差分方程，分方程，由于由于 0是真值，故：是真值，故：得得利用利用（4.8.35）（4.8.36）（4.8.37）（4.8.38）由于由于令令故故研究差分方程研究差分方程 的稳定性问题：的稳定性问题：设矩阵设矩阵A(k)的特征值为的特征值为，则有，则有 A(k)x=x其中其中x为非为非0特征向量特征向量（4.8.39）（4.8.40）（4.8.41）（4.8.42）A(k)x=x由于由于(k)0且且P-1(k-1)和和h(k)(k)hT(k)为正定阵，故对为正定阵，故对所有非所有非0向量向量x,(1-)和和 必须同号，即必须同号，即
40、0 1系统系统 稳定稳定（4.8.43）（4.8.44）（4.8.45）（4.8.46）（4.8.47）（4.8.48）l递递推最小二乘法的步推最小二乘法的步骤骤1.用最初的用最初的 组组数据数据 作矩作矩阵阵 及及 ，求出参数的初始估，求出参数的初始估计计 和和 作作为为初始初始值值。2.求出求出 。3.用新取得的用新取得的观测观测数据数据 ，求出新的参，求出新的参数估数估计计 。4.继续进继续进行新的采行新的采样样，并从第，并从第2步开始重复步开始重复l从上述步从上述步骤骤可以看出，可以看出，递递推最小二乘初始推最小二乘初始值值是是用用 组组数据求得的数据求得的 和和 ，为为此，必此，必须
41、须求逆矩求逆矩阵阵，比，比较较麻麻烦烦。下面介。下面介绍绍一种一种简单简单的求初的求初值值的算法。的算法。l在取得在取得 组组数据后，可数据后，可设设仿真研究仿真研究已知系已知系统统模型模型 x(k)-1.5x(k-1)+0.7x(k-2)=2u(k-1)+0.5u(k-2),y(k)=x(k)+v(k),v(k)=(k)，u、x、y、v分分别为别为模型模型输输入、模型入、模型输输出、出、测测量量输输出、干出、干扰扰噪声。噪声。输输入入u为为逆逆M序列：信号幅序列：信号幅值值a=1、寄存器位数、寄存器位数为为n=5(信号信号长长度度N=2n-1=31)为噪信比调整因子，噪信比定义为：为噪信比调
42、整因子，噪信比定义为：、分分别为别为模型模型输输出出x和噪声和噪声v的均方差（的均方差（标标准差），准差），有两种模型：有两种模型：(1)为为白噪声，白噪声，(2)为为有色噪声，噪声模型有色噪声，噪声模型为为：(k)=e(k)+0.5e(k-1)+0.9(k-1)-0.95(k-2)e(k)为为白噪声白噪声定义辨识误差值：定义辨识误差值：其中：其中：为独立的实验次数为独立的实验次数,为模型真值为模型真值 为模型估计值为模型估计值 选择自相关特性好的选择自相关特性好的M序列作为输入。利用序列作为输入。利用MATLAB产生寄存器位数产生寄存器位数n=5，每周期长为，每周期长为31，重复周期数，重复
43、周期数q=40的的M M序列，并将其作为输入序列，并将其作为输入得到系统输出。绘出一个周期的输入输出图形得到系统输出。绘出一个周期的输入输出图形分别如图分别如图2和图和图3所示。所示。产生系统噪声产生系统噪声为了后面能较好的区分每种辨识方法的性为了后面能较好的区分每种辨识方法的性能，我们分别在输出中叠加白噪声和有色噪能，我们分别在输出中叠加白噪声和有色噪声。取声。取NSR=20%，用同一噪声源产生两种，用同一噪声源产生两种噪声模型，分别绘制白噪声、用相同噪声模噪声模型，分别绘制白噪声、用相同噪声模型产生的有色噪声和不同噪声影响下的系统型产生的有色噪声和不同噪声影响下的系统输出的曲线。输出的曲线
44、。最小二乘辨最小二乘辨识识模型辨模型辨识识 为较好的研究最小二乘辨识模型的性能，分别在不同的噪为较好的研究最小二乘辨识模型的性能，分别在不同的噪声模型下，用不同的噪信比影响系统输出，利用输入输出数声模型下，用不同的噪信比影响系统输出，利用输入输出数据对系统进行辨识。据对系统进行辨识。分别采用白噪声模型和有色噪声模型，分别采用白噪声模型和有色噪声模型，取取NSR=0%NSR=0%、5%5%、10%10%、15%15%、20%20%、25%25%、30%30%、35%35%、40%40%、45%45%、50%50%，每种工况下取独立试验次数，每种工况下取独立试验次数N=50N=50（每次独立产生噪
45、声）（每次独立产生噪声），数据序列取前，数据序列取前10241024点，用最小二乘法辨识模型，分别画出点，用最小二乘法辨识模型，分别画出NSRNSR曲线。图中的纵坐标（辨识误差）是曲线。图中的纵坐标（辨识误差）是5050次辨识误差的次辨识误差的均值。均值。由由图图可可见见：在白噪声影响下，各系数的辨在白噪声影响下，各系数的辨识误识误差都很小，欲辨差都很小，欲辨识识参数参数为为a1=-1.5，a2=0.7，b1=2，b2=0.5，即使在，即使在噪信比噪信比为为50%的情况的情况下，四个参数的辨下，四个参数的辨识误识误差都在差都在10-3数量数量级级，相，相对误对误差非常小，均差非常小，均可可视为
46、视为无偏估无偏估计计，与理，与理论论相符。相符。在有色噪声影响下，各系数的辨在有色噪声影响下，各系数的辨识误识误差相差相对对白噪声影响偏白噪声影响偏大，当大，当噪信比达到噪信比达到50%时时，其中，其中，a1、a2和和b1的辨的辨识误识误差都在差都在0.020.04之之间间，相相对误对误差在差在10%左右，左右，b2的辨的辨识误识误差甚至达到差甚至达到0.16以上，以上，相相对误对误差达到差达到30%以上。以上。综综上所述：在只有白噪声影响下，最小二乘辨上所述：在只有白噪声影响下，最小二乘辨识识法可以达到法可以达到无偏估无偏估计计，但是在有色噪声影响下辨，但是在有色噪声影响下辨识结识结果的相果
47、的相对误对误差差较较大。最大。最小二乘法只适合用于只有白噪声影响下的系小二乘法只适合用于只有白噪声影响下的系统统辨辨识识，对对于有色噪于有色噪声影响下的系声影响下的系统统，我，我们应该寻们应该寻求更好的辨求更好的辨识识方法。方法。递递推最小二乘辨推最小二乘辨识识模型辨模型辨识识分分别别采用白噪声模型和有色噪声模型，取采用白噪声模型和有色噪声模型，取NSR=10%、40%，用，用递递推最小二乘法辨推最小二乘法辨识识模型参数，模型参数，对对比画出各参数辨比画出各参数辨识识结结果随果随递递推次数推次数变变化的曲化的曲线线。为为了了对对比研究，我比研究，我们们在同一在同一组组u、x序列下，用同一白噪声
48、源序列下，用同一白噪声源产产生生给给定噪信比的白噪声和有色噪定噪信比的白噪声和有色噪声干声干扰扰。辨辨识识参数参数为为a1=-1.5，a2=0.7，b1=2，b2=0.5，设设定在两种定在两种辨辨识识情况下，前后两次辨情况下，前后两次辨识误识误差小于差小于0.000000005时时，结结束仿真，束仿真，当当设设定定NSR=0.1时时，本次仿真循，本次仿真循环环35次次时结时结束仿真，仿真束仿真，仿真结结果果见图见图所示。所示。修改参数修改参数NSR=0.4，其他条件不，其他条件不变变，欲辨欲辨识识参数参数为为a1=-1.5，a2=0.7，b1=2，b2=0.5，再次运行仿真，循，再次运行仿真，
49、循环环35次以后次以后结结束仿真，仿真束仿真，仿真结结果果见图见图所示所示。从仿真从仿真结结果果图图中我中我们们可以看到，当噪信比可以看到，当噪信比较较小小时时（如（如NSR=0.1）时时，在白噪声影响下，在白噪声影响下，递递推最小二乘能正确辨推最小二乘能正确辨识识系系统统参数，且辨参数，且辨识识曲曲线较线较平平稳稳。而在有色噪声影响下，。而在有色噪声影响下，辨辨识结识结果有一点果有一点误误差，但辨差，但辨识识曲曲线线尚尚较较平平稳稳。当噪信比。当噪信比较较大（如大（如NSR=0.4）时时，不管是在白噪声，不管是在白噪声还还是有色噪声影响是有色噪声影响下，辨下，辨识识曲曲线线的波的波动动都都较较大，且辨大，且辨识误识误差都比噪信比小差都比噪信比小时时的辨的辨识误识误差有所增加。差有所增加。综综上所述：上所述：递递推最小二乘法只适合与噪信比推最小二乘法只适合与噪信比较较小小时时的白的白噪声影响下的系噪声影响下的系统统辨辨识识，对对于有色噪声影响下的系于有色噪声影响下的系统统辨辨识识或者噪信比或者噪信比较较大大时时的白噪声影响下的系的白噪声影响下的系统统辨辨识识，我，我们应该们应该寻寻找更好的辨找更好的辨识识方法。方法。第四章结束第四章结束