《第6章 最小二乘及偏最小二乘的参数估计方法-v1.ppt》由会员分享，可在线阅读，更多相关《第6章 最小二乘及偏最小二乘的参数估计方法-v1.ppt（83页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法化工过程动态数学模型化工过程动态数学模型硕士研究生课程硕士研究生课程-2010-2010陈祥光陈祥光1/14/20231化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 6.16.1 最小二乘整批算法最小二乘整批算法 6.2 6.2 最小二乘递推算法最小二乘递推算法 6.3 6.3 实验数据处理实验数据处理 6.4 6
2、.4 问题提出及最小二乘原理问题提出及最小二乘原理 6.5 6.5 偏最小二乘的基本含义偏最小二乘的基本含义 6.6 6.6 偏最小二乘的重要性偏最小二乘的重要性 6.7 6.7 应用举例应用举例 6.8 6.8 单因变量的偏最小二乘回归模型单因变量的偏最小二乘回归模型1/14/20232化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法第第6章章 最小二乘及最小二乘及偏最小二乘偏最小二乘的参数估计方法的参数估计方法 最小二乘法自高斯在最小二乘法自高斯在1795年提出以来，已有二百多年
3、的历年提出以来，已有二百多年的历史，但至今仍广泛用于参数估计。其主要原因是这种方法简单史，但至今仍广泛用于参数估计。其主要原因是这种方法简单方便，而且是其他几种方法的基础。方便，而且是其他几种方法的基础。上式中：上式中：Y量测向量；量测向量；参数向量；参数向量；H量测矩阵量测矩阵 e考虑量测误差的随机向量。考虑量测误差的随机向量。6.1 最小二乘整批算法最小二乘整批算法 （1）静态模型算法静态模型算法 设需要估计的模型用下列代数方程表示：设需要估计的模型用下列代数方程表示：（6-1）1/14/20233化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章
4、最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法例如：当模型形式为例如：当模型形式为 Y=a1x1+a2x2+anxn一共进行了一共进行了N 次次量测时：量测时：实际过程(或装置)1/14/20234化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 上式中上式中R-1 是加权矩阵，在此讨论是加权矩阵，在此讨论R=I（单位矩阵）时的最（单位矩阵）时的最小二乘估计。为了使小二乘估计。为了使J成为最小值，取成为最小值，取 现在要使下列目标函数现在要使下列目标函数J为最小
5、时，求出参数的估计值为最小时，求出参数的估计值（6-2）整理后有：整理后有：（6-3）一般情况下，一般情况下，量测次数量测次数N远大于待估计的远大于待估计的参数的数目参数的数目n。1/14/20235化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法（2）动态模型算法动态模型算法 考虑单输入单输出（考虑单输入单输出（SISO）线性系统，用后移差分算符）线性系统，用后移差分算符q-1表示的脉冲传递函数是：表示的脉冲传递函数是：（6-4）考虑到量测噪声的存在，（考虑到量测噪声的存在，（6-
6、4）式可写成：）式可写成：（6-5）上式中：上式中：k是采样次数，是采样次数，y是输出，是输出，u是输入，是输入，e是考虑噪声是考虑噪声或不确定性的随机变量。或不确定性的随机变量。1/14/20236化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法该系统的框图如该系统的框图如6-1所示：所示：图图6-1 辨识系统示意图辨识系统示意图 假定假定e(k)是独立的，零均值随机变量序列，而且在是独立的，零均值随机变量序列，而且在不同的不同的k 值下有相同的分布。如果采样次数从值下有相同的分布
7、。如果采样次数从(1-n)至至k，一共进行了一共进行了(n+k)次时量测，则对次时量测，则对y(k)可得出下列方程：可得出下列方程：1/14/20237化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法（6-6）可以看出，上式与（可以看出，上式与（6-1）式很相似，在得到）式很相似，在得到k次采样次采样数据后的最小二乘估计值可象（数据后的最小二乘估计值可象（6-3）式一样求取：）式一样求取：1/14/20238化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）
8、第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法（6-7）上式中：上式中：-是（是（2n+1）维列向量；）维列向量；-是是k维列向量；维列向量；-是是k(2n+1)维维矩矩阵阵；-是是(2n+1)(2n+1)的的对对称矩称矩阵阵。1/14/20239化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 上述的算法是在取得整批数据后，一次求取参数的估计值。上述的算法是在取得整批数据后，一次求取参数的估计值。在采样次数在采样次数k值大的时候，矩阵值大的时候
9、，矩阵HTH的计算比较费时，在模型的计算比较费时，在模型阶次阶次n高时，高时，(HTH)求逆的计算工作量很大。求逆的计算工作量很大。6.2 最小二乘递推算法最小二乘递推算法 值得注意的是：值得注意的是：如果取得新的测量数据，需对估计值进行如果取得新的测量数据，需对估计值进行修正时，必须从头算起，完全不能利用原来的计算结果。修正时，必须从头算起，完全不能利用原来的计算结果。在很多应用中，在有些在很多应用中，在有些自适应系统中自适应系统中，需要依据动态模型，需要依据动态模型参数的估计值来确定控制作用，必须不断依据新的数据来修参数的估计值来确定控制作用，必须不断依据新的数据来修正参数估计值。正参数估
10、计值。这就要求采用递推算法。这就要求采用递推算法。1/14/202310化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法（6-8）（1 1）基本的递推算法）基本的递推算法 递推算法的一般形式是：递推算法的一般形式是：-是预报是预报 值。值。上式中：上式中：-是第是第k次采样数据后求出的参数估计值；次采样数据后求出的参数估计值；-是得到第是得到第(k+1)次采样数据后求出的估计值；次采样数据后求出的估计值；-是是H 矩阵的矩阵的(k+1)行；行；-是是(2n+1)维的维的修正列向量矩阵
11、修正列向量矩阵。1/14/202311化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法（2 2）式（）式（6-86-8）的物理意义）的物理意义：在收到新的量测值后，要依据实际在收到新的量测值后，要依据实际y值与预报值之差，对参数的估计值进行适当的修正。值与预报值之差，对参数的估计值进行适当的修正。在此，在此，关键的问题是如何确定关键的问题是如何确定Kk+1，这在不同的算法中有这在不同的算法中有不同的解答。如果不同的解答。如果Kk+1的修正过于强烈，估计值将波动较大的修正过于强烈，估计
12、值将波动较大，甚至不能收敛；但如果过于微弱，则需要经过很多次采样，甚至不能收敛；但如果过于微弱，则需要经过很多次采样后，才能接近可靠的估计值。后，才能接近可靠的估计值。在最小二乘递推算法中，在最小二乘递推算法中，Kk+1的表达式为：的表达式为：（6-9）设则1/14/202312化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 在在式式（6-10）中中，是是个个纯纯量量，项项成成为为简简单单的求倒数计算，只不过要有了的求倒数计算，只不过要有了 ，的计算就不困难。的计算就不困难。（6-
13、10）但是，作为完整的算法，对但是，作为完整的算法，对P(k+1)也要有个递推算式，才能也要有个递推算式，才能满足下一采样后进一步修正估计值的计算中的需要。满足下一采样后进一步修正估计值的计算中的需要。由矩阵由矩阵求逆引理可以导出：求逆引理可以导出：（6-11）递推算法：递推算法：已有数据已有数据求求P(kP(k)求求K Kk+1k+1由由 ，1/14/202313化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 以上的递推算法尽管在计算步骤上与整批算法不同，但计以上的递推算法尽管在
14、计算步骤上与整批算法不同，但计算结果是相同的，对所采集的各组数据，对最终结果起着算结果是相同的，对所采集的各组数据，对最终结果起着同同等程度的影响。等程度的影响。在许多情况下，例如对于时变的系统，需要逐步减少老数在许多情况下，例如对于时变的系统，需要逐步减少老数据的作用，加强新数据的地位。据的作用，加强新数据的地位。一种办法一种办法是对数据组数作限制，一直规定为是对数据组数作限制，一直规定为k，在收到第，在收到第(k+1)组数据后，把第组数据后，把第1组数据弃掉，组数据弃掉，吐故纳新吐故纳新。另一种常用的办法另一种常用的办法是引入是引入遗忘因子遗忘因子 。把。把记忆记忆中的数据乘中的数据乘上小
15、于上小于1的数，犹如逐的数，犹如逐渐渐淡忘一淡忘一样样。采用采用遗遗忘因子的算法步忘因子的算法步骤骤如下：如下：1/14/202314化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 依据过去已有的数据，求取依据过去已有的数据，求取P(k)和和 ，如：，如：（6-12）也可按照某些初值假定，如也可按照某些初值假定，如 ，等等依据新的量测值求取依据新的量测值求取 （6-13）计算新的估计值计算新的估计值（6-14）1/14/202315化工化工过程动态数学模型（化工与环境学院）过程动态
16、数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法计算新的计算新的P值值（6-15）这样，构成一个完整的算法，一步一步计算，可设这样，构成一个完整的算法，一步一步计算，可设 的的值值在在01之之间间，通常取，通常取0.951。如。如 =1，则对新旧数据一视同仁，则对新旧数据一视同仁 值越小，对旧的数据遗忘越快。值越小，对旧的数据遗忘越快。1/14/202316化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 将现场测试得到的
17、数据直接代入回归方程，所得到的结果一将现场测试得到的数据直接代入回归方程，所得到的结果一般是不正确的。其原因是：目标函数同生产变量之间不一定都般是不正确的。其原因是：目标函数同生产变量之间不一定都是线性关系，如下图是线性关系，如下图6-2所示的实验数据分布：所示的实验数据分布：6.3 实验数据处理实验数据处理xyy=y0+kx图(a)yxaby=b+ax2图(b)1/14/202317化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 从以上的实验数据分布图可知：只有图从以上的实验数据
18、分布图可知：只有图(a)是线性关系。是线性关系。因此，在进行实验数据收集之前，建议进行有目的的试验，因此，在进行实验数据收集之前，建议进行有目的的试验，以找出目标函数以找出目标函数y同各个过程变量的定性关系。有目的试验的同各个过程变量的定性关系。有目的试验的最简单的方法是固定所有的有关变量，仅让其中一个变量变化，最简单的方法是固定所有的有关变量，仅让其中一个变量变化，观察目标函数观察目标函数(或称目标变量或称目标变量)同此变量的关系。同此变量的关系。y=-bxnyx0图(c)yx图(d)y与x 无关图图6-2 实验数据分布图实验数据分布图1/14/202318化工化工过程动态数学模型（化工与环
19、境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 实验数据的处理通常需要从几组测定的数据（例如实验数据的处理通常需要从几组测定的数据（例如N个点个点xi,yi）去求）去求数据拟合的问题数据拟合的问题。这种方法在有些场合称为。这种方法在有些场合称为线性线性回归问题回归问题，在系统辨识中称为，在系统辨识中称为参数据计。参数据计。6.4 问题提出及最小二乘原理问题提出及最小二乘原理 由于在实验中给出的数据总是有观测误差的，如果要求估由于在实验中给出的数据总是有观测误差的，如果要求估计曲线通过所有的点，那么会使曲线保留全部观
20、测误差的影计曲线通过所有的点，那么会使曲线保留全部观测误差的影响，这与古典的数据拟合方法是不相符的，由于数据拟合方响，这与古典的数据拟合方法是不相符的，由于数据拟合方法不要求曲线通过所有的点（法不要求曲线通过所有的点（xi,yi），而是根据这些数之间），而是根据这些数之间的相互关系，用其它方法给出它们之间合适的数学公式，绘的相互关系，用其它方法给出它们之间合适的数学公式，绘出一条近似曲线，以反映给定数据的一般趋势。出一条近似曲线，以反映给定数据的一般趋势。1/14/202319化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数
21、估计方法最小二乘及偏最小二乘的参数估计方法编号11.91.422.01.332.11.8229.08.0239.58.12410.08.1 假设生产过程中，某一因变量与自变量之间的关系，通过假设生产过程中，某一因变量与自变量之间的关系，通过实际测定。如下表实际测定。如下表6-1所示：所示：表表 6-1 实际测定数据表实际测定数据表1/14/202320化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 把把x,y的观测值标在坐标纸上，每组数据（的观测值标在坐标纸上，每组数据（x,y）在
22、图中以）在图中以一个星点表示，这种图一个星点表示，这种图称为散点图，称为散点图，从散点图可直观地看出从散点图可直观地看出两个变量之间的大致关系。两个变量之间的大致关系。xy图图6-3 散点图散点图1/14/202321化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 从以上的图可以看出从以上的图可以看出x与与y之间大致呈线性关系，因此，可之间大致呈线性关系，因此，可用一条直线来表示两者之间的关系，即设用一条直线来表示两者之间的关系，即设 y=a+b x (6-16)这时各坐标值大体上
23、满足如下方程组：这时各坐标值大体上满足如下方程组：a+1.9b=1.4 a+2b =1.3 .a+10b=8.1(6-17)若取式（6-17）中的第2和第24两方程联立起来：解得：解得：a=-0.4,b=0.851/14/202322化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 但是，当选取不同的点值时，得到的但是，当选取不同的点值时，得到的a、b值就不同，值就不同，这说这说明解不是唯一的！明解不是唯一的！假定用某种方法把假定用某种方法把a 和和 b确定下来，确定下来，这时有这时
24、有了了x就可以算出就可以算出y值，值，可记为：可记为：（6-18）当然，这样得到的当然，这样得到的 与与 不一定相同，把两个数据之差记为不一定相同，把两个数据之差记为（6-19）可以有许多方法来确定最好的可以有许多方法来确定最好的a和和b参数，但常用的是参数，但常用的是最小二最小二乘原理乘原理，即使，即使误差平方和达到最小误差平方和达到最小。即。即1/14/202323化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法为了求出为了求出a 和和 b的最好值，把（的最好值，把（6-19）式
25、代入（）式代入（6-20）式，可得）式，可得（6-20）（6-21）用数学分析中求极值的方法：用数学分析中求极值的方法：（6-22）1/14/202324化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法整理（整理（6-22）式可得：）式可得：（6-23）将观测值代入式（将观测值代入式（6-23）并解方程组可得：）并解方程组可得：可得：可得：（6-24）1/14/202325化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘
26、的参数估计方法最小二乘及偏最小二乘的参数估计方法从从向量和矩阵向量和矩阵的角度来讨论最小二乘估计，即的角度来讨论最小二乘估计，即则：则：（6-25）（6-26）例例6-1.设被估计模型形式为：设被估计模型形式为：对自变量与因变量进行了三次观测，得对自变量与因变量进行了三次观测，得3组数据如下：组数据如下：（6-27）1/14/202326化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法由（由（6-27）式可知：）式可知：由于量测矩阵由于量测矩阵H的秩为的秩为2，与被估计量的维数相等，
27、其逆存，与被估计量的维数相等，其逆存在，因此，利用公式（在，因此，利用公式（6-26）可得最小二乘估计为：）可得最小二乘估计为：1/14/202327化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法因此：因此：例例6-2.对于对于时变系统时变系统的参数估计：的参数估计：y(k)+a(k)y(k-1)=b(k)u(k-1)+e(k)a(k),b(k)具有以下的数值：具有以下的数值：a(k)=0.8,b(k)=0.5,当当0k300 a(k)=0.6,b(k)=0.3,当当k3001/1
28、4/202328化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法e(k)为零均值白噪声，利用上述的递推算法估计时变参数：为零均值白噪声，利用上述的递推算法估计时变参数：0.30.5300360N0.80.6图6-3a 时估计估计真值1/14/202329化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法0.30.5300360N0.80.6图6-3b 时估计估计真值 从上面的
29、图从上面的图6-3a和和6-3b可以看出：当可以看出：当的的值值取得取得较较小小时时，参数，参数估估计变计变化化较较快，但快，但对对噪声的跟踪能力也大。当噪声的跟踪能力也大。当的的值值取取较较大大时时，参数估，参数估计变计变化化较较慢，但最后估慢，但最后估计计精度精度较较高。高。1/14/202330化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法已知已知整批的最小二乘整批的最小二乘估计公式为：估计公式为：（6-28）其其递推的最小二乘递推的最小二乘估计公式为：估计公式为：（6-29
30、）（6-30）对于对于n阶模型：阶模型：(6-31)1/14/202331化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 可以证明，从第可以证明，从第n+1组数据就可以利用公式组数据就可以利用公式(6-29)、(6-30)进行递推进行递推。注：注：在利用公式在利用公式(6-29)、(6-30)进行递推计算时，需要一组初进行递推计算时，需要一组初值值 或或 和和 。通常可利用公式（。通常可利用公式（6-28）计算出一组）计算出一组初值，也可以根据历史数据选择一组初始值。如果没有任何初
31、值，也可以根据历史数据选择一组初始值。如果没有任何历史数据可供参考的话，那么可设历史数据可供参考的话，那么可设：1/14/202332化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 其中的其中的 是充分大的正数，通常选择是充分大的正数，通常选择 ，可以证明，经过相当次数的推递之后，这种初始值的影响可以证明，经过相当次数的推递之后，这种初始值的影响就逐渐消失，而得到满意的估计值。就逐渐消失，而得到满意的估计值。递推最小二乘法的计算框图如下递推最小二乘法的计算框图如下：由由(6-29)
32、式计算中式计算中 由由(6-30)式计算中式计算中 设置初值设置初值输入输入n组数据组数据输入第输入第 组数据组数据图图6-4 递推最小二乘法程序框图递推最小二乘法程序框图1/14/202333化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法例例6-3.基于递推最小二乘法所需要的基于递推最小二乘法所需要的存储单元数存储单元数，考虑二阶，考虑二阶 线性动态模型：线性动态模型：在输入在输入n组数据时，从第组数据时，从第n+1组数据开始推递计算：组数据开始推递计算：1/14/202334化
33、工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 1642n42n41111共计存储单元共计存储单元30从第从第3组数据开始递推：组数据开始递推：从上面的计算过程可见，递推最小二乘法，每一步需要存储从上面的计算过程可见，递推最小二乘法，每一步需要存储单元的数目是：单元的数目是：1/14/202335化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法6.5 偏最小二乘的基本含义偏
34、最小二乘的基本含义 偏最小二乘回归是一种新型的多元统计分析方法偏最小二乘回归是一种新型的多元统计分析方法,它于它于1983年由伍德（年由伍德（S.Wold）和阿巴诺（）和阿巴诺（C.Albano）等人首次提出。）等人首次提出。伍德教授执教于瑞典的伍德教授执教于瑞典的Umea大学有机化学系，在他的指导大学有机化学系，在他的指导下，发表了多篇有关偏最小二乘回归理论和应用的论文，并开下，发表了多篇有关偏最小二乘回归理论和应用的论文，并开发了相关软件，用以支持偏最小二乘回归的计算和结果解释。发了相关软件，用以支持偏最小二乘回归的计算和结果解释。也正因此，偏最小二乘回归首先在也正因此，偏最小二乘回归首先
35、在化工领域化工领域得到广泛应用。得到广泛应用。1996年年10月在法国巴黎召开一次有关偏最小二乘回归方法月在法国巴黎召开一次有关偏最小二乘回归方法理论与实践的学术研讨会。美国密西根大学（理论与实践的学术研讨会。美国密西根大学（Michigan Univer-sity）的弗耐尔（）的弗耐尔（Fornell）教授称偏最小二乘回归为）教授称偏最小二乘回归为第二代回归第二代回归分析方法。分析方法。1/14/202336化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法6.6 偏最小二乘的重要性
36、偏最小二乘的重要性偏最小二乘回归方法在统计应用中的重要性有：偏最小二乘回归方法在统计应用中的重要性有：偏最小二乘回归是一种偏最小二乘回归是一种多因变量多因变量对对多自变量多自变量的回归建模的回归建模方法；特别当各变量集合内部存在较高程度的相关性时，用偏方法；特别当各变量集合内部存在较高程度的相关性时，用偏偏最小二乘回归进行回归建模分析，对比逐个因变量进行多元偏最小二乘回归进行回归建模分析，对比逐个因变量进行多元回归更加有效，其结论更加可靠，整体性更强。回归更加有效，其结论更加可靠，整体性更强。偏最小二乘回归可以较好地解决许多以往用普通多元回偏最小二乘回归可以较好地解决许多以往用普通多元回归无法
37、解决的问题；最典型的问题是自变量之间的归无法解决的问题；最典型的问题是自变量之间的多重相关性多重相关性。如果采用普通的最小二乘回归方法，这种变量多重相关性就。如果采用普通的最小二乘回归方法，这种变量多重相关性就会严重危害参数估计，扩大模型误差，并破坏模型的稳健性。会严重危害参数估计，扩大模型误差，并破坏模型的稳健性。1/14/202337化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 而采用偏最小二乘回归方法，是利用对系统中的数据信息而采用偏最小二乘回归方法，是利用对系统中的数据信
38、息进行分解和筛选的方式，提取对因变量解释性最强的综合变量进行分解和筛选的方式，提取对因变量解释性最强的综合变量，辨识系统中的信息与噪声，从而更好地克服多重相关性在系，辨识系统中的信息与噪声，从而更好地克服多重相关性在系统建模中的不良作用。统建模中的不良作用。另一方面，在使用普通最小二乘回归时经常受到样本点数另一方面，在使用普通最小二乘回归时经常受到样本点数的限制（样本点不宜太少）。一般统计书上介绍该数目应是变的限制（样本点不宜太少）。一般统计书上介绍该数目应是变量个数的量个数的两倍以上两倍以上，但由于费用、时间等条件的限制，所能得，但由于费用、时间等条件的限制，所能得到的样本点个数却少于变量的
39、个数，此时采用普通的多元回归到的样本点个数却少于变量的个数，此时采用普通的多元回归方法无能为力，而采用偏最小二乘回归方法可得到较好解决。方法无能为力，而采用偏最小二乘回归方法可得到较好解决。1/14/202338化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 偏最小二乘回归方法可以实现多种数据分析方法的综偏最小二乘回归方法可以实现多种数据分析方法的综合，所以被称为合，所以被称为第二代回归方法第二代回归方法。偏最小二乘回归可以集偏最小二乘回归可以集多元线性回归分析多元线性回归分析、典
40、型相关分典型相关分析析和和主成分分析主成分分析的基本功能为一体，将建模预测类型的数据的基本功能为一体，将建模预测类型的数据分析方法与非模型式的数据认识性分析方法有机地结合起来，分析方法与非模型式的数据认识性分析方法有机地结合起来，即即偏最小二乘回归偏最小二乘回归多元多元线线性回性回归归分析分析+典型相关分析典型相关分析 +主成分分析主成分分析1/14/202339化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法应用举例应用举例1：主元分析法主元分析法在原油储罐测控系统中的应用在原油储
41、罐测控系统中的应用 （1）目的）目的 为了确保安全生产，实时监控原油集输过程中的变量，为了确保安全生产，实时监控原油集输过程中的变量，基于主元分析方法研究原油储罐各参数的变化规律，建立了主基于主元分析方法研究原油储罐各参数的变化规律，建立了主元回归模型，分析影响原油储罐正常运行的主要因素，对生产元回归模型，分析影响原油储罐正常运行的主要因素，对生产过程工艺参数的不正常状态实现有效的识别。过程工艺参数的不正常状态实现有效的识别。在现代化生产过程中，要求操作人员同时监视大量的过程在现代化生产过程中，要求操作人员同时监视大量的过程变量是比较困难的。如能将很多相关的过程变量压缩为少数的变量是比较困难的
42、。如能将很多相关的过程变量压缩为少数的独立变量，而这些少数独立变量又涵盖了整个过程的大部分信独立变量，而这些少数独立变量又涵盖了整个过程的大部分信息，那么操作人员通过对这少数独立变量的监视，以实现对整息，那么操作人员通过对这少数独立变量的监视，以实现对整个生产过程的监控。个生产过程的监控。1/14/202340化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 （2）概述）概述 主元分析（主元分析（Principal Component Analysis）就是将相关的变）就是将相关的变
43、量转化为少数几个相互独立变量的一个有效的方法。量转化为少数几个相互独立变量的一个有效的方法。基于主元分析基于主元分析(PCA)的方法是多元（变量）统计过程控制的方法是多元（变量）统计过程控制(Multivariable Statistic Process Control)方法的一个重要工具。方法的一个重要工具。MSPC的主要内容是建立多元统计模型的主要内容是建立多元统计模型(如如PCA模型模型)，将生产过，将生产过程中存在的高度相关的过程变量通过多元统计程中存在的高度相关的过程变量通过多元统计投影映射到少量投影映射到少量隐变量隐变量定义的低维空间中，使定义的低维空间中，使过程监控过程监控、故障
44、检测与诊断故障检测与诊断以及以及相应的研究得以简化。相应的研究得以简化。通过对原油储罐内原油的各参数（如液位、压力、界面、通过对原油储罐内原油的各参数（如液位、压力、界面、温度等）进行监控，可以有效的预防原油温度等）进行监控，可以有效的预防原油冒罐冒罐、原油罐被、原油罐被抽瘪抽瘪等事故发生。等事故发生。1/14/202341化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法1/14/202342化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章
45、最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法1/14/202343化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法1/14/202344化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法1/14/202345化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘
46、的参数估计方法1/14/202346化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法1/14/202347化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法1/14/202348化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法1/14/202349化工化工过程动态数
47、学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法1/14/202350化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法1/14/202351化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法1/14/202352化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学
48、院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法1/14/202353化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法1/14/202354化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法1/14/202355化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法
49、最小二乘及偏最小二乘的参数估计方法1/14/202356化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法1/14/202357化工化工过程动态数学模型（化工与环境学院）过程动态数学模型（化工与环境学院）第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法应用举例应用举例2：偏最小二乘法在高炉冶炼中的应用：偏最小二乘法在高炉冶炼中的应用 高炉冶炼过程包含着众多的子工序高炉冶炼过程包含着众多的子工序,包括包括配料配料、上料上料、布布料料、鼓风鼓风、富氧富氧
50、、喷煤喷煤、出渣出渣、出铁出铁等。等。在生产过程中在生产过程中,包含包含着众多的影响参数着众多的影响参数,使得高炉铁水含硅量发生剧烈波动。这些使得高炉铁水含硅量发生剧烈波动。这些影响参数本身之间存在着复杂的线性相关。影响参数本身之间存在着复杂的线性相关。为了对高炉冶炼过程进行平稳控制为了对高炉冶炼过程进行平稳控制,大量的非线性方法包大量的非线性方法包括神经网络、模糊数学、混沌和分形时间序列方法得到了广泛括神经网络、模糊数学、混沌和分形时间序列方法得到了广泛的应用的应用,并取得了一定的成果。然而并取得了一定的成果。然而,这些方法仅仅考虑单一这些方法仅仅考虑单一的因素的因素(铁水含硅量铁水含硅量)