《小二乘及偏最小二乘的参数估计方法-v.ppt》由会员分享，可在线阅读，更多相关《小二乘及偏最小二乘的参数估计方法-v.ppt（83页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法化工过程动态数学模型化工过程动态数学模型硕士研究生课程硕士研究生课程-2010-2010陈祥光陈祥光10/28/20221第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 最小二乘整批算法最小二乘整批算法 6.2 最小二乘最小二乘递推算法推算法 6.3 实验数据数据处理理 6.4 问题提出及最小二乘原理提出及最小二乘原理 6.5 偏最小二乘的基本含偏最小二乘的基本含义 6.6 偏最小二乘的重要
2、性偏最小二乘的重要性 6.7 应用用举例例 6.8 单因因变量的偏最小二乘回量的偏最小二乘回归模型模型10/28/20222第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法第第6章章 最小二乘及最小二乘及偏最小二乘偏最小二乘的参数估计方法的参数估计方法 最小二乘法自高斯在最小二乘法自高斯在1795年提出以来，已有二百多年的历年提出以来，已有二百多年的历史，但至今仍广泛用于参数估计。其主要原因是这种方法简单史，但至今仍广泛用于参数估计。其主要原因是这种方法简单方便，而且是其他几种方法的基础。方便，而且是其他几种方法的基础。上式中：上式中：Y量测向量；量测向量；
3、参数向量；参数向量；H量测矩阵量测矩阵 e考虑量测误差的随机向量。考虑量测误差的随机向量。6.1 最小二乘整批算法最小二乘整批算法 （1）静态模型算法静态模型算法 设需要估计的模型用下列代数方程表示：设需要估计的模型用下列代数方程表示：（6-1）10/28/20223第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法例如：当模型形式为例如：当模型形式为 Y=a1x1+a2x2+anxn一共进行了一共进行了N 次次量测时：量测时：实际过程(或装置)10/28/20224第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 上式中上
4、式中R-1 是加权矩阵，在此讨论是加权矩阵，在此讨论R=I（单位矩阵）时的最（单位矩阵）时的最小二乘估计。为了使小二乘估计。为了使J成为最小值，取成为最小值，取 现在要使下列目标函数现在要使下列目标函数J为最小时，求出参数的估计值为最小时，求出参数的估计值（6-2）整理后有：整理后有：（6-3）一般情况下，一般情况下，量测次数量测次数N远大于待估计的远大于待估计的参数的数目参数的数目n。10/28/20225第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法（2）动态模型算法动态模型算法 考虑单输入单输出（考虑单输入单输出（SISO）线性系统，用后移差分算符）
5、线性系统，用后移差分算符q-1表示的脉冲传递函数是：表示的脉冲传递函数是：（6-4）考虑到量测噪声的存在，（考虑到量测噪声的存在，（6-4）式可写成：）式可写成：（6-5）上式中：上式中：k是采样次数，是采样次数，y是输出，是输出，u是输入，是输入，e是考虑噪声是考虑噪声或不确定性的随机变量。或不确定性的随机变量。10/28/20226第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法该系统的框图如该系统的框图如6-1所示：所示：图图6-1 辨识系统示意图辨识系统示意图 假定假定e(k)是独立的，零均值随机变量序列，而且在是独立的，零均值随机变量序列，而且在不
6、同的不同的k 值下有相同的分布。如果采样次数从值下有相同的分布。如果采样次数从(1-n)至至k，一共进行了一共进行了(n+k)次时量测，则对次时量测，则对y(k)可得出下列方程：可得出下列方程：10/28/20227第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法（6-6）可以看出，上式与（可以看出，上式与（6-1）式很相似，在得到）式很相似，在得到k次采样次采样数据后的最小二乘估计值可象（数据后的最小二乘估计值可象（6-3）式一样求取：）式一样求取：10/28/20228第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法（
7、6-7）上式中：上式中：-是（是（2n+1）维列向量；）维列向量；-是是k维列向量；维列向量；-是是k(2n+1)维维矩矩阵阵；-是是(2n+1)(2n+1)的的对对称矩称矩阵阵。10/28/20229第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 上述的算法是在取得整批数据后，一次求取参数的估计值。上述的算法是在取得整批数据后，一次求取参数的估计值。在采样次数在采样次数k值大的时候，矩阵值大的时候，矩阵HTH的计算比较费时，在模型的计算比较费时，在模型阶次阶次n高时，高时，(HTH)求逆的计算工作量很大。求逆的计算工作量很大。6.2 最小二乘递推算法最小
8、二乘递推算法 值得注意的是：值得注意的是：如果取得新的测量数据，需对估计值进行如果取得新的测量数据，需对估计值进行修正时，必须从头算起，完全不能利用原来的计算结果。修正时，必须从头算起，完全不能利用原来的计算结果。在很多应用中，在有些在很多应用中，在有些自适应系统中自适应系统中，需要依据动态模型，需要依据动态模型参数的估计值来确定控制作用，必须不断依据新的数据来修参数的估计值来确定控制作用，必须不断依据新的数据来修正参数估计值。正参数估计值。这就要求采用递推算法。这就要求采用递推算法。10/28/202210第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法（
9、6-8）（1 1）基本的递推算法）基本的递推算法 递推算法的一般形式是：递推算法的一般形式是：-是预报是预报 值。值。上式中：上式中：-是第是第k次采样数据后求出的参数估计值；次采样数据后求出的参数估计值；-是得到第是得到第(k+1)次采样数据后求出的估计值；次采样数据后求出的估计值；-是是H 矩阵的矩阵的(k+1)行；行；-是是(2n+1)维的维的修正列向量矩阵修正列向量矩阵。10/28/202211第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法（2 2）式（）式（6-86-8）的物理意义）的物理意义：在收到新的量测值后，要依据实际在收到新的量测值后，要
10、依据实际y值与预报值之差，对参数的估计值进行适当的修正。值与预报值之差，对参数的估计值进行适当的修正。在此，在此，关键的问题是如何确定关键的问题是如何确定Kk+1，这在不同的算法中有这在不同的算法中有不同的解答。如果不同的解答。如果Kk+1的修正过于强烈，估计值将波动较大的修正过于强烈，估计值将波动较大，甚至不能收敛；但如果过于微弱，则需要经过很多次采样，甚至不能收敛；但如果过于微弱，则需要经过很多次采样后，才能接近可靠的估计值。后，才能接近可靠的估计值。在最小二乘递推算法中，在最小二乘递推算法中，Kk+1的表达式为：的表达式为：（6-9）设则10/28/202212第第6 6章章 最小二乘及
11、偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 在在式式（6-10）中中，是是个个纯纯量量，项项成成为为简简单单的求倒数计算，只不过要有了的求倒数计算，只不过要有了 ，的计算就不困难。的计算就不困难。（6-10）但是，作为完整的算法，对但是，作为完整的算法，对P(k+1)也要有个递推算式，才能也要有个递推算式，才能满足下一采样后进一步修正估计值的计算中的需要。满足下一采样后进一步修正估计值的计算中的需要。由矩阵由矩阵求逆引理可以导出：求逆引理可以导出：（6-11）递推算法：递推算法：已有数据已有数据求求P(k)P(k)求求K Kk+1k+1由由 ，10/28/202213第第6 6
12、章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 以上的递推算法尽管在计算步骤上与整批算法不同，但计以上的递推算法尽管在计算步骤上与整批算法不同，但计算结果是相同的，对所采集的各组数据，对最终结果起着算结果是相同的，对所采集的各组数据，对最终结果起着同同等程度的影响。等程度的影响。在许多情况下，例如对于时变的系统，需要逐步减少老数在许多情况下，例如对于时变的系统，需要逐步减少老数据的作用，加强新数据的地位。据的作用，加强新数据的地位。一种办法一种办法是对数据组数作限制，一直规定为是对数据组数作限制，一直规定为k，在收到第，在收到第(k+1)组数据后，把第组数据后，把第
13、1组数据弃掉，组数据弃掉，吐故纳新吐故纳新。另一种常用的办法另一种常用的办法是引入是引入遗忘因子遗忘因子 。把。把记忆记忆中的数据乘中的数据乘上小于上小于1的数，犹如逐的数，犹如逐渐渐淡忘一淡忘一样样。采用采用遗遗忘因子的算法步忘因子的算法步骤骤如下：如下：10/28/202214第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 依据过去已有的数据，求取依据过去已有的数据，求取P(k)和和 ，如：，如：（6-12）也可按照某些初值假定，如也可按照某些初值假定，如 ，等等依据新的量测值求取依据新的量测值求取 （6-13）计算新的估计值计算新的估计值（6-14）
14、10/28/202215第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法计算新的计算新的P值值（6-15）这样，构成一个完整的算法，一步一步计算，可设这样，构成一个完整的算法，一步一步计算，可设 的的值值在在01之之间间，通常取，通常取0.951。如。如 =1，则对新旧数据一视同仁，则对新旧数据一视同仁 值越小，对旧的数据遗忘越快。值越小，对旧的数据遗忘越快。10/28/202216第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 将现场测试得到的数据直接代入回归方程，所得到的结果一将现场测试得到的数据直接代入回归方程，所
15、得到的结果一般是不正确的。其原因是：目标函数同生产变量之间不一定都般是不正确的。其原因是：目标函数同生产变量之间不一定都是线性关系，如下图是线性关系，如下图6-2所示的实验数据分布：所示的实验数据分布：6.3 实验数据处理实验数据处理xyy=y0+kx图(a)yxaby=b+ax2图(b)10/28/202217第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 从以上的实验数据分布图可知：只有图从以上的实验数据分布图可知：只有图(a)是线性关系。是线性关系。因此，在进行实验数据收集之前，建议进行有目的的试验，因此，在进行实验数据收集之前，建议进行有目的的试验
16、，以找出目标函数以找出目标函数y同各个过程变量的定性关系。有目的试验的同各个过程变量的定性关系。有目的试验的最简单的方法是固定所有的有关变量，仅让其中一个变量变化，最简单的方法是固定所有的有关变量，仅让其中一个变量变化，观察目标函数观察目标函数(或称目标变量或称目标变量)同此变量的关系。同此变量的关系。y=-bxnyx0图(c)yx图(d)y与x 无关图图6-2 实验数据分布图实验数据分布图10/28/202218第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 实验数据的处理通常需要从几组测定的数据（例如实验数据的处理通常需要从几组测定的数据（例如N个点个
17、点xi,yi）去求）去求数据拟合的问题数据拟合的问题。这种方法在有些场合称为。这种方法在有些场合称为线性线性回归问题回归问题，在系统辨识中称为，在系统辨识中称为参数据计。参数据计。6.4 问题提出及最小二乘原理问题提出及最小二乘原理 由于在实验中给出的数据总是有观测误差的，如果要求估由于在实验中给出的数据总是有观测误差的，如果要求估计曲线通过所有的点，那么会使曲线保留全部观测误差的影计曲线通过所有的点，那么会使曲线保留全部观测误差的影响，这与古典的数据拟合方法是不相符的，由于数据拟合方响，这与古典的数据拟合方法是不相符的，由于数据拟合方法不要求曲线通过所有的点（法不要求曲线通过所有的点（xi,
18、yi），而是根据这些数之间），而是根据这些数之间的相互关系，用其它方法给出它们之间合适的数学公式，绘的相互关系，用其它方法给出它们之间合适的数学公式，绘出一条近似曲线，以反映给定数据的一般趋势。出一条近似曲线，以反映给定数据的一般趋势。10/28/202219第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法编号11.91.422.01.332.11.8229.08.0239.58.12410.08.1 假设生产过程中，某一因变量与自变量之间的关系，通过假设生产过程中，某一因变量与自变量之间的关系，通过实际测定。如下表实际测定。如下表6-1所示：所示：表表 6
19、-1 实际测定数据表实际测定数据表10/28/202220第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 把把x,y的观测值标在坐标纸上，每组数据（的观测值标在坐标纸上，每组数据（x,y）在图中以）在图中以一个星点表示，这种图一个星点表示，这种图称为散点图，称为散点图，从散点图可直观地看出从散点图可直观地看出两个变量之间的大致关系。两个变量之间的大致关系。xy图图6-3 散点图散点图10/28/202221第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 从以上的图可以看出从以上的图可以看出x与与y之间大致呈线性关系，因
20、此，可之间大致呈线性关系，因此，可用一条直线来表示两者之间的关系，即设用一条直线来表示两者之间的关系，即设 y=a+b x (6-16)这时各坐标值大体上满足如下方程组：这时各坐标值大体上满足如下方程组：a+1.9b=1.4 a+2b =1.3 .a+10b=8.1(6-17)若取式（6-17）中的第2和第24两方程联立起来：解得：解得：10/28/202222第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 但是，当选取不同的点值时，得到的但是，当选取不同的点值时，得到的a、b值就不同，值就不同，这说这说明解不是唯一的！明解不是唯一的！假定用某种方法把假定
21、用某种方法把a 和和 b确定下来，确定下来，这时有这时有了了x就可以算出就可以算出y值，值，可记为：可记为：（6-18）当然，这样得到的当然，这样得到的 与与 不一定相同，把两个数据之差记为不一定相同，把两个数据之差记为（6-19）可以有许多方法来确定最好的可以有许多方法来确定最好的a和和b参数，但常用的是参数，但常用的是最小二最小二乘原理乘原理，即使，即使误差平方和达到最小误差平方和达到最小。即。即10/28/202223第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法为了求出为了求出a 和和 b的最好值，把（的最好值，把（6-19）式代入（）式代入（6-
22、20）式，可得）式，可得（6-20）（6-21）用数学分析中求极值的方法：用数学分析中求极值的方法：（6-22）10/28/202224第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法整理（整理（6-22）式可得：）式可得：（6-23）将观测值代入式（将观测值代入式（6-23）并解方程组可得：）并解方程组可得：可得：可得：（6-24）10/28/202225第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法从从向量和矩阵向量和矩阵的角度来讨论最小二乘估计，即的角度来讨论最小二乘估计，即则：则：（6-25）（6-26）例例6-
23、1.设被估计模型形式为：设被估计模型形式为：对自变量与因变量进行了三次观测，得对自变量与因变量进行了三次观测，得3组数据如下：组数据如下：（6-27）10/28/202226第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法由（由（6-27）式可知：）式可知：由于量测矩阵由于量测矩阵H的秩为的秩为2，与被估计量的维数相等，其逆存，与被估计量的维数相等，其逆存在，因此，利用公式（在，因此，利用公式（6-26）可得最小二乘估计为：）可得最小二乘估计为：10/28/202227第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法因此：
24、因此：例例6-2.对于对于时变系统时变系统的参数估计：的参数估计：y(k)+a(k)y(k-1)=b(k)u(k-1)+e(k)a(k),b(k)具有以下的数值：具有以下的数值：a(k)=0.8,b(k)=0.5,当当0k300 a(k)=0.6,b(k)=0.3,当当k30010/28/202228第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法e(k)为零均值白噪声，利用上述的递推算法估计时变参数：为零均值白噪声，利用上述的递推算法估计时变参数：0.30.5300360N0.80.6图6-3a 时估计估计真值10/28/202229第第6 6章章 最小二
25、乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法0.30.5300360N0.80.6图6-3b 时估计估计真值 从上面的图从上面的图6-3a和和6-3b可以看出：当可以看出：当的的值值取得取得较较小小时时，参数，参数估估计变计变化化较较快，但快，但对对噪声的跟踪能力也大。当噪声的跟踪能力也大。当的的值值取取较较大大时时，参数估，参数估计变计变化化较较慢，但最后估慢，但最后估计计精度精度较较高。高。10/28/202230第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法已知已知整批的最小二乘整批的最小二乘估计公式为：估计公式为：（6-28）其其
26、递推的最小二乘递推的最小二乘估计公式为：估计公式为：（6-29）（6-30）对于对于n阶模型：阶模型：(6-31)10/28/202231第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 可以证明，从第可以证明，从第n+1组数据就可以利用公式组数据就可以利用公式(6-29)、(6-30)进行递推进行递推。注：注：在利用公式在利用公式(6-29)、(6-30)进行递推计算时，需要一组初进行递推计算时，需要一组初值值 或或 和和 。通常可利用公式（。通常可利用公式（6-28）计算出一组）计算出一组初值，也可以根据历史数据选择一组初始值。如果没有任何初值，也可以根
27、据历史数据选择一组初始值。如果没有任何历史数据可供参考的话，那么可设历史数据可供参考的话，那么可设：10/28/202232第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 其中的其中的 是充分大的正数，通常选择是充分大的正数，通常选择 ，可以证明，经过相当次数的推递之后，这种初始值的影响可以证明，经过相当次数的推递之后，这种初始值的影响就逐渐消失，而得到满意的估计值。就逐渐消失，而得到满意的估计值。递推最小二乘法的计算框图如下递推最小二乘法的计算框图如下：由由(6-29)式计算中式计算中 由由(6-30)式计算中式计算中 设置初值设置初值输入输入n组数据组
28、数据输入第输入第 组数据组数据图图6-4 递推最小二乘法程序框图递推最小二乘法程序框图10/28/202233第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法例例6-3.基于递推最小二乘法所需要的基于递推最小二乘法所需要的存储单元数存储单元数，考虑二阶，考虑二阶 线性动态模型：线性动态模型：在输入在输入n组数据时，从第组数据时，从第n+1组数据开始推递计算：组数据开始推递计算：10/28/202234第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 1642n42n41111共计存储单元共计存储单元30从第从第3组数据开始
29、递推：组数据开始递推：从上面的计算过程可见，递推最小二乘法，每一步需要存储从上面的计算过程可见，递推最小二乘法，每一步需要存储单元的数目是：单元的数目是：10/28/202235第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法6.5 偏最小二乘的基本含义偏最小二乘的基本含义 偏最小二乘回归是一种新型的多元统计分析方法偏最小二乘回归是一种新型的多元统计分析方法,它于它于1983年由伍德（）和阿巴诺（）等人首次提出。年由伍德（）和阿巴诺（）等人首次提出。伍德教授执教于瑞典的伍德教授执教于瑞典的Umea大学有机化学系，在他的指导大学有机化学系，在他的指导下，发表了
30、多篇有关偏最小二乘回归理论和应用的论文，并开下，发表了多篇有关偏最小二乘回归理论和应用的论文，并开发了相关软件，用以支持偏最小二乘回归的计算和结果解释。发了相关软件，用以支持偏最小二乘回归的计算和结果解释。也正因此，偏最小二乘回归首先在也正因此，偏最小二乘回归首先在化工领域化工领域得到广泛应用。得到广泛应用。1996年年10月在法国巴黎召开一次有关偏最小二乘回归方法月在法国巴黎召开一次有关偏最小二乘回归方法理论与实践的学术研讨会。美国密西根大学（理论与实践的学术研讨会。美国密西根大学（Michigan Univer-sity）的弗耐尔（）的弗耐尔（Fornell）教授称偏最小二乘回归为）教授称
31、偏最小二乘回归为第二代回归第二代回归分析方法。分析方法。10/28/202236第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法6.6 偏最小二乘的重要性偏最小二乘的重要性偏最小二乘回归方法在统计应用中的重要性有：偏最小二乘回归方法在统计应用中的重要性有：偏最小二乘回归是一种偏最小二乘回归是一种多因变量多因变量对对多自变量多自变量的回归建模的回归建模方法；特别当各变量集合内部存在较高程度的相关性时，用偏方法；特别当各变量集合内部存在较高程度的相关性时，用偏偏最小二乘回归进行回归建模分析，对比逐个因变量进行多元偏最小二乘回归进行回归建模分析，对比逐个因变量进行
32、多元回归更加有效，其结论更加可靠，整体性更强。回归更加有效，其结论更加可靠，整体性更强。偏最小二乘回归可以较好地解决许多以往用普通多元回偏最小二乘回归可以较好地解决许多以往用普通多元回归无法解决的问题；最典型的问题是自变量之间的归无法解决的问题；最典型的问题是自变量之间的多重相关性多重相关性。如果采用普通的最小二乘回归方法，这种变量多重相关性就。如果采用普通的最小二乘回归方法，这种变量多重相关性就会严重危害参数估计，扩大模型误差，并破坏模型的稳健性。会严重危害参数估计，扩大模型误差，并破坏模型的稳健性。10/28/202237第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二
33、乘的参数估计方法 而采用偏最小二乘回归方法，是利用对系统中的数据信息而采用偏最小二乘回归方法，是利用对系统中的数据信息进行分解和筛选的方式，提取对因变量解释性最强的综合变量进行分解和筛选的方式，提取对因变量解释性最强的综合变量，辨识系统中的信息与噪声，从而更好地克服多重相关性在系，辨识系统中的信息与噪声，从而更好地克服多重相关性在系统建模中的不良作用。统建模中的不良作用。另一方面，在使用普通最小二乘回归时经常受到样本点数另一方面，在使用普通最小二乘回归时经常受到样本点数的限制（样本点不宜太少）。一般统计书上介绍该数目应是变的限制（样本点不宜太少）。一般统计书上介绍该数目应是变量个数的量个数的两
34、倍以上两倍以上，但由于费用、时间等条件的限制，所能得，但由于费用、时间等条件的限制，所能得到的样本点个数却少于变量的个数，此时采用普通的多元回归到的样本点个数却少于变量的个数，此时采用普通的多元回归方法无能为力，而采用偏最小二乘回归方法可得到较好解决。方法无能为力，而采用偏最小二乘回归方法可得到较好解决。10/28/202238第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 偏最小二乘回归方法可以实现多种数据分析方法的综偏最小二乘回归方法可以实现多种数据分析方法的综合，所以被称为合，所以被称为第二代回归方法第二代回归方法。偏最小二乘回归可以集偏最小二乘回归
35、可以集多元线性回归分析多元线性回归分析、典型相关分典型相关分析析和和主成分分析主成分分析的基本功能为一体，将建模预测类型的数据的基本功能为一体，将建模预测类型的数据分析方法与非模型式的数据认识性分析方法有机地结合起来，分析方法与非模型式的数据认识性分析方法有机地结合起来，即即偏最小二乘回归偏最小二乘回归多元多元线线性回性回归归分析分析+典型相关分析典型相关分析 +主成分分析主成分分析10/28/202239第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法应用举例应用举例1：主元分析法主元分析法在原油储罐测控系统中的应用在原油储罐测控系统中的应用 （1）目的）
36、目的 为了确保安全生产，实时监控原油集输过程中的变量，为了确保安全生产，实时监控原油集输过程中的变量，基于主元分析方法研究原油储罐各参数的变化规律，建立了主基于主元分析方法研究原油储罐各参数的变化规律，建立了主元回归模型，分析影响原油储罐正常运行的主要因素，对生产元回归模型，分析影响原油储罐正常运行的主要因素，对生产过程工艺参数的不正常状态实现有效的识别。过程工艺参数的不正常状态实现有效的识别。在现代化生产过程中，要求操作人员同时监视大量的过程在现代化生产过程中，要求操作人员同时监视大量的过程变量是比较困难的。如能将很多相关的过程变量压缩为少数的变量是比较困难的。如能将很多相关的过程变量压缩为
37、少数的独立变量，而这些少数独立变量又涵盖了整个过程的大部分信独立变量，而这些少数独立变量又涵盖了整个过程的大部分信息，那么操作人员通过对这少数独立变量的监视，以实现对整息，那么操作人员通过对这少数独立变量的监视，以实现对整个生产过程的监控。个生产过程的监控。10/28/202240第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 （2）概述）概述 主元分析（主元分析（Principal Component Analysis）就是将相关的变）就是将相关的变量转化为少数几个相互独立变量的一个有效的方法。量转化为少数几个相互独立变量的一个有效的方法。基于主元分析基
38、于主元分析(PCA)的方法是多元（变量）统计过程控制的方法是多元（变量）统计过程控制(Multivariable Statistic Process Control)方法的一个重要工具。方法的一个重要工具。MSPC的主要内容是建立多元统计模型的主要内容是建立多元统计模型(如如PCA模型模型)，将生产过，将生产过程中存在的高度相关的过程变量通过多元统计程中存在的高度相关的过程变量通过多元统计投影映射到少量投影映射到少量隐变量隐变量定义的低维空间中，使定义的低维空间中，使过程监控过程监控、故障检测与诊断故障检测与诊断以及以及相应的研究得以简化。相应的研究得以简化。通过对原油储罐内原油的各参数（如液
39、位、压力、界面、通过对原油储罐内原油的各参数（如液位、压力、界面、温度等）进行监控，可以有效的预防原油温度等）进行监控，可以有效的预防原油冒罐冒罐、原油罐被、原油罐被抽瘪抽瘪等事故发生。等事故发生。10/28/202241第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法10/28/202242第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法10/28/202243第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法10/28/202244第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小
40、二乘及偏最小二乘的参数估计方法10/28/202245第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法10/28/202246第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法10/28/202247第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法10/28/202248第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法10/28/202249第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法10/28/202250第第6
41、 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法10/28/202251第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法10/28/202252第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法10/28/202253第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法10/28/202254第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法10/28/202255第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小
42、二乘的参数估计方法10/28/202256第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法10/28/202257第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法应用举例应用举例2：偏最小二乘法在高炉冶炼中的应用：偏最小二乘法在高炉冶炼中的应用 高炉冶炼过程包含着众多的子工序高炉冶炼过程包含着众多的子工序,包括包括配料配料、上料上料、布布料料、鼓风鼓风、富氧富氧、喷煤喷煤、出渣出渣、出铁出铁等。等。在生产过程中在生产过程中,包含包含着众多的影响参数着众多的影响参数,使得高炉铁水含硅量发生剧烈波动。这些使得高炉铁水含硅量发生
43、剧烈波动。这些影响参数本身之间存在着复杂的线性相关。影响参数本身之间存在着复杂的线性相关。为了对高炉冶炼过程进行平稳控制为了对高炉冶炼过程进行平稳控制,大量的非线性方法包大量的非线性方法包括神经网络、模糊数学、混沌和分形时间序列方法得到了广泛括神经网络、模糊数学、混沌和分形时间序列方法得到了广泛的应用的应用,并取得了一定的成果。然而并取得了一定的成果。然而,这些方法仅仅考虑单一这些方法仅仅考虑单一的因素的因素(铁水含硅量铁水含硅量)或少数几个关键参数或少数几个关键参数,造成了大量有用造成了大量有用信息的丢失信息的丢失,因而存在一定的局限性。因而存在一定的局限性。10/28/202258第第6
44、6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法 目前处理高维复杂数据应用最广泛的方法是主成分回归目前处理高维复杂数据应用最广泛的方法是主成分回归(PCR)和偏最小二乘法和偏最小二乘法(PLS)。主成分回归的主要目的是要提取。主成分回归的主要目的是要提取隐藏在矩阵隐藏在矩阵X 中的相关信息中的相关信息,然后用于预测变量然后用于预测变量Y 的值。这种做的值。这种做法可以保证只使用那些独立变量法可以保证只使用那些独立变量,噪音将被消除噪音将被消除,从而达到改善从而达到改善预测模型质量的目的预测模型质量的目的.当然当然,它也有一定的缺陷它也有一定的缺陷,由于高炉数据由于高
45、炉数据过于复杂过于复杂,导致主成分分析所提取的成分数过多从而造成预测模导致主成分分析所提取的成分数过多从而造成预测模型精确度不够。型精确度不够。偏最小二乘法则可以避免主成分回归在预测中的缺陷偏最小二乘法则可以避免主成分回归在预测中的缺陷,同时同时对变量对变量X 和和Y都进行分解都进行分解,从变量从变量X和和Y中提取成分中提取成分(通常称为因通常称为因子子),再将因子按照它们之间的相关性从大到小排列。将主成分再将因子按照它们之间的相关性从大到小排列。将主成分回归和偏最小二乘法结合起来回归和偏最小二乘法结合起来,一方面可以有效分析各个运行参一方面可以有效分析各个运行参数对铁水含硅量的影响数对铁水含
46、硅量的影响,另一方面可以准确预测铁水含硅量另一方面可以准确预测铁水含硅量,对对指导高炉生产有着较大的意义。指导高炉生产有着较大的意义。10/28/202259第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法（1）偏最小二乘法）偏最小二乘法 偏最小二乘法的思路是偏最小二乘法的思路是:首先首先,从自变量从自变量X 中提取相互独中提取相互独立的成分立的成分th(h=1,2,),从因变量从因变量Y中提取相互独立的成分中提取相互独立的成分uh(h=1,2,)。然后建立这些成分与自变量的回归方程。然后建立这些成分与自变量的回归方程.与主成与主成分回归不同的是分回归不同的
47、是,偏最小二乘回归所提取的成分既能较好地概偏最小二乘回归所提取的成分既能较好地概括自变量系统中的信息括自变量系统中的信息,又能很好地解释因变量并排除系统中又能很好地解释因变量并排除系统中的噪声干扰。因而有效地解决了自变量间多重相关性情况下的的噪声干扰。因而有效地解决了自变量间多重相关性情况下的回归建模问题。回归建模问题。当因变量当因变量Y的阶数为的阶数为1 时时,为单变量偏最小二乘回归模型为单变量偏最小二乘回归模型(PLS1),阶数大于阶数大于1 时为多变量偏最小二乘回归模型。此例是时为多变量偏最小二乘回归模型。此例是讨论的是单变量模型讨论的是单变量模型,对于多变量模型对于多变量模型,处理的方
48、法也类似。处理的方法也类似。10/28/202260第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法10/28/202261第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法10/28/202262第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法10/28/202263第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法10/28/202264第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法图图6-10 error相对于所
49、取成分数的变化相对于所取成分数的变化10/28/202265第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法图图6-11 某高炉某高炉Si 预测结果图预测结果图 在高炉冶炼过程的控制中在高炉冶炼过程的控制中,过去的模型大多根据经验提取过去的模型大多根据经验提取少数几个参数或者仅利用铁水含硅量数据进行建模少数几个参数或者仅利用铁水含硅量数据进行建模,这样造成这样造成了大量的信息丢失。在此采用了偏最小二乘方法对高炉冶炼了大量的信息丢失。在此采用了偏最小二乘方法对高炉冶炼过程进行分析过程进行分析,不仅有效降低了数据的维数不仅有效降低了数据的维数,而且分析得到了而且
50、分析得到了各个变量对冶炼过程的贡献各个变量对冶炼过程的贡献,从而得到了较好的预测结果。从而得到了较好的预测结果。10/28/202266第第6 6章章 最小二乘及偏最小二乘的参数估计方法最小二乘及偏最小二乘的参数估计方法6.8 单因变量的偏最小二乘回归模型单因变量的偏最小二乘回归模型1 1引言引言当因变量个数只有一个时当因变量个数只有一个时,偏最小二乘回归模型就是单因变偏最小二乘回归模型就是单因变量的。目前量的。目前,国际上有一些流行的缩写记号国际上有一些流行的缩写记号,比如单因变量的偏比如单因变量的偏最小二乘回归模型被记为最小二乘回归模型被记为PLSl模型模型,而多因变量的偏最小二乘回而多因