线性回归经典假设的分析课件.ppt

《线性回归经典假设的分析课件.ppt》由会员分享，可在线阅读，更多相关《线性回归经典假设的分析课件.ppt（188页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、关于线性回归经典假关于线性回归经典假设的分析设的分析现在学习的是第1页，共188页第一节第一节 多重共线性多重共线性 多重共线性含义及引起的后果 多重共线性的检验 多重共线性的克服及岭回归方法 现在学习的是第2页，共188页4.1.1 多重共线性含义及引起的后果多重共线性含义及引起的后果一、多重共线性的含义一、多重共线性的含义“多重共线性多重共线性”一词由一词由R.Frisch 1934年提出，它原年提出，它原指模型的解释变量间存在线性关系。针对总体回归模型指模型的解释变量间存在线性关系。针对总体回归模型（2.2）式）式 ,的经典假设条件，要求的经典假设条件，要求 （4.1）即要求矩阵即要求矩

2、阵X满秩。满秩。X满秩就能保证行列式满秩就能保证行列式 ，从而可以得到参数的估计值，从而可以得到参数的估计值 。如果这个。如果这个假设条件不满足，即假设条件不满足，即 ，就表明某些解释变量，就表明某些解释变量之之 间存在完全的线性相关关系，在这种情形下，根本间存在完全的线性相关关系，在这种情形下，根本无法求出参数的估计值无法求出参数的估计值 。XYnkrankrank)()(XXX0XXkrank)(X现在学习的是第3页，共188页v然而，在实际问题中，某些解释变量之间不是完然而，在实际问题中，某些解释变量之间不是完全线性相关的或接近完全线性相关的。全线性相关的或接近完全线性相关的。v就模型中

3、解释变量的关系而言，有三种可能。就模型中解释变量的关系而言，有三种可能。1、，解释变量间毫无线性关系，变量间相，解释变量间毫无线性关系，变量间相互正交。这时已不需要多重回归，每个参数互正交。这时已不需要多重回归，每个参数 j都都可以通过可以通过Y对对 的一元回归来估计。的一元回归来估计。2、，解释变量间完全共线性。此时模型参，解释变量间完全共线性。此时模型参数将无法确定。直观地看，当两变量按同一方式数将无法确定。直观地看，当两变量按同一方式变化时，要区别每个解释变量对被解释变量的影变化时，要区别每个解释变量对被解释变量的影响程度就非常困难。响程度就非常困难。0jixxrjX1jixxr现在学习

4、的是第4页，共188页 3、，解释变量间存在一定程度的线，解释变量间存在一定程度的线性关系。实际中常遇到的是这种情形。随着共线性关系。实际中常遇到的是这种情形。随着共线性程度的加强，对参数估计值的准确性、稳定性性程度的加强，对参数估计值的准确性、稳定性带来影响。因此我们关心的不是有无多重共线性，带来影响。因此我们关心的不是有无多重共线性，而是多重共线性的程度。而是多重共线性的程度。v这里需要说明的是，在解决实际问题的过程中，这里需要说明的是，在解决实际问题的过程中，经济变量在时间上有共同变化的趋势。如在经济经济变量在时间上有共同变化的趋势。如在经济上升时期，收入、消费、就业率等都增长，当经上升

5、时期，收入、消费、就业率等都增长，当经济处于收缩期，收入、消费、就业率等都下降或济处于收缩期，收入、消费、就业率等都下降或增长率下降。当这些变量同时做解释变量就会给增长率下降。当这些变量同时做解释变量就会给模型带来多重共线性问题。另外，解释变量与其模型带来多重共线性问题。另外，解释变量与其滞后变量同作解释变量时，也会引起多重共线性。滞后变量同作解释变量时，也会引起多重共线性。10jixxr现在学习的是第5页，共188页二、多重共线性引起的后果二、多重共线性引起的后果v如果解释变量之间存在明显的相关关系，即存在如果解释变量之间存在明显的相关关系，即存在严重的多重共线性，将会影响模型的构建。严重的

6、多重共线性，将会影响模型的构建。1、当、当 ，X为降秩矩阵，则为降秩矩阵，则 不不存在，存在，不可计算。不可计算。2、若、若 ，即使，即使 ，仍具有无仍具有无偏性，即偏性，即 1jixxr1)(XXYXXX1)(1jixxr1jixxrXXXXXXXYXXX)()()()()()(111EEEE现在学习的是第6页，共188页v然而，当然而，当 时，时，接近降秩矩阵，接近降秩矩阵，即即 ，变得很大。变得很大。所以所以 丧失有效性。丧失有效性。v以二元解释变量线性模型为例，当以二元解释变量线性模型为例，当 时，时，为为 时时 方差的方差的2.78倍。当倍。当 时，时，为为 时的时的10.26倍。倍

7、。1jixxrXX0XX12)()(XXVar8.0jixxr)(Var)(Var0jixxr95.0jixxr0jixxr现在学习的是第7页，共188页4.1.2 多重共线性的检验多重共线性的检验v既然多重共线性会造成一些严重的后果，在建立既然多重共线性会造成一些严重的后果，在建立线性回归模型的过程中，有必要检验样本是否存线性回归模型的过程中，有必要检验样本是否存在多重共线性。在多重共线性。现在学习的是第8页，共188页v检验样本是否存在严重的多重共线性常用的方法检验样本是否存在严重的多重共线性常用的方法如下。如下。一、可决系数的值较大而回归系数的一、可决系数的值较大而回归系数的t值较小。值

8、较小。当模型的可决系数当模型的可决系数R2很高，总体显著性检验的很高，总体显著性检验的F值很高，而每个回归参数估计值的方差值很高，而每个回归参数估计值的方差 又又非常大，即非常大，即t值很低时，说明解释变量之间存在多值很低时，说明解释变量之间存在多重共线性。重共线性。二、二、Klein判别法。计算多重可决系数判别法。计算多重可决系数R2及解释及解释变量之间的简单相关系数变量之间的简单相关系数 。若有某个。若有某个 R2，则，则Xi，Xj间的多重共线性是有害的。间的多重共线性是有害的。)var(jjixxrjixxr现在学习的是第9页，共188页 三、特征值与病态指数。三、特征值与病态指数。v根

9、据矩阵行列式的性质，矩阵的行列式等于其特根据矩阵行列式的性质，矩阵的行列式等于其特征根的连乘积。因而当行列式征根的连乘积。因而当行列式 时，矩时，矩阵阵 XX 至少有一个特征根近似等于零。反之，可至少有一个特征根近似等于零。反之，可以证明，当矩阵以证明，当矩阵XX至少有一个特征根近似等于至少有一个特征根近似等于零时，零时，X的列向量之间必存在多重共线性。的列向量之间必存在多重共线性。0XX现在学习的是第10页，共188页v 实际上，设实际上，设 是矩阵是矩阵XX的一个近似等于零特征根，的一个近似等于零特征根，c是对应于该特是对应于该特征根的特征向量，则征根的特征向量，则（4.2）v 对（对（4

10、.2）式两边左乘）式两边左乘c，即有，即有 即即 从而从而 （4.3）v 这里（这里（4.3）式就反映出了前面所定义的多重共线性。我们应该注意）式就反映出了前面所定义的多重共线性。我们应该注意到，矩阵到，矩阵XX有多少个特征根近似为零，设计矩阵就会有多少有多少个特征根近似为零，设计矩阵就会有多少个类似（个类似（4.3）式多重共线性关系，并且这些多重共线关系系数）式多重共线性关系，并且这些多重共线关系系数向量就等于接近于零的那些特征根对应的特征向量。向量就等于接近于零的那些特征根对应的特征向量。0cXcX0XcXc0Xc022110kikiiXcXcXcc现在学习的是第11页，共188页v 另外

11、，特征根近似为零的标准可以用下面的病态指数（另外，特征根近似为零的标准可以用下面的病态指数（condition index）来确定。记）来确定。记XX的最大特征根为的最大特征根为 ，称，称（4.4）为特征根的病态指数。注意特征根的个数与病态指数都包含了常为特征根的病态指数。注意特征根的个数与病态指数都包含了常数项在内。数项在内。v 病态指数度量了矩阵病态指数度量了矩阵 的特征根散布程度，可以用来判断多重共的特征根散布程度，可以用来判断多重共线性是否存在以及多重共线性的严重程度。线性是否存在以及多重共线性的严重程度。v 一般认为，当一般认为，当0CI10时，设计矩阵时，设计矩阵X没有多重共线性；

12、当没有多重共线性；当10CI100时，时，则认为存在严重的多重共线性。则认为存在严重的多重共线性。mjmjCIkj,1,0XX现在学习的是第12页，共188页4.1.3 多重共线性的克服及岭回归方多重共线性的克服及岭回归方法法v如果多重共线性较为严重，我们该如何处理？一如果多重共线性较为严重，我们该如何处理？一般来说没有一个十分严格的克服多重共线性的方般来说没有一个十分严格的克服多重共线性的方法。但是，可以尽量的降低线性回归模型中存在法。但是，可以尽量的降低线性回归模型中存在的多重共线性。的多重共线性。v这里介绍一些经验规则和理论方法以便克服或降这里介绍一些经验规则和理论方法以便克服或降低多重

13、共线性问题时参考。低多重共线性问题时参考。现在学习的是第13页，共188页一、克服多重共线性的经验方法一、克服多重共线性的经验方法 1、剔除变量。、剔除变量。v面对严重的多重共线性，最简单的克服方法之一面对严重的多重共线性，最简单的克服方法之一就是剔除一个共线性的变量。但是，如果从模型就是剔除一个共线性的变量。但是，如果从模型中剔除的是重要的解释变量，可能会引起模型的中剔除的是重要的解释变量，可能会引起模型的设定误差。所谓设定误差是指在回归分析中使用设定误差。所谓设定误差是指在回归分析中使用了不正确的模型。我们知道，在解释粮食产量的了不正确的模型。我们知道，在解释粮食产量的模型中，应该包括播种

14、面积和施肥量，那么剔除模型中，应该包括播种面积和施肥量，那么剔除播种面积这个变量，就会构成设定误差。当模型播种面积这个变量，就会构成设定误差。当模型中出现设定误差时，线性模型的分析出现的问题中出现设定误差时，线性模型的分析出现的问题会更为严重，其中问题之一是当出现设定误差时，会更为严重，其中问题之一是当出现设定误差时，回归系数的估计值是有偏的，这与多重共线性相回归系数的估计值是有偏的，这与多重共线性相比是一个更为严重的问题。比是一个更为严重的问题。现在学习的是第14页，共188页v事实上，假设真实的模型为事实上，假设真实的模型为v如果我们错误的拟合了模型如果我们错误的拟合了模型 记记 ，iii

15、iXXY133221iiiXY22*2*1222XXxiiYYyii现在学习的是第15页，共188页v那么，那么，这里，这里，为回归模型为回归模型 中回归系数中回归系数的最小二乘估计量。的最小二乘估计量。221232322212223232221232322221221332212222222*2)(iiiiiiiiiiiiiiiiiiiiiiiiiiiixxbxxxXxxxXxXxxxXXxxYxxyx32biiiXbbX23213现在学习的是第16页，共188页v所以，所以，（4.5）v当解释变量之间存在多重共线性时，当解释变量之间存在多重共线性时，是不会为是不会为零的，从而由（零的，从而

16、由（4.5）式知，）式知，v这说明如果因为有多重共线性而将一共线变量删这说明如果因为有多重共线性而将一共线变量删除会导致有偏估计，而有偏估计对参数的估计来除会导致有偏估计，而有偏估计对参数的估计来说，是一个更为严重的问题。在这里我们需要提说，是一个更为严重的问题。在这里我们需要提及的是，在不完全共线的情形下，及的是，在不完全共线的情形下，OLS估计量仍估计量仍然是然是BLUE。3232*2)(bE32b2*2)(E现在学习的是第17页，共188页 2、增加样本容量。、增加样本容量。v由于多重共线性是一个样本特征，所以有可能在由于多重共线性是一个样本特征，所以有可能在同样变量的另一样本中共线性问

17、题并不严重。这同样变量的另一样本中共线性问题并不严重。这样只需要增大样本容量就能减轻共线性问题。看样只需要增大样本容量就能减轻共线性问题。看来增加样本容量可能是克服共线性的一个好方法，来增加样本容量可能是克服共线性的一个好方法，但在实际解决问题时，我们补充数据扩大样本容但在实际解决问题时，我们补充数据扩大样本容量并不是一件容易的事情，特别是在建立计量经量并不是一件容易的事情，特别是在建立计量经济模型时所希望的解释变量的值就更困难。济模型时所希望的解释变量的值就更困难。现在学习的是第18页，共188页 3、先验信息。、先验信息。v如果通过经济理论分析能够得到某些参数之间的如果通过经济理论分析能够

18、得到某些参数之间的线性关系，可以将这种线性关系作为约束条件，线性关系，可以将这种线性关系作为约束条件，将此约束条件和样本信息结合起来进行最小二乘将此约束条件和样本信息结合起来进行最小二乘估计。估计。现在学习的是第19页，共188页v为了进一步说明问题，假设我们考虑模型为了进一步说明问题，假设我们考虑模型v如果依据长期的经验分析可以认为两个解释变量如果依据长期的经验分析可以认为两个解释变量的系数相互关系为的系数相互关系为 ，运用这个先验信息，运用这个先验信息有有 其中，其中，。这样可以估计出。这样可以估计出 ，然，然后可以得到后可以得到 。iiiiXXY33221233.0iiiiiiiiiXX

19、XXXY2132221332213.0iiiXXX323.023现在学习的是第20页，共188页v另外，我们应该注意到，横截面数据与时间序列另外，我们应该注意到，横截面数据与时间序列数据并用也是先验信息法的一种变形，这种方法数据并用也是先验信息法的一种变形，这种方法称为数据并用（称为数据并用（pooling the data）。其基本思想）。其基本思想是，首先利用横截面数据估计出部分参数，再利是，首先利用横截面数据估计出部分参数，再利用时间序列数据估计另外的部分参数，最后得到用时间序列数据估计另外的部分参数，最后得到整个方程参数的估计。整个方程参数的估计。现在学习的是第21页，共188页二、一

20、阶差分方法二、一阶差分方法v一阶差分法就是将原模型变形为差分模型的形式，一阶差分法就是将原模型变形为差分模型的形式，进而降低多重共线性的一种方法。进而降低多重共线性的一种方法。v将原模型将原模型 经过一阶差分变换为经过一阶差分变换为 其中，其中，。ikikiiiXXXY33221ikikiiiXXXY33221iiiYYY1222iiiXXX1kikikiXXX1iii现在学习的是第22页，共188页v一般情况，差分变换后变量之间的相关性比变换一般情况，差分变换后变量之间的相关性比变换前要弱的多，所以差分后的模型可以有效地降低前要弱的多，所以差分后的模型可以有效地降低出现共线性的现象。出现共线

21、性的现象。v然而，差分变换常常会引起信息的丢失，使自由然而，差分变换常常会引起信息的丢失，使自由度减少了一个，也可能会使得模型的干扰项出现度减少了一个，也可能会使得模型的干扰项出现序列相关，即序列相关，即2212121212111)()()()(iiiiiiiiiiiiiiEEEE现在学习的是第23页，共188页v这样就违背了经典线性回归模型的相关假设，因这样就违背了经典线性回归模型的相关假设，因此在具体应用时要慎重。关于序列相关的有关内此在具体应用时要慎重。关于序列相关的有关内容将在后面详细介绍。容将在后面详细介绍。现在学习的是第24页，共188页三、逐步回归法三、逐步回归法v 逐步回归法的

22、基本思想是，首先用被解释变量对每一个所考虑的解释逐步回归法的基本思想是，首先用被解释变量对每一个所考虑的解释变量做简单回归，然后以对被解释变量贡献最大的解释变量所对应的回变量做简单回归，然后以对被解释变量贡献最大的解释变量所对应的回归方程为基础，以对被解释变量贡献大小为顺序逐个引入其余的解释变归方程为基础，以对被解释变量贡献大小为顺序逐个引入其余的解释变量。量。v 这个过程会出现这个过程会出现3种情形。若新变量的引入改进了和检验，且回归种情形。若新变量的引入改进了和检验，且回归参数的参数的t检验在统计上也是显著的，则该变量在模型中予以保留。检验在统计上也是显著的，则该变量在模型中予以保留。若新

23、变量的引入未能改进和检验，且对其他回归参数估计值若新变量的引入未能改进和检验，且对其他回归参数估计值的的t检验也未带来什么影响，则认为该变量是多余的，应该舍弃。检验也未带来什么影响，则认为该变量是多余的，应该舍弃。若新变量的引入未能改进和检验，且显著地影响了其他回归参若新变量的引入未能改进和检验，且显著地影响了其他回归参数估计值的符号与数值，同时本身的回归参数也通不过数估计值的符号与数值，同时本身的回归参数也通不过t检验，检验，这说明出现了严重的多重共线性，舍弃该变量。这说明出现了严重的多重共线性，舍弃该变量。现在学习的是第25页，共188页四、岭回归法四、岭回归法v当在建立计量经济模型存在多

24、重共线性时，最小当在建立计量经济模型存在多重共线性时，最小二乘估计的性质就不够理想，有时甚至遭到破坏。二乘估计的性质就不够理想，有时甚至遭到破坏。在这种情况下，要从本质上克服多重共线性，就在这种情况下，要从本质上克服多重共线性，就需要一些新的估计方法。近四十年来，人们提出需要一些新的估计方法。近四十年来，人们提出了许多新的估计方法，其在理论上最有影响并得了许多新的估计方法，其在理论上最有影响并得到广泛应用的就是岭估计（到广泛应用的就是岭估计（ridge regression）。）。v为了能够较为深入了解岭回归方法，并进一步说为了能够较为深入了解岭回归方法，并进一步说明岭估计量的优良性，我们引进

25、评价一个估计优明岭估计量的优良性，我们引进评价一个估计优劣的标准劣的标准均方误差（均方误差（mean squared errors）。）。现在学习的是第26页，共188页v设设 为为 未知参数向量，未知参数向量，为为 的一个估计量。的一个估计量。定义定义 的均方误差为的均方误差为 （4.6）它量度了估计量它量度了估计量 跟未知参数向量跟未知参数向量 平均偏离平均偏离的大小。一个好的估计量应该有较小的均方误差。的大小。一个好的估计量应该有较小的均方误差。均方误差有一个重要的性质，即均方误差有一个重要的性质，即 （4.7）v事实上，事实上，（4.8）1p)()()(EMSE)()()()(EEVa

26、rtrMSE21)()()()()()()()()()()(EEEEEEEEEEEMSE现在学习的是第27页，共188页v根据矩阵迹的有关性质，（根据矩阵迹的有关性质，（4.8）式中的第一项）式中的第一项 为为 v如果记如果记 ，则，则 （4.9）（4.9）式是估计量的各分量方差之和。）式是估计量的各分量方差之和。1)()()()()(1VartrEEEtrEEtrEEEtrE),(21ppiiVarVartr11)()(现在学习的是第28页，共188页v而且而且 （4.10）（4.10）式是估计量的各分量的偏差）式是估计量的各分量的偏差 平方和。平方和。v这样一个估计的均方误差就是由各分量的

27、方差和这样一个估计的均方误差就是由各分量的方差和偏差所决定的。偏差所决定的。v一个好的估计量应该有较小的方差和偏差。一个好的估计量应该有较小的方差和偏差。piiEEE122)()()(iE现在学习的是第29页，共188页v下面我们介绍岭回归的基本方法。下面我们介绍岭回归的基本方法。v当解释变量之间存在多重共线性时当解释变量之间存在多重共线性时 ，则，则 将会增大，原因是将会增大，原因是 接近奇异。接近奇异。如果将如果将 加上一个正常数对角阵加上一个正常数对角阵kI（k0，I为为单位矩阵），即单位矩阵），即 ，使得，使得 的可能的可能性比性比 的可能性更小，那么的可能性更小，那么 接近奇异接近奇

28、异的程度就会比的程度就会比 小的多。小的多。0XX12)()(XXVarXXXXIXXk0IXXk0XXIXXkXX现在学习的是第30页，共188页v这样就可以得到这样就可以得到 的岭回归估计为的岭回归估计为 （4.11）其中其中 称为称为 的岭回归估计量，的岭回归估计量，k称为岭参数或称为岭参数或偏参数。偏参数。v当当k取不同的值时，我们得到不同的估计，因此岭取不同的值时，我们得到不同的估计，因此岭估计估计 是一个估计类，当是一个估计类，当k=0时，时，就是普通最小二乘估计量。就是普通最小二乘估计量。v于是严格的讲，最小二乘估计量就是岭估计类中于是严格的讲，最小二乘估计量就是岭估计类中一个估

29、计量。一个估计量。YXIXX1)()(kk)(k)(kYXXX1)()(k现在学习的是第31页，共188页v但是在一般情况下，当我们提及岭估计时，一般但是在一般情况下，当我们提及岭估计时，一般不包括最小二乘估计。特别是在解释变量之间存不包括最小二乘估计。特别是在解释变量之间存在多重共线性时，以在多重共线性时，以 作为作为 的估计应比最小的估计应比最小二乘估计稳定，随着二乘估计稳定，随着k的逐渐增大，回归系数可能的逐渐增大，回归系数可能呈现出稳定的状态。呈现出稳定的状态。v因此，要选择适当的因此，要选择适当的k值，岭回归参数才会优于最值，岭回归参数才会优于最小二乘估计参数。小二乘估计参数。)(k

30、现在学习的是第32页，共188页v为了进一步说明岭回归估计的优良性，有必要介为了进一步说明岭回归估计的优良性，有必要介绍岭回归估计量的有关性质。绍岭回归估计量的有关性质。性质性质1 岭回归的参数估计是回归参数的有偏估计。岭回归的参数估计是回归参数的有偏估计。v实际上，有实际上，有 （4.12）v因此岭估计量是有偏估计，这是岭估计与最小二因此岭估计量是有偏估计，这是岭估计与最小二乘估计的一个重要不同之处。乘估计的一个重要不同之处。XXIXXYXIXXYXIXX111)()()()()(kEkkEkE现在学习的是第33页，共188页 性质性质2 在岭参数在岭参数k与与Y无关的情况下，无关的情况下，

31、是最是最小二乘估计的一个线性变换，也是理论值小二乘估计的一个线性变换，也是理论值Y的线的线性函数。性函数。v实际上，根据（实际上，根据（4.11）式很容易看出这个性质的）式很容易看出这个性质的正确性。正确性。性质性质3 存在存在k0，使得，使得 （4.13）即存在即存在k0，使得在均方误差意义下，岭估计优，使得在均方误差意义下，岭估计优于最小二乘估计。于最小二乘估计。)(k)()(MSEkMSE现在学习的是第34页，共188页v这里需要说明的是关于这里需要说明的是关于k值的选择非常重要，在此值的选择非常重要，在此我们主要介绍用岭迹法选择我们主要介绍用岭迹法选择k值的基本思路。值的基本思路。v岭

32、估计岭估计 是随着是随着k值的改变而变化。值的改变而变化。若记若记 为为 的第的第i个分量，它是个分量，它是k的一元函数。的一元函数。当当k在在 上变化时，上变化时，的图形称为岭迹的图形称为岭迹（ridge trace）。将）。将 的每个分量的每个分量 的岭的岭迹画在同一个图上，根据岭迹的变化趋势选择迹画在同一个图上，根据岭迹的变化趋势选择k值，值，使得各个回归系数的岭估计大体上稳定，并且各使得各个回归系数的岭估计大体上稳定，并且各个回归系数岭估计值的符号比较合理并符合实际。个回归系数岭估计值的符号比较合理并符合实际。YXIXX1)()(kk)(ki)(k),0)(k)(k)(ki现在学习的是

33、第35页，共188页v我们知道，最小二乘估计是使残差平方和达到最我们知道，最小二乘估计是使残差平方和达到最小的估计。小的估计。k愈大，岭估计跟最小二乘估计偏差愈愈大，岭估计跟最小二乘估计偏差愈大。因此，它对应的残差平方和也随着大。因此，它对应的残差平方和也随着k的增加而的增加而增加。当我们用岭迹法选择增加。当我们用岭迹法选择k值时，还应该考虑使值时，还应该考虑使得残差平方和不要上升的太多。在解决实际问题得残差平方和不要上升的太多。在解决实际问题时，上述几点原则有时可能会有些相互不一致，时，上述几点原则有时可能会有些相互不一致，顾此失彼的情况也经常出现，这就要根据不同的顾此失彼的情况也经常出现，

34、这就要根据不同的情况灵活处理。情况灵活处理。现在学习的是第36页，共188页v需要提及的是，目前还没有形成公认的选择岭参需要提及的是，目前还没有形成公认的选择岭参数的最优方法，除了岭迹法，我们还可以选用方数的最优方法，除了岭迹法，我们还可以选用方差扩大因子法、残差平方和法等等。另外，在实差扩大因子法、残差平方和法等等。另外，在实际应用中，也可以考虑使用逐步搜索的方法，即际应用中，也可以考虑使用逐步搜索的方法，即开始给定小的开始给定小的k值，然后逐渐增加值，然后逐渐增加k的取值进行模的取值进行模拟，直到岭估计量拟，直到岭估计量 的值趋于稳定为止。显的值趋于稳定为止。显然，用逐步搜索的方法确定然，

35、用逐步搜索的方法确定k，具有一定的主观性，具有一定的主观性，但是具体的过程体现出了统计模拟的基本思想。但是具体的过程体现出了统计模拟的基本思想。)(k现在学习的是第37页，共188页第二节第二节 异方差性异方差性 异方差性含义及引起的后果 异方差性的检验 广义最小二乘法及异方差性的克服 现在学习的是第38页，共188页4.2.1 异方差性含义及引起的后果异方差性含义及引起的后果 一、异方差的含义及表现一、异方差的含义及表现 二、异方差引起的后果二、异方差引起的后果现在学习的是第39页，共188页一、异方差的含义及表现一、异方差的含义及表现v针对总体回归模型（针对总体回归模型（2.2）式）式 ,

36、的经典假设条件，要求给出的经典假设条件，要求给出 是一个对角矩阵，是一个对角矩阵，即即 =2I=2 (4.14)且且 的协差阵主对角线上的元素都是常数且相等，的协差阵主对角线上的元素都是常数且相等，即每一干扰项的方差都是有限的相同值（同方差即每一干扰项的方差都是有限的相同值（同方差假定）；且非主对角线上的元素为零（非自相关假定）；且非主对角线上的元素为零（非自相关假定），当这个假定不成立时，假定），当这个假定不成立时，不再是一个不再是一个纯量对角矩阵。纯量对角矩阵。XY)(Var)(Var10101)(Var现在学习的是第40页，共188页 =2 =2 2 I.当干扰项向量当干扰项向量 的协差

37、阵主对角线上的元素不相等时，称该随的协差阵主对角线上的元素不相等时，称该随机误差系列存在异方差，即干扰项向量机误差系列存在异方差，即干扰项向量 中的元素中的元素 取自不取自不同的分布总体。同的分布总体。非主对角线上的元素表示干扰项之间的协方差值。比如非主对角线上的元素表示干扰项之间的协方差值。比如 中中的的 ，（，（i j）表示与第）表示与第i组和第组和第j组观测值相对应的组观测值相对应的 与与 的协方差。若的协方差。若 非主对角线上的部分或全部元素都不为零，干非主对角线上的部分或全部元素都不为零，干扰项就是序列相关的。本节讨论异方差，下一节讨论序列相关扰项就是序列相关的。本节讨论异方差，下一

38、节讨论序列相关问题。问题。)(Varnnnnnn.212222111211iijij(4.15)现在学习的是第41页，共188页v首先明确同方差假定如图首先明确同方差假定如图4.1和和4.2所示。对于随着所示。对于随着解释变量的变化，相应解释变量的变化，相应 的分布方差都是相同的。的分布方差都是相同的。图图4.1 同方差情形同方差情形 图图4.2 同方差情形同方差情形i现在学习的是第42页，共188页v这样我们就可以进一步明确，异方差通常的三种这样我们就可以进一步明确，异方差通常的三种表现形式，（表现形式，（1）递增型，（）递增型，（2）递减型，（）递减型，（3）条）条件自回归型。递增型异方差

39、见图件自回归型。递增型异方差见图4.3和和4.4。图。图4.5为递减型异方差。图为递减型异方差。图4.6为条件自回归型异方差。为条件自回归型异方差。现在学习的是第43页，共188页图4.3 递增型异方差情形现在学习的是第44页，共188页图4.4 递增型异方差现在学习的是第45页，共188页 图图4.5 递减型异方差递减型异方差现在学习的是第46页，共188页 图4.6 复杂型异方差现在学习的是第47页，共188页v这里我们要说明的是：第一，时间序列数据和截这里我们要说明的是：第一，时间序列数据和截面数据中都有可能存在异方差；第二，经济时间面数据中都有可能存在异方差；第二，经济时间序列中的异方

40、差常为递增型异方差。金融时间序序列中的异方差常为递增型异方差。金融时间序列中的异方差常表现为自回归条件异方差。列中的异方差常表现为自回归条件异方差。v无论是时间序列数据还是截面数据，递增型异方无论是时间序列数据还是截面数据，递增型异方差的来源主要是因为随着解释变量值的增大，被差的来源主要是因为随着解释变量值的增大，被解释变量取值的差异性增大。解释变量取值的差异性增大。现在学习的是第48页，共188页二、异方差引起的后果二、异方差引起的后果v我们从简单线性回归模型入手，讨论异方差对参我们从简单线性回归模型入手，讨论异方差对参数估计的影响，然后再针对一般回归线性模型进数估计的影响，然后再针对一般回

41、归线性模型进行讨论。对模型行讨论。对模型 (4.16)v当当 ，为异方差时（，为异方差时（是一个随时是一个随时间或序数变化的量），回归参数估计量仍具有无间或序数变化的量），回归参数估计量仍具有无偏性和一致性。针对偏性和一致性。针对 而言而言 iiiXY102)(iiVar2i11212121)()()()()()()()()(XXEXXXXXXXXEXXYYXXEEiiiiiiiiii(4.17)现在学习的是第49页，共188页v但是回归参数估计量不再具有有效性，即但是回归参数估计量不再具有有效性，即 1112222222222222()()()()()()()()()()()iiiiiiii

42、iiVarEXXEXXXXEXXXXXXXX(4.18)现在学习的是第50页，共188页v在在(4.17)和和(4.18)式的推导中利用了式的推导中利用了 的非序列相的非序列相关的假定。关的假定。(4.18)式不等号左侧项分子中的式不等号左侧项分子中的 不不是一个常量，不能从累加式中提出，所以不等号是一个常量，不能从累加式中提出，所以不等号左侧项不等于不等号右侧项。而不等号右侧项是左侧项不等于不等号右侧项。而不等号右侧项是同方差条件下同方差条件下 1的最小二乘估计量的最小二乘估计量 的方差。的方差。因此异方差条件下的因此异方差条件下的 失去有效性。失去有效性。v另外回归参数估计量方差的估计是真

43、实方差的有另外回归参数估计量方差的估计是真实方差的有偏估计量，即偏估计量，即 E()i2i11Var1)(1Var现在学习的是第51页，共188页v针对一般线性回归模型（针对一般线性回归模型（2.2）式）式 ,v因为因为OLS估计量无偏性的证明只依赖于模型的一估计量无偏性的证明只依赖于模型的一阶矩，所以当阶矩，所以当 以（以（4.14）式所示时，）式所示时，OLS估估计量计量 仍具有无偏性和一致性，即仍具有无偏性和一致性，即 (4.19)但不具有有效性和渐近有效性。但不具有有效性和渐近有效性。)(VarXXXXXXXYXXX)()()()()()(111EEEEXY现在学习的是第52页，共18

44、8页v而且而且 的分布将受到影响，即的分布将受到影响，即 (4.20)由（由（4.20）式知异方差条件下）式知异方差条件下 是非有效估计量。是非有效估计量。v异方差性的存在，会对线性回归模型正确的建立异方差性的存在，会对线性回归模型正确的建立和统计推断带来严重的后果，因此在计量经济分和统计推断带来严重的后果，因此在计量经济分析中，有必要检验模型是否存在异方差。析中，有必要检验模型是否存在异方差。111121121()()()()()()()()()()()VarEEE X XXX X XX XXXX XX XXX X XX X现在学习的是第53页，共188页4.2.2 异方差性的检验异方差性的

45、检验 一、定性分析异方差一、定性分析异方差 二、戈德菲尔德昆茨检验二、戈德菲尔德昆茨检验 三、格莱泽检验三、格莱泽检验 四、怀特检验四、怀特检验 五、自回归条件异方差检验五、自回归条件异方差检验现在学习的是第54页，共188页一、定性分析异方差一、定性分析异方差v定性分析异方差的角度很多，我们可以根据实际定性分析异方差的角度很多，我们可以根据实际建立模型依据的经济理论和实际经济现象来分析建立模型依据的经济理论和实际经济现象来分析是否存在异方差性，一般情形经济变量规模差别是否存在异方差性，一般情形经济变量规模差别很大时容易出现异方差，如个人收入与支出关系，很大时容易出现异方差，如个人收入与支出关

46、系，投入与产出关系。投入与产出关系。v另外，我们也可以利用散点图（图另外，我们也可以利用散点图（图4.6）和）和 残差图残差图（图（图4.7），来初步判断异方差的存在性。），来初步判断异方差的存在性。现在学习的是第55页，共188页图4.6 散点图现在学习的是第56页，共188页现在学习的是第57页，共188页二、戈德菲尔德昆茨检验二、戈德菲尔德昆茨检验v戈德菲尔德昆茨（戈德菲尔德昆茨（Goldfeld-Quandt）检验方法）检验方法是戈德菲尔德昆茨于是戈德菲尔德昆茨于1965年提出的，所要检验年提出的，所要检验的问题为的问题为 H0:具有同方差具有同方差 H1:具有递增型异方差具有递增型异

47、方差ii现在学习的是第58页，共188页v其检验的基本思想是：其检验的基本思想是：第一，把原样本分成两个子样本。具体方法是把第一，把原样本分成两个子样本。具体方法是把成对（组）的观测值按解释变量的大小顺序排列，成对（组）的观测值按解释变量的大小顺序排列，略去略去m个处于中心位置的观测值（通常个处于中心位置的观测值（通常n 30时，时，取取m n/4，余下的，余下的n-m个观测值自然分成容量相个观测值自然分成容量相等等(n-m)/2的两个子样本）。的两个子样本）。X1,X2,Xi-1,Xi,Xi+1,Xn-1,Xn n1=(n-m)/2 m=n/4 n2=(n-m)/2现在学习的是第59页，共1

48、88页 第二，用两个子样本分别估计回归直线，并计算第二，用两个子样本分别估计回归直线，并计算残差平方和。相对于残差平方和。相对于n2 和和n1 分别用分别用SSE2 和和SSE1表示。表示。第三，构建第三，构建F统计量统计量 F=，（k为模型中被估参数个数）为模型中被估参数个数）v在在H0成立条件下，成立条件下，F ),(12knknF)/()/(1122knSSEknSSE12SSESSE现在学习的是第60页，共188页 第四，判别规则如下，第四，判别规则如下，v若若 F ,接受接受H0（ut 具有同方差）具有同方差）若若 F ,拒绝拒绝H0（递增型异方差）（递增型异方差）v这里我们应该注意

49、到，当摸型含有多个解释变量这里我们应该注意到，当摸型含有多个解释变量时，应以每一个解释变量为基准检验异方差。此时，应以每一个解释变量为基准检验异方差。此法的基本思路也适用于递减型异方差。另外，对法的基本思路也适用于递减型异方差。另外，对于截面样本，计算于截面样本，计算F统计量之前，必须先把数据统计量之前，必须先把数据按解释变量的值从小到大排序。按解释变量的值从小到大排序。),(12knknF),(12knknF现在学习的是第61页，共188页三、格莱泽检验三、格莱泽检验v格莱泽（格莱泽（Glejser）检验的基本思想是，检验）检验的基本思想是，检验 是否与解释变量是否与解释变量Xi存在函数关系

50、。若存在函数关存在函数关系。若存在函数关系，则说明存在异方差；若无函数关系，则说明系，则说明存在异方差；若无函数关系，则说明不存在异方差。通常应检验的几种形式是不存在异方差。通常应检验的几种形式是 =a0+a1 Xi =a0+a1/Xi =a0+a1,.iiii现在学习的是第62页，共188页v格莱泽检验的特点是不仅能对异方差的存在进行格莱泽检验的特点是不仅能对异方差的存在进行判断，而且还能对异方差随某个解释变量变化的判断，而且还能对异方差随某个解释变量变化的函数形式进行诊断。该方法既可检验递增型异方函数形式进行诊断。该方法既可检验递增型异方差，也可检验递减型异方差。应该注意，当原模差，也可检