《多重共线性与随机解释变量(精品).ppt》由会员分享，可在线阅读，更多相关《多重共线性与随机解释变量(精品).ppt（84页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第十讲第十讲 多重共线性多重共线性Multi-Multi-CollinearityCollinearity一、多重共线性的概念一、多重共线性的概念二、多重共线性的后果二、多重共线性的后果三、多重共线性的检验三、多重共线性的检验四、克服多重共线性的方法四、克服多重共线性的方法五、案例五、案例一、多重共线性的概念一、多重共线性的概念1、多重共线性、多重共线性对于模型对于模型（i=1,2,n）如果某两个或多个解释变量之间出现了相关性，如果某两个或多个解释变量之间出现了相关性，则称为则称为多重共线性多重共线性。其基本假设之一是解释变量其基本假设之一是解释变量kXXX,21L互相独立互相独立。如果存在如
2、果存在 c1X1i+c2X2i+ckXki=0 i=1,2,n 其其中中:ci不不全全为为0，即即某某一一个个解解释释变变量量可可以以用用其其它它解解释释变变量量的的线线性性组组合合表表示示，则则称称为为解解释释变变量量间间存存在在完完全全共共线性线性。如果存在如果存在 c1X1i+c2X2i+ckXki+vi=0 i=1,2,n 其其中中ci不不全全为为0，vi为为随随机机误误差差项项，则则称称为为一一般般共共线线性性(近似共线性近似共线性)或或交互相关交互相关(intercorrelated)。在矩阵表示的线性回归模型在矩阵表示的线性回归模型 Y=XB+N中，完全共线性意味着：秩中，完全共
3、线性意味着：秩(X)1010，认为，认为x xj j与其余变量共线；与其余变量共线；平均扩大因子远远大于平均扩大因子远远大于1 1，认为，认为x xj j与其余变量与其余变量共线；共线；容忍度：容忍度：TOLTOLj j=1-R=1-R2 2j j(x xj j的容忍度的容忍度)(3)(3)特征根法特征根法特征根分析：特征根分析：若（若（X XX X）有多个特征根近似为）有多个特征根近似为0 0，则，则X X就有多个多重贡献关系；就有多个多重贡献关系；条件数：条件数：记记i i为（为（X XX X）的第）的第i i个特征根，个特征根，m m为为最大特征根，称最大特征根，称 k ki i=（m/
4、m/i i ）为第）为第i i个条件数个条件数若若 0k10(0k10(无共线无共线)，10k100(10k100(k100(严重共线严重共线)四、克服多重共线性的方法四、克服多重共线性的方法克服多重共线性的方法克服多重共线性的方法:第一类方法：排除引起共线性的变量第一类方法：排除引起共线性的变量第二类方法：差分法第二类方法：差分法第三类方法：减少参数估计量的方差第三类方法：减少参数估计量的方差 1 1、第一类方法：排除引起共线性的变量、第一类方法：排除引起共线性的变量 找出引起多重共线性的解释变量，将它排除出去，是最为找出引起多重共线性的解释变量，将它排除出去，是最为有效的克服多重共线性问题
5、的方法。有效的克服多重共线性问题的方法。上述用于检验多重共线性的方法，同时就是克服多重共线性问题上述用于检验多重共线性的方法，同时就是克服多重共线性问题的方法，其中又以逐步回归法得到最广泛的应用。的方法，其中又以逐步回归法得到最广泛的应用。但应注意的是：排除了引起共线性的变量后，剩余解释变但应注意的是：排除了引起共线性的变量后，剩余解释变量参数的经济含义和数值都发生了变化。它们不再仅仅反映量参数的经济含义和数值都发生了变化。它们不再仅仅反映自身与被解释变量的关系，也包含了与它们成线性关系的、自身与被解释变量的关系，也包含了与它们成线性关系的、被排除的变量对被解释变量的影响。被排除的变量对被解释
6、变量的影响。2 2、第二类方法：差分法、第二类方法：差分法 对于以时间序列数据为样本、以直接线性关系对于以时间序列数据为样本、以直接线性关系为模型关系形式的计量经济学模型，将原模型变为模型关系形式的计量经济学模型，将原模型变换为差分模型换为差分模型 Yi=1 X1i+2 X2i+k Xki+i可以有效地消除存在于原模型中的多重共线性。可以有效地消除存在于原模型中的多重共线性。原因在于原因在于：一般来讲，增量之间的线性关系远一般来讲，增量之间的线性关系远比总量之间的线性关系弱得多。比总量之间的线性关系弱得多。例如：例如：在中国在中国消费模型中的消费模型中的2个变量个变量：由表中的比值可以直观地看
7、到，由表中的比值可以直观地看到，两变量增量的两变量增量的线性关系弱于总量之间的线性关系。线性关系弱于总量之间的线性关系。进一步分析：进一步分析：Y与与C(-1)之间的判定系数为之间的判定系数为0.9845，Y与与C(-1)之间的判定系数为之间的判定系数为0.7456。一般认为：一般认为：两个变量之间的判定系数大于两个变量之间的判定系数大于0.8时，二者之间存在线性关系。时，二者之间存在线性关系。所以，原模型经检验被认为具有多重共线性，所以，原模型经检验被认为具有多重共线性，而差分模型则可以认为不具有多重共线性。而差分模型则可以认为不具有多重共线性。五、案例一：服装市场需求函数五、案例一：服装市
8、场需求函数1 1、建立模型、建立模型 根根据据理理论论和和经经验验分分析析，影影响响居居民民服服装装类类支支出出Y的的主主要要因因素素有有：可可支支配配收收入入X、居居民民流流动动资资产产拥拥有有量量K、服装价格指数服装价格指数P1、物价总指数物价总指数P0。已已知知某某地地区区的的有有关关资资料料，根根据据散散点点图图判判断断，建建立线性服装消费支出模型：立线性服装消费支出模型：Y=0+1X+2K+3P1+4P0+2 2、样本数据、样本数据 由于由于R2较大且接近于较大且接近于1，而且，而且 F=638.4，大于临大于临界值：界值：F 0.05(4,5)=15.19，故认为服装支出与上述故认
9、为服装支出与上述解释变量间总体线性关系显著。解释变量间总体线性关系显著。但由于变量但由于变量K的参数估计值的的参数估计值的t检验值较小（未能检验值较小（未能通过检验），故通过检验），故解释变量间存在多重共线性解释变量间存在多重共线性。3 3、估计模型、估计模型（1）用）用OLS法估计上述模型：法估计上述模型：（2）检验简单相关系数）检验简单相关系数不不难难看看出出，各各解解释释变变量量间间存存在在高高度度相相关关性性，其其中尤其以中尤其以P1和和P0间的相关系数为最高。间的相关系数为最高。（3）找出最简单的回归形式）找出最简单的回归形式可见，应选可见，应选为为初始的回归模型初始的回归模型。（4
10、 4）逐步回归）逐步回归 将将其其他他解解释释变变量量分分别别导导入入上上述述初初始始回回归归模模型型，寻寻找最佳回归方程。找最佳回归方程。4 4、讨论：、讨论：在在初初始始模模型型中中引引入入P1，模模型型拟拟合合优优度度提提高高，且且参数符号合理，但参数符号合理，但P1的的t检验未通过；检验未通过；再再引引入入K，拟拟合合优优度度虽虽有有提提高高，但但K与与P1的的t检检验验未未能能通通过过，且且X与与P1的的t检检验验值值及及F检检验验值值有有所所下下降降，表表明明引引入入K并并未未对对回回归归模模型型带带来来明明显显的的“好好处处”，K可能是多余的；可能是多余的；去去掉掉K K，加加入
11、入P P0 0，拟拟合合优优度度有有所所提提高高，且且各各解解释释变量的变量的t t检验全部通过，检验全部通过，F F值也增大了。值也增大了。将将4 4个个解解释释变变量量全全部部包包括括进进模模型型，拟拟合合优优度度未未有有明显改观，明显改观，K K的的t t检验未能通过，检验未能通过，K K显然是多余的。显然是多余的。5 5、结论、结论回归方程以回归方程以Y=f(X,Y=f(X,P1,P0)为最优：为最优：Y=-12.45+0.10X-0.19Y=-12.45+0.10X-0.19P1+0.31+0.31P0五、案例二：中国消费函数模型五、案例二：中国消费函数模型1 1、OLSOLS法估计
12、结果法估计结果2 2、差分法估计结果、差分法估计结果3 3、比较、比较1：0.480950.496722：0.198540.15850在消除了共线性后，在消除了共线性后，GDP对对CONS的的影响增大，影响增大，CONS1对对CONS的影响减少。的影响减少。当模型存在共线性，将某个共线性变量去掉，当模型存在共线性，将某个共线性变量去掉，剩余变量的参数估计结果将发生变化，而且经剩余变量的参数估计结果将发生变化，而且经济含义有可能发生变化；济含义有可能发生变化；严格地说，实际模型由于总存在一定程度的共严格地说，实际模型由于总存在一定程度的共线性，所以每个参数估计量并不真正反映对应线性，所以每个参数
13、估计量并不真正反映对应变量与被解释变量之间的结构关系。变量与被解释变量之间的结构关系。模型选择准则模型选择准则1、R2准则2、调整的R2准则3、赤池信息（AIC）准则4、施瓦茨信息（SIC）准则R R2 2准则准则调整的R2准则准则：该值越大越好！准则：该值越大越好！注意：被解释变量相同才能比较！注意：被解释变量相同才能比较！赤池信息（AIC）准则准则：该值越小越好！准则：该值越小越好！注意：被解释变量相同才能比较！注意：被解释变量相同才能比较！可用于比较一模型样本内或样本外的预测表现！可用于比较一模型样本内或样本外的预测表现！施瓦茨信息（SIC）准则准则：该值越小越好！准则：该值越小越好！注
14、意：被解释变量相同才能比较！注意：被解释变量相同才能比较！可用于比较一模型样本内或样本外的预测表现！可用于比较一模型样本内或样本外的预测表现！Cp统计量其中：-样本量；-模型中自变量个数；-1+全回归模型中个数（）；-有个自变量的回归模型的决定系数；-全回归模型的决定系数。如果一个模型和真实模型之间只有随机差异，的平均值为 ，而且，数据拟合的很好的回归模型其 值应小于 。因此，在用这个统计量对不同的回归模型进行评估时，目的往往是为了找到一个模型使其表达式 值为负。随机解释变量随机解释变量Random Independent Variable一、一、随机解释变量问题随机解释变量问题二、随机解释变
15、量的后果二、随机解释变量的后果三、工具变量法三、工具变量法四、案例四、案例一、一、随机解释变量问题随机解释变量问题1 1、随机解释变量问题、随机解释变量问题单方程线性计量经济学模型的假设之一是：单方程线性计量经济学模型的假设之一是：Cov(Xi,i)=0即解释变量与随机项不相关。即解释变量与随机项不相关。违背这一假设的问题被称为违背这一假设的问题被称为随机解释变量问题随机解释变量问题。这一假设实际上是要求：这一假设实际上是要求：或者或者X是确定性变量，不是随机变量；是确定性变量，不是随机变量；或者或者X虽是随机变量，但与随机误差项不相关。虽是随机变量，但与随机误差项不相关。2 2、随机解释变量
16、问题的三种情况、随机解释变量问题的三种情况 对于模型对于模型 Yi=0+1X1i+2X2i+kXki+i（i=1,2,n)为讨论方便，假设其中为讨论方便，假设其中X2为随机解释变量为随机解释变量 对于随机解释变量问题，又分三种不同情况：对于随机解释变量问题，又分三种不同情况：随随机机解解释释变变量量与与随随机机误误差差项项不不相相关关，即即 E（X2）=0 随机解释变量与随机误差项在小样本下随机解释变量与随机误差项在小样本下相关，在大样本下渐近无关，相关，在大样本下渐近无关，即即 在小样本下 E（X2）0 在大样本下 P lim（X2i i/n）=0 或：或：P(lim(X2i i/n)=0)
17、=1 随机解释变量与随机误差项高度相关，且随机解释变量与随机误差项高度相关，且 P lim（X2i i/n）02、实际经济问题中的随机解释变量问题、实际经济问题中的随机解释变量问题 在实际经济问题中，经济变量往往都具有随机性。在实际经济问题中，经济变量往往都具有随机性。但是在单方程计量经济学模型中，凡是外生变量都但是在单方程计量经济学模型中，凡是外生变量都被认为是确定性的。被认为是确定性的。于是随机解释变量问题于是随机解释变量问题主要表现于用滞后被解释变主要表现于用滞后被解释变量作为模型的解释变量的情况量作为模型的解释变量的情况。例如：例如：耐用品存量调整模型：耐用品存量调整模型：耐用品的存量
18、耐用品的存量Qt由前一个时期的存量由前一个时期的存量Qt-1和当期和当期收入收入It共同决定：共同决定：Qt=0+1It+2Qt-1+t t=1,T 这是一个滞后被解释变量作为解释变量的模型。这是一个滞后被解释变量作为解释变量的模型。但是，如果模型不存在随机误差项的序列相关性，但是，如果模型不存在随机误差项的序列相关性，那么随机解释变量那么随机解释变量Q t-1只与只与 t-1相关，与相关，与 t不相关，不相关，属于上述的第属于上述的第1种情况。种情况。合理预期的消费函数模型合理预期的消费函数模型 合理预期理论合理预期理论认为消费是由对收入的预期所决定认为消费是由对收入的预期所决定的，或者说消
19、费是有计划的，而这个计划是根据对的，或者说消费是有计划的，而这个计划是根据对收入的预期制定的。于是有：收入的预期制定的。于是有：在该模型中，作为解释变量的在该模型中，作为解释变量的 Ct-1 不仅是不仅是一个随机解释变量，而且与模型的随机误差项一个随机解释变量，而且与模型的随机误差项（t-t-1）高度相关（因为高度相关（因为Ct-1与与 t-1高度相高度相关）。属于上述第关）。属于上述第3种情况。种情况。二、随机解释变量的后果二、随机解释变量的后果1 1、出发点、出发点 计计量量经经济济学学模模型型一一旦旦出出现现随随机机解解释释变变量量，如如果果仍仍采采用用OLS法法估估计计模模型型参参数数
20、，不不同同性性质质的的随随机机解解释变量会产生不同的后果。释变量会产生不同的后果。对回归模型对回归模型 Y=XB+N取期望，有取期望，有 可可见见，随随机机解解释释变变量量带带来来什什么么后后果果取取决决于于它它与与随机误差项是否相关。随机误差项是否相关。2 2、当随机解释变量与随机误差项不相关时、当随机解释变量与随机误差项不相关时这时采用这时采用OLS法估计模型参数，得到的参数估法估计模型参数，得到的参数估计量仍然是无偏估计量。计量仍然是无偏估计量。3、当随机解释变量与随机误差项在小样本、当随机解释变量与随机误差项在小样本下相关，在大样本下渐近无关时下相关，在大样本下渐近无关时这时采用这时采
21、用OLS法估计模型参数，得到的参数估法估计模型参数，得到的参数估计量在小样本下是有偏的，在大样本下具有渐计量在小样本下是有偏的，在大样本下具有渐近无偏的。近无偏的。4、当随机解释变量与随机误差项高度相关时、当随机解释变量与随机误差项高度相关时这时采用这时采用OLS法估计模型参数，得到的参数估法估计模型参数，得到的参数估计量在小样本下是有偏的，在大样本下也不具计量在小样本下是有偏的，在大样本下也不具有渐近无偏性。有渐近无偏性。此时此时OLSOLS法失效，需要发展新的方法估计模型法失效，需要发展新的方法估计模型。5、当滞后被解释变量作解释变量，并且与、当滞后被解释变量作解释变量，并且与随机误差项相
22、关时随机误差项相关时 这时，除了OLS法参数估计量是有偏的以外，还带来两个后果：模模型型必必然然具具有有随随机机误误差差项项的的自自相相关关性性。因为该滞后被解释变量与滞后随机误差项相关，又与当期随机误差项相关。D.W.D.W.检检验验失失效效。因为不管D.W.统计量的数值是多少，随机误差项的自相关性总是存在的。三、工具变量法三、工具变量法 Instrumental Variables Method 1 1、工具变量的选取、工具变量的选取 工具变量工具变量：在模型估计过程中被作为工具使用，在模型估计过程中被作为工具使用，以替代模型中与随机误差项相关的随机解释变量。以替代模型中与随机误差项相关的
23、随机解释变量。选择为工具变量的变量必须满足以下条件：选择为工具变量的变量必须满足以下条件：（1）与所替代的随机解释变量高度相关；）与所替代的随机解释变量高度相关；（2）与随机误差项不相关；）与随机误差项不相关；（3）与模型中其它解释变量不相关，以避免出）与模型中其它解释变量不相关，以避免出现多重共线性。现多重共线性。2 2、工具变量的应用、工具变量的应用对于多元线性模型对于多元线性模型Yi=0+1X1i+2X2i+kXki+i （i=1,2,n)用普通最小二乘法估计模型，最后归结为求解用普通最小二乘法估计模型，最后归结为求解一个关于参数估计量的正规方程组一个关于参数估计量的正规方程组：（1）该
24、正规方程组是用每个解释变量分别乘以模型该正规方程组是用每个解释变量分别乘以模型的两边，并对所有样本点求和：的两边，并对所有样本点求和：（2）然后再对方程的两边求期望：然后再对方程的两边求期望：（3）并利用下列条件得到的：并利用下列条件得到的：如果如果X2为随机变量，且与随机误差项相关，将导致为随机变量，且与随机误差项相关，将导致从上述（从上述（3）式的第）式的第3个方程无法得到上述（个方程无法得到上述（1）式）式的第的第3个方程，也就无法求得参数的无偏估计量。个方程，也就无法求得参数的无偏估计量。如果按照工具变量的选择条件选择如果按照工具变量的选择条件选择Z作为作为X2的工具的工具变量。在应该
25、用变量。在应该用X2乘方程两边时，不用乘方程两边时，不用X2，而用而用Z，将使上述（将使上述（2）式变为：）式变为：（4）请注意，（请注意，（4）式与（）式与（2）式的区别仅仅在于第）式的区别仅仅在于第3个方程两边的个方程两边的“乘数变量乘数变量”，原模型中的，原模型中的X2并没有改变，包括第并没有改变，包括第3个方程。个方程。求解该方程组即可得到关于原模型参数的工具变求解该方程组即可得到关于原模型参数的工具变量法估计量。量法估计量。（5）对于矩阵形式：对于矩阵形式：Y=XB+N 通通常常，对对于于没没有有选选择择另另外外的的变变量量作作为为工工具具变变量量的的解解释释变变量量，可可以以认认为
26、为用用自自身身作作为为工工具具变变量量。于于是是Z被被称为称为工具变量矩阵工具变量矩阵。其中利用了工具变量与随机误差项不相关。其中利用了工具变量与随机误差项不相关。3 3、工具变量法估计量是无偏估计量、工具变量法估计量是无偏估计量4 4、几点注解、几点注解工具变量并没有替代模型中的解释变量工具变量并没有替代模型中的解释变量，只是在估计过程中作为只是在估计过程中作为“工具工具”被使用。被使用。如果模型中有两个以上的随机解释变量如果模型中有两个以上的随机解释变量与随机误差项相关，就必须找到两个以与随机误差项相关，就必须找到两个以上的工具变量。但是，上的工具变量。但是，一旦工具变量选一旦工具变量选定，它们在估计过程被使用的次序不影定，它们在估计过程被使用的次序不影响估计结果。响估计结果。为什么？为什么？OLS可以看作工具变量法的一种特殊情可以看作工具变量法的一种特殊情况。况。为什么？为什么？四、案例：消费模型四、案例：消费模型1 1、OLSOLS估计结果估计结果2 2、IVIV估计结果估计结果