多重共线性的解决之法.doc

《多重共线性的解决之法.doc》由会员分享，可在线阅读，更多相关《多重共线性的解决之法.doc（13页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、【精品文档】如有侵权，请联系网站删除，仅供学习与交流多重共线性的解决之法.精品文档.第七章 多重共线性教学目的及要求：1、重点理解多重共线性在经济现象中的表现及产生的原因和后果2、掌握检验和处理多重共线性问题的方法3、学会灵活运用Eviews软件解决多重共线性的实际问题。第一节 多重共线性的产生及后果一、多重共线性的含义1、含义在多元线性回归模型经典假设中，其重要假定之一是回归模型的解释变量之间不存在线性关系，也就是说，解释变量X1，X2，Xk中的任何一个都不能是其他解释变量的线性组合。如果违背这一假定，即线性回归模型中某一个解释变量与其他解释变量间存在线性关系，就称线性回归模型中存在多重共线

2、性。多重共线性违背了解释变量间不相关的古典假设，将给普通最小二乘法带来严重后果。2、类型多重共线性包含完全多重共线性和不完全多重共线性两种类型。（1）完全多重共线性完全多重共线性是指线性回归模型中至少有一个解释变量可以被其他解释变量线性表示，存在严格的线性关系。如对于多元线性回归模型 （7-1）存在不全为零的数，使得下式成立： （7-2）则可以说解释变量之间存在完全的线性相关关系，即存在完全多重共线性。从矩阵形式来看，就是，即，观测值矩阵是降秩的，表明在向量中至少有一个列向量可以由其他列向量线性表示。（2）不完全多重共线性不完全多重共线性是指线性回归模型中解释变量间存在不严格的线性关系，即近似

3、线性关系。如对于多元线性回归模型（7-1）存在不全为零的数，使得下式成立： （7-3）其中为随机误差项，则可以说解释变量之间存在不完全多重共线性。随机误差项表明上述线性关系是一种近似的关系式，大体上反映了解释变量间的相关程度。完全多重共线性与完全非线性都是极端情况，一般说来，统计数据中多个解释变量之间多少都存在一定程度的相关性，对多重共线性程度强弱的判断和解决方法是本章讨论的重点。二、多重共线性产生的原因多重共线性在经济现象中具有普遍性，其产生的原因很多，一般较常见的有以下几种情况。（一）经济变量间具有相同方向的变化趋势在同一经济发展阶段，一些因素的变化往往同时影响若干经济变量向相同方向变化，

4、从而引起多重共线性。如在经济上升时期，投资、收入、消费、储蓄等经济指标都趋向增长，这些经济变量在引入同一线性回归模型并作为解释变量时，往往存在较严重的多重共线性。（二）经济变量间存在较密切关系由于组成经济系统的各要素之间是相互影响相互制约的，因而在数量关系上也会存在一定联系。如耕地面积与施肥量都会对粮食总产量有一定影响，同时，二者本身存在密切关系。（三）采用滞后变量作为解释变量较易产生多重共线性一般滞后变量与当期变量在经济意义上关联度比较密切，往往会产生多重共线性。如在研究消费规律时，解释变量因素不但要考虑当期收入，还要考虑以往各期收入，而当期收入与滞后收入间存在多重共线性的可能很大。（四）数

5、据收集范围过窄，有时会造成变量间存在多重共线性问题。三、多重共线性产生的后果由前述可知，多重共线性分完全多重共线性和不完全多重共线性两种情况，两种情况都会对模型进行最小二乘估计都会产生严重后果。（一）完全多重共线性产生的后果以二元线性回归模型为例， （7-4）以离差形式表示，假设其中，常数，则， ，的最小二乘估计量为 （7-5）同理得到： （7-6） 可见参数估计值和无法确定。再考察参数估计量的方差，由前面章节可知： （7-7）将代入上式，则 （7-8）说明此种情况下方差为无穷大。同理可以证明的方差在完全共线性下也为无穷大。以上分析表明，在完全多重共线性条件下，普通最小二乘法估计的参数值不能确

6、定，并且估计值的方差为无穷大。（二）不完全多重共线性产生的后果假设上述二元线性回归模型中解释变量与的关系为 （7-9）其中为随机项，满足，代入估计表达得： （7-10）由于，因而是可确定估计的，但是其数值依赖的数值，而的数值随样本的变化有较大变化，所以估计值是很不稳定的。同理可以证明也是可估计的，且数值具有不稳定性。考察估计量的方差：由（7-1）式可知是、的相关系数，因此 （7-11）参数估计量的方差可表达为： （7-12）其中为和之间的相关系数，从（7-12）式可见，的值越大，则共线程度越高，估计量方差越大，直至无穷。综上所述，线性回归模型解释变量间存在多重共线性可能产生如下后果：增大最小二

7、乘估计量的方差；参数估计值不稳定，对样本变化敏感；检验可靠性降低，产生弃真错误。由于参数估计量方差增大，在进行显著性检验时，t检验值将会变小，可能使某些本该参数显著的检验结果变得不显著，从而将重要变量舍弃。第二节 多重共线性的检验多重共线性是较为普通存在的现象，从上节分析可知，较高程度的多重共线性会对最小二乘估计产生严重后果，因此，在运用最小二乘法进行多元线性回归时，不但要检验解释变量间是否存在多重共线性，还要检验多重共线性的严重程度。一、不显著系数法情况1、 很大，t小不显著系数法是利用多元线性回归模型的拟合结果进行检验。如果拟合优度的值很大（一般来说在0.8以上），然而模型中的全部或部分参

8、数值估计值经检验却不显著，那么解释变量间有可能存在较严重的多重共线性。情况2、理论性强，检验值弱如果从经济理论或常识来看某个解释变量对被解释变量有重要影响，但是从线性回归模型的拟合结果来看，该解释变量的参数估计值经检验却不显著，那么可能是解释变量间存在多重共线性所导致的。情况3、新引入变量后，方差增大在多元线性回归模型中新引入一个变量后，发现模型中原有参数估计值的方差明显增大，则说明解释变量间可能存在多重共线性。二、拟合优度检验对多元线性回归模型中各个解释变量相互建立回归方程，分别求出各回归方程的拟和优度，如果其中最大的一个接近，显著大于临界值，该变量可以被其他变量线性解释，则其所对应的解释变

9、量与其余解释变量间存在多重共线性。如设某多元线性回归模型中原有个解释变量，将每个解释变量对其他解释变量进行回归，得到个回归方程：分别求出上述各个方程的拟合优度，如果其中最大的一个接近于，则它所对应的解释变量与其余解释变量间存在多重共线性。三、相关矩阵法考察多元线性回归模型 （7-13）其解释变量之间的相关系数矩阵为： （7-14）因为，所以上面相关阵为对称阵，只需考察主对角线元素上方（或下方）某个元素绝对值是否很大（一般在0.8以上），就可以判断两个解释变量间是否存在多重共线性。结论：另外需要特别注意的是，如果相关系数很大，则一定存在多重共线性，如果相关系数很小，不一定没有多重共线性。四、Fr

10、isch综合分析法1、方法及分析标准Frisch综合分析法也叫逐步分析估计法，其基本思想是先将被解释变量对每个解释变量作简单回归方程，称为基本回归方程。再对每一个基本回归方程进行统计检验，并根据经济理论分析选出最优基本方程，然后再将其他解释变量逐一引入，建立一系列回归方程，根据每个新加的解释变量的标准差和复相关系数来考察其对每个回归系数的影响，一般根据如下标准进行分类判别：.如果新引进的解释变量使得到提高,而其他参数回归系数在统计上和经济理论上仍然合理，则认为这个新引入的变量对回归模型是有利的，可以作为解释变量予以保留。.如果新引进的解释变量对改进不明显，对其他回归系数也没有多大影响，则不必保

11、留在回归模型中。.如果新引进的解释变量不仅改变了，而且对其他回归系数的数值或符号具有明显影响，则可认为引进新变量后，回归模型解释变量间存在严重多重共线性。这个新引进的变量如果从理论上分析是十分重要的，则不能简单舍弃，而是应研究改善模型的形式，寻找更符合实际的模型，重新进行估计。如果通过检验证明存在明显线性相关的两个解释变量中的一个可以被另一个解释，则可略去其中对被解释变量影响较小的那个变量，模型中保留影响较大的那个变量。2、具体实例例7-1 设某地10年间有关服装消费、可支配收入、流动资产、服装类物价指数、总物价指数的调查数据如表7-1，请建立需求函数模型。表7-1 服装消费及相关变量调查数据

12、年份服装开支（百万元）可支配收入Y（百万元）流动资产（百万元）服装类物价指数Pc1992年=100总物价指数01992年=10019888.482.917.1929419899.688.021.39396199010.499.925.19697199111.4105.329.09497199212.2117.734.0100100199314.2131.040.0101101199415.8148.244.0105104199517.9161.849.0112109199619.3174.251.0112111199720.8184.753.0112111（）设对服装的需求函数为用最小二乘法估

13、计得由得出拒绝零假设，认为服装支出与解释变量间存在显著关系。（）求各解释变量的基本相关系数上述基本相关系数表明解释变量间高度相关，也就是存在较严重的多重共线性。（）为检验多重共线性的影响，作如下简单回归： （-3.3102） （41.9370） （-9.1682） （12.5363） （2.5858） （15.3096） （-14.7710） （18.6585）以上四个方程根据经济理论和统计检验，收入是最重要的解释变量（t检验值=41.937也最大），从而得出最优简单回归方程。（）将其余变量逐个引入，计算结果如下表7-2：表7-2服装消费模型的估计（常数）-1.2455（-3.3102）0.1

14、17（41.9370）_0.99552.62711.4047（0.2852）0.1257（8.4259）-0.0361（-0.5398）_0.99572.53350.9400（0.1815）0.1387（5.5845）-0.0345（-0.4941）-0.0379（-0.6682）_0.99593.1568-12.7593（-1.9581）0.1036（7.4640）-0.1882（-2.4693）_0.3186（2.6189）0.99803.5241-13.5335（-1.8013）0.0970（3.6603）-0.1991（-2.2087）0.0151（0.3053）0.3401（2.27

15、14）0.99803.3826结果分析：在最优简单回归方程中引入变量，使由0.9955提高到0.9957，正号，负号是合理的，进行t检验不显著。从经济理论分析，应该是重要因素，虽然与高度相关，但并不影响的显著性和稳定性，因此，可能是“有利变量”，暂时给予保留。模型中引入变量，由0.9957提高到0.9959，值略有提高。虽然与，与均高度相关，但是的引入对参数、的影响不大， 的符号不满意，可能是“多余变量”，暂时删除。舍去变量，加入变量，使由0.9957提高到0.9980，值改进较大，、均显著，从经济意义上看也是合理的。因此可以认为、皆为“有利变量”应给予保留。最后再引入变量，0.9980没有增

16、加（或几乎没有增加），对其他三个解释变量参数系数没有多大影响，可以确定是多余变量，应从模型中删除。得到如下结论：回归模型以为最优模型。通过上例分析可以看出，Frisch综合分析法不但可以检验多重共线性，同时也可以对多重共线性进行处理。第三节 多重共线性的处理一、先验信息法先验信息法是指根据经济理论或者其他已有研究成果事前确定回归模型参数间的某种关系，将这种约束条件与样本信息综合考虑，进行最小二乘估计。运用参数间的先验信息可以消除多重共线性。如对Cobb-Douglas生产函数进行回归估计其中Y、L、K分别表示产出、劳动力和资本由先验信息可知劳动投入量L与资金投入量K之间通常是高度相关的，如果按

17、照经济理论“生产规模报酬不变”的假定，则则 两边取对数 （7-15）此时上式为一元线性回归模型，不存在多重共线性问题。二、改变变量的定义形式在进行回归模型共线性处理时，有时要根据所分析的具体经济问题及模型的形式对解释变量重新调整，一般有如下几种方法：（1）用相对数变量替代绝对数变量如设需求函数为 （7-16）其中Y、X、P、P1 分别代表需求量、收入、商品价格与替代商品价格，由于商品价格与替代商品价格往往是同方向变动，该需求函数模型可能存在多重共线性。考虑用两种商品价格之比作解释变量，代替原模型中商品价格与替代商品价格两个解释变量，则模型为如下形式： （7-17） 原模型中两种商品价格变量之间

18、的多重共线性得以避免。（2）删去模型中次要的或可替代的解释变量 如果回归模型解释变量间存在较严重的多重共线性，根据经济理论、实践经验、相关系数检验、统计分析等方法鉴别变量是否重要及是否可替代，删去那些对被解释变量影响不大，或认为不太重要的变量，则可减轻多重共线性。（3）差分法对回归模型中所有变量作差分变换也是消除多重共线性的一种有效方法。如设原回归模型为 （7-18）模型中解释变量与间存在多重共线性，与都是时间序列资料，对于期 （7-19） （7-20）得到原模型期与期的一阶差分形式，令一阶差分为可以得到一阶差分模型： （7-21）这里的解释变量不再是原来的解释变量而是解释变量的一阶差分，即使

19、原模型中存在严重的多重共线性，变换后的一阶差分模型一般也可以解决此类问题。值得注意的是，差分变换法也有一定的负面作用。由于，而与等必然相关，因此差分变换法在减少多重共线性的同时，却带来了随机扰动项序列相关问题。三、主成分法1、含义主成分法是通过线性变换，将原来的多个指标组合成相互独立的少数几个能充分反映总体信息的指标，从而在不丢掉重要信息的前提下避开变量间共线性问题，便于进一步分析。在主成分分析中提取出的每个主成分都是原来多个指标的线性组合。比如有两个原始变量和，则一共可提取出两个主成分： （7-22）原则上如果有n个变量，则最多可以提取出n个主成分，但如果将它们全部提取出来就失去了该方法简化

20、数据的意义。一般情况下提取出2-3个主成分（已包含了90%以上的信息），其他的可以忽略不计。2、基本原理主成分分析的基本原理是将解释变量转换成若干个主成分，这些主成分从不同侧面反映解释变量的综合影响，并且互不相关。因此，可以将被解释变量关于这些主成分进行回归，再根据主成分与解释变量之间的对应关系，求得原回归模型的估计方程。3、具体步骤主成分回归的具体步骤：（1）对原始样本数据做标准化处理，得到解释变量的相关系数矩阵R。（2）计算R的个特征值，以及相应的标准化特征向量。（3）利用特征值检验多重共线性。模型存在多重共线性时，至少有一个特征值近似地等于零，不妨设近似为零，这表明解释变量之间存在个线性

21、相关关系。（4）设多元线性模型为，标准化后的解释变量的k个主成分为 （7-23）其中互不相关，并且近似为零。将标准化的被解释变量关于个主成分进行回归，得 （7-24）（5）根据主成分与解释变量之间的关系式（7-23），将其代入主成分回归方程式（7-24），求得用标准化数据表示的回归方程： （7-25）系数与原模型中参数之间的关系为 （7-26） （7-27）其中，分别为和的标准差，由此可以计算出原回归模型中的参数，进而得到 （7-28）四、岭回归估计1、含义岭回归分析实际上是一种改良的最小二乘法，是一种专门用于共线性数据分析的有偏估计回归方法。如果回归模型的假定得不到满足，则b的OLS估计的优

22、良性质将遭到严重破坏，如果诸X之间有完全的共线性，则它们的回归系数是不确定的，并且它们的标准误没有定义；如果有高度共线性，回归系数有较大的标准误，系数的总体值不能准确地加以估计，将导致回归系数的方差扩大。Horel（1970）提出了岭回归估计方法，该方法放弃最小二乘的无偏性，损失部分信息，以放弃部分精确度为代价来寻求效果稍差但更符合实际的回归方程。故岭回归所得剩余标准差比最小二乘回归要大。2、基本原理岭回归分析的基本思想是当自变量间存在共线性时，解释变量的相关矩阵行列式近似为零，是奇异的，也就是说它的行列式的值也接近于零，此时OLS估计将失效。此时可采用岭回归估计。岭回归就是用代替正规方程中的

23、，人为地把最小特征根由minli提高到min（li+k），希望这样有助于降低均方误差。这时b 的岭估计定义为：上式作为的岭估计，当k=0时即为通常所说的最小二乘估计（OLS估计）。当时， 一般情况下，取0到1之间的数值。表示在的矩阵对角线上每个元素都加上一个正数，就象形成一个山脊一样，用式b（k）来估计b，这种估计参数的方法，称为岭回归估计法，为岭回归系数。在岭回归分析中关键问题是如何选择k值,迄今为止,已有十余种选择k值的方法，但没有一种方法被证明为显著地优于其它方法。岭回归方法是70年代以后发展起来的，在计量经济学中还是新方法，无论方法本身还是实际应用都还很不完善。五、逐步回归法1、含义逐

24、步回归法是指利用被解释变量对每一个解释变量作一个回归方程，构造统计量，进行统计检验，并根据相应的经济理论进行解释，从中选取最优的回归方程；然后逐步引入其他的解释变量，再做相应的回归方程，扩大模型的规模，同时对所有解释变量的回归系数进行检验。2、具体要求（1）引入新变量，判断拟和优度（2）引入新变量，改进，但统计检验不显著第四节 带多重共线性的实例分析见教材及上机操作本章小结多重共线性问题是计量经济分析中的重要内容，本章首先讨论了多重共线性的含义、产生原因及后果，介绍了不显著系数法、拟合优度检验法、相关矩阵法和Frisch综合分析法等多重共线性的检验方法，利用Eviews软件结合实例分析了先验信息法、改变变量的定义形式、主成分法和岭回归估计法等克服多重共线性的方法。