《多重共线性 .ppt》由会员分享，可在线阅读，更多相关《多重共线性 .ppt（30页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、多重共线性 现在学习的是第1页，共30页浙江财经学院 倪伟才2(3)二者的区别a.完全多重共线性:取x0=1,c0 x0+c1x1+c2x2+cp xp=0,如c10，则x1=-c0 x0/c1-c2x2/c1-cp xp/c1 说明 x1 和其它变量有准确的线性关系；或能从其它变量的线性组和其它变量有准确的线性关系；或能从其它变量的线性组合推出合推出 x1 和方程右边线性组合的相关系数1b.近似完全多重共线性：c10，则x1=-c0 x0/c1-c2x2/c1-cp xp/c1 v/c1 说明：x1 不是其它变量的一个准确的线性组合，因为它还决定于随机误差项v.例：x1=10,15,18,2
2、4,30.利用软件spss的compute 产生x2=5*x1,及产生x3=x2+UNIFORM（10),说明二者区别。现在学习的是第2页，共30页浙江财经学院 倪伟才3statainput x11015182430Endgen x2=5*x1gen x3=x2+uniform()*10list x1 x2 x3corr x1 x2 x3现在学习的是第3页，共30页浙江财经学院 倪伟才4课堂练习设x1,x2为解释变量，则完全多重共线性的是（）A、B、C、D、现在学习的是第4页，共30页浙江财经学院 倪伟才5二、产生多重共性的背景背景例1：y=0+1x1+2x2，y表示电力消费，x1表示收入，x
3、2表示住房面积。x1和x2存在多重共线性（实质上是较强的相关性）：收入越高，住房面积较大；收入越低，住房面积较小。例2.y=0+1x1+2x2+3x3，y表示粮食产量，x1表示施肥量，x2表示灌溉面积，x3表示农业资金的投入。x3和x1，x2存在多重共线性：资金的投入主要用于购买化肥和开发水利。例3.在医学研究中，在少量的病人上，收集了大量解释变量的信息。现在学习的是第5页，共30页浙江财经学院 倪伟才6三.多重共线性的后果后果 完全多重共线性完全多重共线性的后果：回归参数的估计值不能确定，而且它们的标准误是无穷大；近似完全多重共线性近似完全多重共线性的后果：虽然回归参数的估计值可以确定，但是
4、有较大的标准误，不理想。下面用二元线性回归模型y=0+1x1+2x2+的数学公式推倒来说明它们的后果。现在学习的是第6页，共30页浙江财经学院 倪伟才71：随着共线性增强，估计值的方差变大现在学习的是第7页，共30页浙江财经学院 倪伟才8现在学习的是第8页，共30页浙江财经学院 倪伟才92：估计值不能确定现在学习的是第9页，共30页浙江财经学院 倪伟才103：估计值的解不唯一现在学习的是第10页，共30页浙江财经学院 倪伟才11小结：完全多重共线性的后果完全多重共线性的后果：参数估计值不能确定；1的意义：保持x2 不变的情况下，x1每变化1个单位，y的平均变化，但x1和x2存在完全共线性，就没
5、有任何办法能保持x2不变：理由是x1变化1个单位，x2将变化个单位，意味着不能从所给的样本中把x1,x2对y的影响分开来。简而言之简而言之，x1和x2是不可能区分，而在实际中要求知道每个解释变量x1,x2各自对y的影响。具有破坏性！具体联系具体联系实事实事!若利用x2=x1，将二元模型转化一元模型，只有1条方程，但却有两个未知数，故0，1，的解不唯一，即不能确定！标准误是无穷大现在学习的是第11页，共30页浙江财经学院 倪伟才122.近似完全多重共线性的后果将x2=x1+v代入1说明x2,x1共线性程度越高，即v越趋于0，从而1 趋于不确定。var(1)会增大；参数显著性检验的t统计量：t=1
6、/var(1)(1/2),存在共线时，var(1)会增大，t值会变小。对于给定,当|t|0.9999时，自变量xj将被自动拒绝在回归方程之外，除非修改容忍度的默认值。现在学习的是第17页，共30页浙江财经学院 倪伟才18例题讲解例3.3多重共线性的判断。（VIF）1通过辅助回归计算x1的VIF练习：计算x2的VIF2:直接产生VIF3:考虑x1,x2的偏相关系数:0.9776现在学习的是第18页，共30页浙江财经学院 倪伟才19stata相关命令请参考www.ats.ucla.edu数据：消费和收入财富的多重共线性.dtareg y x1 x2reg y x1 x2vifvif Variabl
7、e|VIF 1/VIF -+-x1|482.13 0.002074 x2|482.13 0.002074-+-Mean VIF|482.13现在学习的是第19页，共30页浙江财经学院 倪伟才20特征根的分析根据行列式的性质：矩阵的行列式等于其特征根的连乘。当存在多重共线性时，行列式|XX|0，矩阵XX至少有一个特征根近似为零。反之，当矩阵XX至少有一个特征根近似为零时，X的列向量间必存在多重共线性，下面给出证明！现在学习的是第20页，共30页浙江财经学院 倪伟才21特征根的证明结论结论：用矩阵XX的特征根来研究多重共线性，矩阵XX有多少个特征根接近于0，设计矩阵X就有多少个多重共线性关系。现在
8、学习的是第21页，共30页浙江财经学院 倪伟才22条件指指数(condition index)为了确定特征根近似于0的标准，引进了条件数。记矩阵XX的最大特征根为1，称为特征根为i的特征根。判断标准：k100，严重的多重共线性；10 k100,较强的多重共线性；0 k10，认为没有多重共线性。现在学习的是第22页，共30页浙江财经学院 倪伟才23方差比例表例3.3多重共线性的判断。现在学习的是第23页，共30页浙江财经学院 倪伟才24Stata:例3.3.dtareg y x1 x2 x3 x4 x5vif Variable|VIF 1/VIF -+-x1|1968.90 0.000508 x
9、2|1749.89 0.000571 x4|55.47 0.018029 x5|24.95 0.040077 x3|3.15 0.317365-+-Mean VIF|760.47现在学习的是第24页，共30页浙江财经学院 倪伟才25Condcollincollin x1 x2 x3 x4 x5(obs=16)Collinearity Diagnostics SQRT R-Variable VIF VIF Tolerance Squared-x1 1968.90 44.37 0.0005 0.9995 x2 1749.89 41.83 0.0006 0.9994 x3 3.15 1.78 0.3
10、174 0.6826 x4 55.47 7.45 0.0180 0.9820 x5 24.95 5.00 0.0401 0.9599-Mean VIF 760.47现在学习的是第25页，共30页浙江财经学院 倪伟才266.4 消除多重共线性的方法 对多重共线性的两点认识认识：在实际中，多重共线性是一个程度问题而不是有无的问题，多重共线性是一个程度问题而不是有无的问题，有意义的区分不在于有和无，而在于多重共线性的程度。有意义的区分不在于有和无，而在于多重共线性的程度。多重共线性是针对固定的解释变量而言，是一种样本的特征，而非总体的特征。消除多重共线性的方法：1.增加样本容量二元线性回归模型 y=
11、0+1x1+2x2+，Var(1)=2/x1i2(1-r122),Var(2)=2/x2i2(1-r122),n；x1i2 ，x2i2；Var(1)，Var(2)。部分消除多重共线性对方差的影响。2.利用先验信息改变参数的约束形式例：柯布道格拉斯生产函数现在学习的是第26页，共30页浙江财经学院 倪伟才27 已知X2 和X3 之间高度共线。根据先验信息，确定3=22，带入模型后可得：例如：C-D生产函数 ，K与L高度相关。已知规模收益不变，则+=1。生产函数的双对数模型可变为：可以对这一新回归方程进行估计。2、利用先验信息 假定对回归模型：现在学习的是第27页，共30页浙江财经学院 倪伟才28
12、3.删除不必要的解释变量：y=0+1x1+2x2+3x3+，y表示粮食产量，x1表示施肥量，x2表示灌溉面积，x3表示农业资金的投入。可删除x3!4.其它方法：逐步回归法，岭回归（ridge regression）,主成分分析（principal components）.练习：课本168页第6题。考虑下面的数据。假如用模型y=0+1x1+2x2+3x3+拟合数据。a.你能估计这3个未知数吗？为什么？b.若不能，那么你能估计这些参数的什么样的线性组合，即可估计函数？说明必要的计算！现在学习的是第28页，共30页浙江财经学院 倪伟才29多重共线性的人为例子的数据表如右表yx1x2-1011-823-635-447-259061127134815691781019101121现在学习的是第29页，共30页浙江财经学院 倪伟才30思考题现在学习的是第30页，共30页