《多重共线性PPT讲稿.ppt》由会员分享，可在线阅读，更多相关《多重共线性PPT讲稿.ppt（34页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、多重共线性第1页，共34页，编辑于2022年，星期六何为共线性问题n所谓共线性，是指自变量之间存在线性关系，所谓“之间”，不仅限于两个变量，还指某个变量与某些变量。总之，任一变量是或近似为其它变量的某种线性组合的现象，就是共线性。第2页，共34页，编辑于2022年，星期六 如果存在 c1X1i+c2X2i+ckXki=0 i=1,2,n 其中:ci不全为0，则则称称为为解解释释变变量量间间存存在在完完全全多多重重共共线线性性（perfect multicollinearity）。n如果存在n c1X1i+c2X2i+ckXki+vi=0 i=1,2,n n其中ci不全为0，vi为随机误差项，则
2、称为 近近似似共共线线性性（approximate multicollinearity）或交交 互互 相相 关关(intercorrelated)。第3页，共34页，编辑于2022年，星期六n 在矩阵表示的线性回归模型 Y=X+中，完全共线性完全共线性指：指：秩秩(X)k+1，即中，至少有一列向量可由其他列向量（不包括第一列）线性表出。如：X2=X1，则X2对Y的作用可由X1代替。第4页，共34页，编辑于2022年，星期六注意：注意：完全多重共线性的情况并不多见，一般出完全多重共线性的情况并不多见，一般出现的是在一定程度上的共线性，即近似共线现的是在一定程度上的共线性，即近似共线性。性。第5页
3、，共34页，编辑于2022年，星期六共线性的影响1.如果自变量完全线性相关，相应回归系数无法估计 要获得估计，必须能够求逆第6页，共34页，编辑于2022年，星期六共线性的影响第7页，共34页，编辑于2022年，星期六共线性的影响n考虑第一个自变量，现在以该自变量为因变量，以其他自变量为自变量作一个新的回归模型，定义该模型的残差为：对因变量（也即原模型的第一个自变量）的拟合值为：第8页，共34页，编辑于2022年，星期六共线性的影响第9页，共34页，编辑于2022年，星期六共线性的影响第10页，共34页，编辑于2022年，星期六共线性的影响2.如果并非完全线性相关，回归系数虽可估计，但回归系数
4、标准误将随相关程度的增强而迅速加大第11页，共34页，编辑于2022年，星期六共线性的影响第12页，共34页，编辑于2022年，星期六共线性的影响n标准误过大，将使得回归系数的波动性很大，对样本值非常敏感，因此也降低了回归方程的价值nt检验是建立在标准误基础上的，因此存在共线性问题时，t值将减小，经常无法通过检验第13页，共34页，编辑于2022年，星期六共线性的影响3.经常出现回归系数符号反常现象第14页，共34页，编辑于2022年，星期六共线性的影响n为考察回归系数的符号问题，而 肯定大于0，故可以去掉第15页，共34页，编辑于2022年，星期六共线性的影响第16页，共34页，编辑于202
5、2年，星期六共线性的影响4.如果存在共线性，则对回归系数的解释一般不再适用 第17页，共34页，编辑于2022年，星期六共线性的诊断n经验式的诊断1、简单相关系数、散点图（矩阵图）2、回归系数符号出现异常3、F检验很显著，t检验却都不显著4、增加或删除一个变量或观测值，回归系数估计值发生很大变化5、重要自变量回归系数的置信区间过大6、样本点过少，一般都存在共线性第18页，共34页，编辑于2022年，星期六共线性的诊断n方差膨胀因子（VIF，Variance Inflation Factor）第19页，共34页，编辑于2022年，星期六共线性的诊断n方差膨胀因子可以度量回归系数的标准误相对于不存
6、在线性相关时，增加了多少第20页，共34页，编辑于2022年，星期六共线性的诊断ncondition indices（CI）n经验法则 CI在10到30之间，存在中等强度共线性 CI大于30，存在严重共线性第21页，共34页，编辑于2022年，星期六共线性的处理方法n比较系统的方法n岭回归n主成分回归n偏最小二乘n时序横截面模型第22页，共34页，编辑于2022年，星期六共线性的处理方法n其他方法：n增加数据量n删除变量n变量替换n变量组合第23页，共34页，编辑于2022年，星期六1、岭回归（ridge regression）n基本思想第24页，共34页，编辑于2022年，星期六1、岭回归n
7、对于岭回归的实际应用而言，k（偏倚系数）的估计是关键，需要结合岭迹图进行判断第25页，共34页，编辑于2022年，星期六1、岭回归n用岭迹图判断k值的基本原则是：n回归系数的岭估计基本稳定n回归系数符号要合理n回归系数没有明显不合经济意义的绝对值n误差增大不多第26页，共34页，编辑于2022年，星期六1、岭回归n岭回归的基本性质第27页，共34页，编辑于2022年，星期六2、主成分回归n主成分分析是一种常用的降维方法，它在信息损失最小的原则下，往往可以将变量数大大减少，而且可以在理论上保证所获得的新变量（主成分）之间不相关第28页，共34页，编辑于2022年，星期六2、主成分回归n基本思想第
8、29页，共34页，编辑于2022年，星期六2、主成分回归n主成分分析过程的实质就是对原坐标系进行平移和旋转变换第30页，共34页，编辑于2022年，星期六2、主成分回归n第一主成分就对应数据变异的第一大方向，对原始数据的变异最具解释力；n第二主成分就对应数据变异的第二大方向；n不同主成分之间不相关n主成分是自变量的线性组合第31页，共34页，编辑于2022年，星期六2、主成分回归n判断应选择几个主成分，主要依据贡献率：第32页，共34页，编辑于2022年，星期六2、主成分回归n主成分回归的基本步骤1）进行主成分分析，得到主成分2）以主成分为自变量进行建模n主成分方法本身也会受到共线性的干扰第33页，共34页，编辑于2022年，星期六3.偏最小二乘法第34页，共34页，编辑于2022年，星期六