《第12章多元线性回归.pptx》由会员分享，可在线阅读，更多相关《第12章多元线性回归.pptx（51页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、学习目标1.回归模型、回归方程、估计的回归方程2.回归方程的拟合优度3.回归方程的显著性检验4.多重共线性问题及其处理5.利用回归方程进行估计和预测6.变量选择与逐步回归7.用 Excel 进行回归分析第1页/共51页12.1 多元线性回归模型多元线性回归模型多元回归模型与回归方程多元回归模型与回归方程估计的多元回归方程估计的多元回归方程参数的最小二乘估计参数的最小二乘估计第2页/共51页多元回归模型与回归方程第3页/共51页多元回归模型(multiple regression model)1.一个因变量与两个及两个以上自变量的回归2.描述因变量 y 如何依赖于自变量 x1，x2，xk 和误差
2、项 的方程，称为多元回归模型3.涉及 k 个自变量的多元回归模型可表示为 0 0 ，1 1，k k是参数是参数 是被称为误差项的随机变量是被称为误差项的随机变量 y y 是是x x1,1,，x x2 2 ，x xk k 的线性函数加上误差项的线性函数加上误差项 包含在包含在y y里面但不能被里面但不能被k k个自变量的线性关系所解释的变异性个自变量的线性关系所解释的变异性第4页/共51页多元回归模型(基本假定)1.误差项是一个期望值为0的随机变量，即E()=02.对于自变量x1，x2，xk的所有值，的方差 2都相同3.误差项是一个服从正态分布的随机变量，即N(0,2)，且相互独立第5页/共51
3、页多元回归方程(multiple regression equation)1.描述因变量 y 的平均值或期望值如何依赖于自变量 x1，x2，xk的方程2.多元线性回归方程的形式为 E(y)=0+1 x1+2 x2+k xk 1 1，k k称为偏回归系数称为偏回归系数 i i 表表示示假假定定其其他他变变量量不不变变，当当 x xi i 每每变变动一个单位时，动一个单位时，y y 的平均变动值的平均变动值第6页/共51页二元回归方程的直观解释二元线性回归模型二元线性回归模型二元线性回归模型二元线性回归模型(观察到的观察到的y y)回归面回归面 0 0 i ix x1 1y yx x2 2(x x
4、1 1,x x2 2)第7页/共51页估计的多元回归方程第8页/共51页估计的多元回归的方程(estimated multiple regression equation)是是 估计值估计值 是是 y y 的估计值的估计值1.用样本统计量 估计回归方程中的 参数 时得到的方程2.由最小二乘法求得3.一般形式为第9页/共51页参数的最小二乘估计第10页/共51页参数的最小二乘法2.求求解解各回归参数的标准方程如下各回归参数的标准方程如下1.使使因因变变量量的的观观察察值值与与估估计计值值之之间间的的离离差差平平方方和和达到最小来求得达到最小来求得 。即。即第11页/共51页参数的最小二乘法(例题
5、分析)【例例】一家大型商业银行在多个地区设有分行，为弄清楚不良贷款形成的原因，抽取了该银行所属的25家分行2002年的有关业务数据。试建立不良贷款y与贷款余额x1、累计应收贷款x2、贷款项目个数x3和固定资产投资额x4的线性回归方程，并解释各回归系数的含义 第12页/共51页12.2 回归方程的拟合优度回归方程的拟合优度多重判定系数多重判定系数估计标准误差估计标准误差第13页/共51页多重判定系数第14页/共51页多重判定系数(multiple coefficient of determination)1.回归平方和占总平方和的比例2.计算公式为3.因变量取值的变差中，能被估计的多元回归方程所
6、解释的比例 第15页/共51页修正多重判定系数(adjusted multiple coefficient of determination)1.用样本量n和自变量的个数k去修正R2得到 2.计算公式为3.避免增加自变量而高估 R24.意义与 R2类似5.数值小于R2第16页/共51页估计标准误差 Sy1.对误差项的标准差 的一个估计值2.衡量多元回归方程的拟合优度3.计算公式为第17页/共51页12.3 显著性检验显著性检验线性关系检验线性关系检验回归系数检验和推断回归系数检验和推断第18页/共51页线性关系检验第19页/共51页线性关系检验1.检验因变量与所有自变量之间的线性关系是否显著2
7、.也被称为总体的显著性检验3.检验方法是将回归均方(MSR)同残差均方(MSE)加以比较，应用 F 检验来分析二者之间的差别是否显著如果是显著的，因变量与自变量之间存在线性关系如果不显著，因变量与自变量之间不存在线性关系第20页/共51页线性关系检验1.提出假设H0：12k=0 线性关系不显著H1：1，2，k至少有一个不等于02.2.计算计算检验统计量检验统计量F F3.确定确定显著性水平显著性水平 和分子自由度和分子自由度k k、分母自由度、分母自由度n-n-k k-1-1找出临界值找出临界值F F 4.4.作出作出决策：若决策：若F F F F ，拒绝，拒绝H H0 0第21页/共51页回
8、归系数检验和推断第22页/共51页回归系数的检验1.线性关系检验通过后，对各个回归系数有选择地进行一次或多次检验2.究竟要对哪几个回归系数进行检验，通常需要在建立模型之前作出决定3.对回归系数检验的个数进行限制，以避免犯过多的第类错误(弃真错误)4.对每一个自变量都要单独进行检验5.应用 t 检验统计量第23页/共51页回归系数的检验(步骤)1.提出假设H0：i=0 (自变量 xi 与 因变量 y 没有线性关系)H1：i 0 (自变量 xi 与 因变量 y有线性关系)2.计算检验的统计量 t3.确定显著性水平，并进行决策 t t t t，拒绝，拒绝H H0 0；t t t(25-2)=2.06
9、9，所以均拒绝原假设，说明这4个自变量两两之间都有显著的相关关系2.由表Excel输出的结果可知，回归模型的线性关系显著(Significance-F 1.03539E-06=0.05)。这也暗示了模型中存在多重共线性3.固定资产投资额的回归系数为负号(-0.029193)，与预期的不一致第33页/共51页多重共线性问题的处理第34页/共51页多重共线性(问题的处理)1.将一个或多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关2.如果要在模型中保留所有的自变量，则应避免根据 t 统计量对单个参数进行检验对因变量值的推断(估计或预测)的限定在自变量样本值的范围内第35页/共51页提示1.
10、在建立多元线性回归模型时，不要试图引入更多的自变量，除非确实有必要2.在社会科学的研究中，由于所使用的大多数数据都是非试验性质的，因此，在某些情况下，得到的结果往往并不令人满意，但这不一定是选择的模型不合适，而是数据的质量不好，或者是由于引入的自变量不合适 第36页/共51页12.5 利用回归方程进行估计和预测利用回归方程进行估计和预测软件应用软件应用第37页/共51页用SPSS求置信区间和预测区间第38页/共51页置信区间和预测区间(例题分析)第39页/共51页12.6 变量选择与逐步回归变量选择与逐步回归变量选择过程变量选择过程向前选择向前选择向后剔除向后剔除逐步回归逐步回归第40页/共5
11、1页变量选择过程1.在建立回归模型时，对自变量进行筛选2.选择自变量的原则是对统计量进行显著性检验将一个或一个以上的自变量引入到回归模型中时，是否使得残差平方和(SSE)有显著地减少。如果增加一个自变量使SSE的减少是显著的，则说明有必要将这个自变量引入回归模型，否则，就没有必要将这个自变量引入回归模型确定引入自变量是否使SSE有显著减少的方法，就是使用F统计量的值作为一个标准，以此来确定是在模型中增加一个自变量，还是从模型中剔除一个自变量3.变量选择的方法主要有：向前选择、向后剔除、逐步回归、最优子集等 第41页/共51页向前选择(forward selection)1.从模型中没有自变量开
12、始2.对k个自变量分别拟合对因变量的一元线性回归模型，共有k个，然后找出F统计量的值最高的模型及其自变量，并将其首先引入模型 3.分别拟合引入模型外的k-1个自变量的线性回归模型 4.如此反复进行，直至模型外的自变量均无统计显著性为止第42页/共51页向后剔除(backward elimination)1.先对因变量拟合包括所有k个自变量的回归模型。然后考察p(pk)个去掉一个自变量的模型(这些模型中每一个都有的k-1个自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除2.考察p-1个再去掉一个自变量的模型(这些模型中在每一个都有k-2个的自变量)，使模型的SSE值减小最少的自
13、变量被挑选出来并从模型中剔除3.如此反复进行，一直将自变量从模型中剔除，直至剔除一个自变量不会使SSE显著减小为止第43页/共51页逐步回归(stepwise regression)1.将向前选择和向后剔除两种方法结合起来筛选自变量2.在增加了一个自变量后，它会对模型中所有的变量进行考察，看看有没有可能剔除某个自变量。如果在增加了一个自变量后，前面增加的某个自变量对模型的贡献变得不显著，这个变量就会被剔除3.按照方法不停地增加变量并考虑剔除以前增加的变量的可能性，直至增加变量已经不能导致SSE显著减少4.在前面步骤中增加的自变量在后面的步骤中有可能被剔除，而在前面步骤中剔除的自变量在后面的步骤
14、中也可能重新进入到模型中第44页/共51页逐步回归(例题分析SPSS输出结果)Variable Entered/Removed a model Variable EnteredVariable Removedmethod1各项贷款余额各项贷款余额x1 Stepwise(Criteria:Probability-of-F-to-enter=.050,Probability-of-F-to-remove=.100).2固定资产投资额固定资产投资额x4 Stepwise(Criteria:Probability-of-F-to-enter=.050,Probability-of-F-to-remov
15、e=.100).a Dependent variable:不良贷款y第45页/共51页逐步回归(例题分析SPSS输出结果)Model summary model RR-SquareAdjusted R-Square Std.Error of the Estimate 1.844a.712.6991.97992.872b.761.7391.8428a Predictors:(Constant),各项贷款余额x1b Predictors:(Constant),各项贷款余额x1,固定资产投资额x4含x1和x4的模型只含x1的模型第46页/共51页逐步回归(例题分析SPSS输出结果)ANOVA c m
16、odelSum of SquaresdfMean SquareFSig.1 Regress ResidualTotal222.48690.164312.65012324222.4863.92056.754.000a2 Regress Residual Total237.94174.709312.65022224118.9713.39635.034.000ba Predictors:(Constant),各项贷款余额x1b Predictors:(Constant),各项贷款余额x1,固定资产投资额x4c Dependent variable:不良贷款y第47页/共51页逐步回归(例题分析SPS
17、S输出结果)ModelUnstandardizedCoefficientsUnstandardizedCoefficientstSig.BStd.ErrorBeta1 (Constant)贷款余额x1 -.830.038.723.0050844-1.1477.534.263.0002 (Constant)贷款余额x1 固定资产投资x4-.443.050-.032.697.007.0151.120-.355-.6366.732-2.133.531.000.044a Dependent variable:不良贷款yCoefficients a第48页/共51页本章小结1.多元回归模型、回归方程、估计方程2.回归方程的拟合优度3.显著性检验4.多重共线性5.利用回归方程进行估计和预测6.变量选择与逐步回归7.虚拟自变量的回归第49页/共51页结结 束束第50页/共51页感谢您的观看！第51页/共51页