《多元回归模型估计与假设检验讲稿.ppt》由会员分享，可在线阅读，更多相关《多元回归模型估计与假设检验讲稿.ppt（30页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、多元回归模型估计与多元回归模型估计与假设检验假设检验第一页，讲稿共三十页哦4.1 二元线性回归模型：总体回归函数二元线性回归模型：总体回归函数 12233iiiiYBB XB Xu非随机形式：非随机形式：2312233(,)iiiiE Y XXBB XB X随机形式：随机形式：其中，其中，B1是截距，是截距，B2、B3称为称为偏回归系数偏回归系数。B2 度量了在度量了在X3保持不变的情况下，保持不变的情况下，X2变化变化1 1单位引起单位引起Y的的平均平均变化量；变化量；B3 度量了在度量了在X2保持不变的情况下，保持不变的情况下，X3变化变化1 1单位引起单位引起Y的的平均平均变化量。变化量
2、。第二页，讲稿共三十页哦例如，例如，23200.45iiiiYXXu 当当X3保持不变时，保持不变时，X2每增加每增加1 1单位，单位，Y将将平均地平均地增加增加0.40.4单位；单位；当当X2保持不变时，保持不变时，X3每增加每增加1 1单位，单位，Y将将平均地平均地减少减少5 5单位。单位。4.1 二元线性回归模型：总体回归函数二元线性回归模型：总体回归函数第三页，讲稿共三十页哦 也就是说，在多元回归中，也就是说，在多元回归中，偏回归系数偏回归系数反映了反映了当模型中其当模型中其他解释变量保持不变时，某个解释变量对被解释变量的他解释变量保持不变时，某个解释变量对被解释变量的条件条件均值均值
3、的影响。的影响。多元回归不但引入了多个解释变量，而且能够多元回归不但引入了多个解释变量，而且能够分离分离出每个出每个解释变量对被解释变量的影响。解释变量对被解释变量的影响。4.1 二元线性回归模型：总体回归函数二元线性回归模型：总体回归函数第四页，讲稿共三十页哦1.回归模型是参数线性的，并且是正确设定的；回归模型是参数线性的，并且是正确设定的；2.随机误差项的条件均值为零；随机误差项的条件均值为零；3.随机误差项的方差是常数（同方差）；随机误差项的方差是常数（同方差）；4.所有解释变量都与随机误差项不相关；所有解释变量都与随机误差项不相关；5.随机误差项不存在自相关。随机误差项不存在自相关。4
4、.2 多元线性回归的若干假定多元线性回归的若干假定23(,)0iE u XX2()ivar u2cov(,)0iiu X3cov(,)0iiu X进一步进一步2(0,)iuN以上这些假定全部与第三章提到的一元回归模型的假定完全相同。以上这些假定全部与第三章提到的一元回归模型的假定完全相同。cov(,)0,1,2,.,iju uiji jn第五页，讲稿共三十页哦 不同的是，多元回归有多个解释变量不同的是，多元回归有多个解释变量X，因而就多了以下这条，因而就多了以下这条对解释变量之间关系的假定：对解释变量之间关系的假定：6.解释变量之间不存在解释变量之间不存在完全共线性完全共线性，就是说，解释变量
5、之间不存在就是说，解释变量之间不存在严格的线性关系严格的线性关系。4.2 多元线性回归的若干假定多元线性回归的若干假定第六页，讲稿共三十页哦 如果如果X2与与X3存在存在完全共线性完全共线性，就无法估计偏回归系数，就无法估计偏回归系数B2、B3的的值。值。换句话说，不能估计解释变量换句话说，不能估计解释变量X2、X3各自对各自对Y的影响，因为此的影响，因为此时时X2和和X3不是两个独立的变量。不是两个独立的变量。实践中很难遇到实践中很难遇到完全共线性完全共线性，但，但近似完全共线性近似完全共线性的情况十分的情况十分常见。常见。如何处理这个问题，如何处理这个问题，将在第八章将在第八章多重共线性多
6、重共线性详细讨论详细讨论。4.2 多元线性回归的若干假定多元线性回归的若干假定第七页，讲稿共三十页哦4.3 多元回归参数的估计多元回归参数的估计样本回归函数：样本回归函数：12233iiiiYbb Xb Xe 与一元回归一样，采用与一元回归一样，采用普通最小二乘法普通最小二乘法(OLS)去估计去估计B1、B2、B3，从而得到它们的，从而得到它们的OLS估计量估计量b1、b2、b3的值。的值。即即最小化残差平方和最小化残差平方和 通过求导，可以算出通过求导，可以算出b1、b2、b3分别为：分别为：2212233:()iiiiRSSeYbb Xb X第八页，讲稿共三十页哦31223bYb Xb X
7、22332322222323()()()()()()()iiiiiiiiiiiy xxy xx xbxxx x23222332222323()()()()()()()iiiiiiiiiiiy xxy xx xbxxx x特征特征1 b2和和b3表达式的分母相同。表达式的分母相同。特征特征2 b2和和b3表达式是对称的，表达式是对称的，即即x2，x3互换也可得到相应的表达式。互换也可得到相应的表达式。4.3 多元回归参数的估计多元回归参数的估计第九页，讲稿共三十页哦2322222222323var()()var()()()()iiiiixbse bbxxx x继而推导出各估计量的继而推导出各估计
8、量的方差方差和和标准差标准差：22222332232321112222323()()2()1var()()var()()()()iiiiiiiiXxXxX Xx xbse bbnxxx x2223332222323var()()var()()()()iiiiixbse bbxxx x其中，随机误差项的方差其中，随机误差项的方差 未知，因而采用其残差项的方差未知，因而采用其残差项的方差 2自由度自由度=样本容量样本容量n-系数个数系数个数34.3 多元回归参数的估计多元回归参数的估计第十页，讲稿共三十页哦多元回归多元回归OLS估计量的性质：估计量的性质：与一元回归一样，在古典线性回归模型的基本假
9、定下与一元回归一样，在古典线性回归模型的基本假定下，多元回归，多元回归OLS估计量也是估计量也是最优线性无偏估计量（最优线性无偏估计量（BLUE）4.3 多元回归参数的估计多元回归参数的估计第十一页，讲稿共三十页哦 从以上这些讨论中不难发现，二元回归模型在许多方面从以上这些讨论中不难发现，二元回归模型在许多方面是一元回归模型的直接推广，只不过估计公式略显复杂。是一元回归模型的直接推广，只不过估计公式略显复杂。当推广到三元回归、四元回归当推广到三元回归、四元回归，那么计算公式将更加复杂，那么计算公式将更加复杂。在这种情况下，必须使用矩阵代数，以简化各自表达式。在这种情况下，必须使用矩阵代数，以简
10、化各自表达式。本课程不会涉及矩阵代数。本课程不会涉及矩阵代数。4.3 多元回归参数的估计多元回归参数的估计第十二页，讲稿共三十页哦4.4 估计多元回归的拟合优度：判定系数估计多元回归的拟合优度：判定系数21ESSRSSRTSSTSS 与一元回归一样，多元回归的判定系数依然为：与一元回归一样，多元回归的判定系数依然为：其中，其中，ESS为为解释平方和解释平方和，RSS为为残差平方和残差平方和，TSS为为总体总体平方和（变异）平方和（变异）。判定系数判定系数R2度量了多元回归模型对度量了多元回归模型对Y变异的解释比例。变异的解释比例。也就是各解释变量也就是各解释变量X对被解释变量对被解释变量Y变异
11、的变异的联合联合解释比例。解释比例。第十三页，讲稿共三十页哦一个例子一个例子:古董钟的拍卖价格古董钟的拍卖价格2321336.049 12.741385.7640(175.2725)(0.9123)(8.8019)(7.6226)(13.9653)(9.7437)(0.0000)(0.0000)(0.0000)32;0.8906;118.0585;()0.0000iiiYXXsetpnRFp F Y：拍卖价格；拍卖价格；X2：钟表年代；钟表年代；X3：竞标人数竞标人数 回归结果的解释回归结果的解释：其他变量不变，钟表年代每增加其他变量不变，钟表年代每增加1年，价格年，价格平均上升平均上升12.
12、74马克；马克；其他变量不变，竞标人数每增加其他变量不变，竞标人数每增加1人，价格人，价格平均上升平均上升85.76马克；马克；负的截距没有实际意义；负的截距没有实际意义；判定系数判定系数R2相当高，约为相当高，约为0.89，说明两个变量联合解释了拍卖价格，说明两个变量联合解释了拍卖价格89%的变异。的变异。样本数据见课本38页表2-14EVIEWS输出结果见课本97页附录4A.4第十四页，讲稿共三十页哦 与一元回归模型一样，多元回归模型也可以对每个参数与一元回归模型一样，多元回归模型也可以对每个参数分别进行显著性检验（单边或双边）。分别进行显著性检验（单边或双边）。当当t大于大于5%5%显著
13、水平所对应的临界值显著水平所对应的临界值Z时，则拒绝时，则拒绝H0，小，小于则不拒绝。于则不拒绝。当然，也可以在当然，也可以在EVIEWS输出结果输出结果里直接读取相应的里直接读取相应的p值，值，p值小于值小于5%5%则拒绝则拒绝H0，大于则不拒绝。，大于则不拒绝。4.7 参数的显著性检验参数的显著性检验t 检验检验第十五页，讲稿共三十页哦111()n kbBttse b222()n kbBttse b333()n kbBttse b()kkn kkbBttse b01:0HB 11()btse b02:0HB 22()btse b03:0HB 33()btse b0:0kHB()kkbtse
14、 b4.7 参数的显著性检验参数的显著性检验t 检验检验第十六页，讲稿共三十页哦4.8 模型的显著性检验模型的显著性检验F 检验检验与与古典线性回归模型古典线性回归模型有关的一些检验：有关的一些检验：统计检验：统计检验：利用统计原理对参数和模型的可靠性进行检验利用统计原理对参数和模型的可靠性进行检验 （拟合优度检验拟合优度检验、参数的显著性检验参数的显著性检验、模型的显著性检验模型的显著性检验等）等）计量经济学检验：计量经济学检验：计量经济学所特有的检验方法计量经济学所特有的检验方法 （多重共线性检验多重共线性检验、异方差检验异方差检验、自相关检验自相关检验等）等）第十七页，讲稿共三十页哦 与
15、参数的显著性检验不同，模型的显著性检验的原与参数的显著性检验不同，模型的显著性检验的原假设假设H0是一个联合假设：是一个联合假设：即，即，所有所有偏回归系数偏回归系数同时为同时为0 0（而不是单独为（而不是单独为0 0）这个假设表示所有的解释变量对被解释变量没有影这个假设表示所有的解释变量对被解释变量没有影响，响，等同于：等同于：20:0HR 023:.0kHBBB4.8 模型的显著性检验模型的显著性检验F 检验检验第十八页，讲稿共三十页哦21,2/./(1)/.(1)/()kn kESS d fRkFFRSS d fRnkF分布,详见357页附录C.4；F分布表,详见388页表E-3 F 统
16、计量：统计量：u 方差分析方差分析ANOVA变异来源变异来源自由度自由度来自回归（来自回归（ESS）k-1来自残差（来自残差（RSS）n-k 总计总计 （TSS）n-1F统计量服从统计量服从分子自由度为分子自由度为k-1、分母自由度为分母自由度为n-k的的F分布分布n：样本容量；：样本容量；k：系数系数B的个数的个数4.8 模型的显著性检验模型的显著性检验F 检验检验第十九页，讲稿共三十页哦F 分布分布n：分子自由度：分子自由度m：分母自由度：分母自由度第二十页，讲稿共三十页哦检验结果：检验结果：如果如果F值大于显著水平值大于显著水平的所对应的临界值的所对应的临界值 则拒绝则拒绝 小于则不拒绝
17、。小于则不拒绝。也可以直接读取也可以直接读取p值，若值，若p小于小于，则拒绝，则拒绝H0 大于则不拒绝。大于则不拒绝。023:.0kHBBBF分布,详见357页附录C.4；F分布表,详见388页表E-34.8 模型的显著性检验模型的显著性检验F 检验检验第二十一页，讲稿共三十页哦EViews 回归结果回归结果第二十二页，讲稿共三十页哦4.9 设定误差设定误差2321336.049 12.741385.7640(175.2725)(0.9123)(8.8019)(7.6226)(13.9653)(9.7437)(0.0000)(0.0000)(0.0000)32;0.8906;118.0585;
18、()0.0000iiiYXXsetpnRFp F 从回归结果中可以看出，从回归结果中可以看出，X2和和X3无论是无论是单独地单独地、还是、还是联合联合地地都对拍卖价格有重要影响。都对拍卖价格有重要影响。如果从模型中删除其中任何一个变量，都会导致模型的如果从模型中删除其中任何一个变量，都会导致模型的设定设定误差误差。第第7章章模型选择模型选择将详细讨论模型的设定误差。将详细讨论模型的设定误差。注：查F分布表可知，当分子自由度为2、分母自由度为29时，5%显著水平的F临界值约为3.32Y：拍卖价格；拍卖价格；X2：钟表年代；钟表年代；X3：竞标人数竞标人数 第二十三页，讲稿共三十页哦2321336
19、.049 12.741385.76400.8906;iiiYXXR 22191.6662 10.48560.5325;iiYXR 32807.9501 54.57240.1549;iiYXR区别：区别：这这3个回归方程的截距都不同；个回归方程的截距都不同；一元回归的斜率系数与二元回归的斜率系数不同；一元回归的斜率系数与二元回归的斜率系数不同；二元回归的二元回归的R2明显大于明显大于2个一元回归的个一元回归的R24.9 设定误差设定误差Y：拍卖价格；拍卖价格；X2：钟表年代；钟表年代；X3：竞标人数竞标人数 第二十四页，讲稿共三十页哦 由于自由度的原因，当增加回归模型的解释变量个数由于自由度的原
20、因，当增加回归模型的解释变量个数，判定系数，判定系数R2就会越大。就会越大。因此，如果两个回归模型的解释变量个数不同，直接比较它因此，如果两个回归模型的解释变量个数不同，直接比较它们的判定系数们的判定系数R2就如同拿苹果和橘子比。就如同拿苹果和橘子比。那么，为了判断各个多元回归模型拟合优度的大小，就那么，为了判断各个多元回归模型拟合优度的大小，就需要一根需要一根“统一的标尺统一的标尺”：校正的判定系数校正的判定系数 （adjusted R-squared）4.10 校正的判定系数校正的判定系数2R第二十五页，讲稿共三十页哦22/()111(1)/(1)RSSnknRRTSSnnk 性质：性质：
21、如果如果 ,则则 随着解释变量个数的增加，随着解释变量个数的增加，校正的判定系数校正的判定系数越来越小于越来越小于未校未校正的判定系数正的判定系数，这是对增加解释变量的，这是对增加解释变量的“惩罚惩罚”。虽然虽然未校正的判定系数未校正的判定系数总为正，但总为正，但校正的判定系数校正的判定系数 可能为可能为负负。22RR1k 推导过程见课本97页附录4A.34.10 校正的判定系数校正的判定系数第二十六页，讲稿共三十页哦EViews 回归结果回归结果第二十七页，讲稿共三十页哦4.11 何时增加新变量？何时增加新变量？在同时满足以下三个条件时，就可以增加新变量：在同时满足以下三个条件时，就可以增加新变量：1.校正的判定系数变大（拟合优度检验）；校正的判定系数变大（拟合优度检验）；2.各个参数分别显著（参数显著性检验）；各个参数分别显著（参数显著性检验）；3.各个参数联合显著（模型显著性检验）。各个参数联合显著（模型显著性检验）。第二十八页，讲稿共三十页哦第二十九页，讲稿共三十页哦第三十页，讲稿共三十页哦