《第三节多元线性回归模型的统计检验.ppt》由会员分享，可在线阅读，更多相关《第三节多元线性回归模型的统计检验.ppt（21页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第三节多元线性回归模型的统计检验现在学习的是第1页，共21页二、多元线性回归模型的矩阵表示 K-1 K-1 个解释变量的多元线性回归模型的个解释变量的多元线性回归模型的 个观测个观测样本，可表示为样本，可表示为 用矩阵表示用矩阵表示 1122133111.kkYXXXu2122233222.kkYXXXu12233.nnnkknnYXXXunY=X+u现在学习的是第2页，共21页二、多元线性回归中的基本假定 假定假定1 1：零均值假定零均值假定 或或 假定假定2 2和假定和假定3 3：同方差和无自相关假定：同方差和无自相关假定 假定假定4 4：随机扰动项与解释变量不相关：随机扰动项与解释变量不
2、相关 E()0(1,2,)iuin Cov(,)0 2,3,jiiXujkCov(,)E(-E)(-E)E()-:E(UU)ijiijjiju uuuuuuuu的方差 协方差阵用矩阵表示20()iji=j(E U)=0现在学习的是第3页，共21页假定假定5:5:无多重共线性假定无多重共线性假定 (多元中多元中)假定各解释变量之间不存在线性关系，或各个假定各解释变量之间不存在线性关系，或各个解释变量观测值之间线性无关。或解释变量观解释变量观测值之间线性无关。或解释变量观测值矩阵测值矩阵 列满秩列满秩(列列)。即即 可逆可逆假定假定6 6：正态性假定正态性假定X2(0,)iuNk()RankkX(
3、)RankKX XX X现在学习的是第4页，共21页三、多元线性回归模型的估计三、多元线性回归模型的估计1.1.普通最小二乘法普通最小二乘法（OLSOLS）最小二乘原则最小二乘原则 剩余平方和最小：剩余平方和最小：求偏导求偏导,令其为令其为0:0:22min(-)iiieY Y2212233min-(.)iiiikkieYXXX 2()0ije现在学习的是第5页，共21页 即即 注意到注意到12233-(.)iiikikiiYXXXe0ie 12233-2-(.)0 iiikikiYXXX12233-2-(.)0 kiiiikikiX YXXX212233-2-(.)0 iiiikikiX Y
4、XXX20i iX e 0ki iX e 现在学习的是第6页，共21页 用矩阵表示用矩阵表示 两边乘两边乘 有：有：因为因为 ，则正规方程为：，则正规方程为：XXe=021222221110001in2i ik1kknnki ieeXXXeX e=.XXXeX e X eX X=X YXY=XX+XeY=X+eXe 由正规方程由正规方程 -1=(XX)XY(),k k是满秩矩阵 其逆存在X XXX=XY现在学习的是第7页，共21页2、OLS估计式的性质 OLS估计式n 线性特征线性特征:是是 的线性函数，因的线性函数，因 是非随机或是非随机或取固定值的矩阵取固定值的矩阵n 无偏特性无偏特性:n
5、最小方差特性最小方差特性 在在 所有的线性无偏估计中，所有的线性无偏估计中，OLS估计估计 具有具有最小方差最小方差E()kk(-1X X)X-1=(X X)X YYkk现在学习的是第8页，共21页3、OLS估计的分布性质基本思想基本思想 是随机变量，必须确定其分布性质才可能进行区间估计和假设是随机变量，必须确定其分布性质才可能进行区间估计和假设检验检验 是服从正态分布的随机变量是服从正态分布的随机变量,决定了决定了 也是服从正态也是服从正态分布的随机变量分布的随机变量 是是 的线性函数，决定了的线性函数，决定了 也是服从正态分布的随机变量也是服从正态分布的随机变量iuiiYiiYi现在学习的
6、是第9页，共21页 的期望的期望 (由无偏性由无偏性)的方差和标准误差：的方差和标准误差：可以证明可以证明 的方差的方差-协方差矩阵为协方差矩阵为 这里这里是是 矩阵矩阵 中第中第 行第行第 列的元素列的元素2-1Var-Cov()()XXE()SE()jjj c2Var()jjj cjjc-1()X Xjj2(,)1,2,.,jjjj N cjk 故有：现在学习的是第10页，共21页 4、随机扰动项方差 的估计 多元回归中多元回归中 的无偏估计为：的无偏估计为：或表示为或表示为 将将 作标准化变换：作标准化变换：2k-(0,1)SE()kkkkkjjkzN c22-ien k2-n ke e
7、2现在学习的是第11页，共21页因因 是未知的，可用是未知的，可用 代替代替 去估计参数去估计参数 的标的标准误差准误差:当为大样本时，用估计的参数标准误差对当为大样本时，用估计的参数标准误差对 作标准化变换，作标准化变换，所得所得Z统计量仍可视为服从正态分布统计量仍可视为服从正态分布当为小样本时，用估计的参数标准误差对当为小样本时，用估计的参数标准误差对 作标准化变作标准化变换，所得的换，所得的t统计量服从统计量服从t分布：分布：22-(-)SE()kkktt n k2现在学习的是第12页，共21页5、回归系数的区间估计由于由于给定给定 ，查，查t分布表的自由度为分布表的自由度为 的临界值的
8、临界值或或:或表示为或表示为:*22-P-(-)(-)1-SE()jjjtn kttn k2(-)2(-)(-,)jjn kjjjn kjjt ct c22P-1-jjjjjjjt ct c22P-()()1-jjjjjtSE tSE()SE()jjjj*jjj-t=t n-kc2(-)tn k(1,.,)jknk现在学习的是第13页，共21页二、多元回归的拟合优度检验多重可决系数多重可决系数：在多元回归模型中，由各个解释变量联合：在多元回归模型中，由各个解释变量联合解释了的解释了的 的变差，在的变差，在 的总变差中占的比重，用的总变差中占的比重，用 表表示示与简单线性回归中可决系数与简单线性
9、回归中可决系数 的区别只是的区别只是 不同，多元不同，多元回归中回归中多重可决系数也可表示为多重可决系数也可表示为 22313iiikikY=+X+X+.+X22222(-)ESSTSS-RSS1-TSS(-)TSSiiiiY YeRYYyiY2R2RYY现在学习的是第14页，共21页可决系数的修正方法可决系数的修正方法2211TSS()nniiiiYYY 总变差总变差 自由度为自由度为 解释了的变差解释了的变差 自由度为自由度为 剩余平方和剩余平方和 自由度为自由度为 修正的可决系数为修正的可决系数为 222-11-1-1iiRSSennkRTSSn kyn22RSS(-)iiiYYe22E
10、SS(-)iiYYy1n-1k-n-k现在学习的是第15页，共21页 特点特点 可决系数可决系数 必定非负，但修正的可决系数必定非负，但修正的可决系数 可能为负值，这时规定可能为负值，这时规定 修正的可决系数修正的可决系数 与可决系数与可决系数 的关系：的关系：22-11-(1-)nRRn-k2R2R2R2R20R现在学习的是第16页，共21页 原假设原假设 备择假设备择假设 不全为不全为0 0 建立统计量建立统计量(可以证明可以证明):):给定显著性水平给定显著性水平 ，查，查F F分布表得临界值分布表得临界值 并通过样本观测值计算并通过样本观测值计算 值值三、假设检验（一）F检验检验FES
11、S(-1)F(-1,)RSS(-)kFkn-kn k(-1,-)F kn k1H:(12)j j=,.,k023H:0k=.=现在学习的是第17页，共21页如果如果 (小概率事件发生了小概率事件发生了)则拒绝则拒绝 ，说明回归模型有，说明回归模型有显著意义，即所有解释变量联合起来对显著意义，即所有解释变量联合起来对 有显著影响。有显著影响。如果如果 (大概率事件发生了大概率事件发生了)则接受则接受 ，说明回归模型，说明回归模型没有显著意义，即所有解释变量联合起来对没有显著意义，即所有解释变量联合起来对 没有显著影响。没有显著影响。(-1,-)FF kn k(-1,-)FF kn k023H:0
12、k=.=YY023H:0k=.=现在学习的是第18页，共21页（二）t 检验 目的：目的：在多元回归中，分别检验当其他解释变量保持不变时，各在多元回归中，分别检验当其他解释变量保持不变时，各个解释变量个解释变量 对被解释变量对被解释变量 是否有显著影响。是否有显著影响。方法：方法：原假设原假设 备择假设备择假设 统计量为：统计量为：*-(-)SE()jjjjjjtt n kc0H:0=1 2jj,.,k ,1H:0j X Y现在学习的是第19页，共21页t检验的方法检验的方法 给定显著性水平给定显著性水平 ，查自由度为，查自由度为 时时t分布表的临分布表的临界值为界值为 如果如果 就不拒绝就不
13、拒绝 而拒绝而拒绝 即认为即认为 所对应的解释变量所对应的解释变量 对应变量对应变量 的影响的影响不显著。不显著。*22-(-)(-)tn kttn k1H:0j 0H:0j 2(-)tn kjXjn-kY现在学习的是第20页，共21页 如果如果 就拒绝就拒绝 而不拒绝而不拒绝 即认为即认为 所对应的解释变量所对应的解释变量 对应变量对应变量 的影响的影响 是显著的。是显著的。在多元回归中，可分别对每个回归系数逐个地进在多元回归中，可分别对每个回归系数逐个地进 行行t检验。检验。注意注意:在一元回归中在一元回归中F检验与检验与t检验等价检验等价,且且 但在多元回归中但在多元回归中F检验与检验与t检验作用不同。检验作用不同。0H*22-(-)(-)ttn kttn k或jXj1H0j:Y现在学习的是第21页，共21页