(6.3.1)--多元回归模型.pdf-淘文阁

资源描述

《(6.3.1)--多元回归模型.pdf》由会员分享，可在线阅读，更多相关《(6.3.1)--多元回归模型.pdf（79页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、多元回归模型多元回归模型在消费收入这个例子中，我们无形中假定了只有收入影响着消费Y，二元回归并不符合现实。但是实际经济中，这只是一种简化，还有很多其他变量会影响着消费支出，例如消费者的财富。这样，我们要加入更多的变量到回归模型中去。政策分析中，加州数据集中，尽管生师比越低，学生成绩越高，但也有可能小班级的学生还有来自其它方面的提高学业表现的优势。遗漏因素(omitted factors)，如学生特征，使最小二乘估计量估计的效果不精确。这就是省略变量偏误。故而需要引入更多变量作为控制变量，讨论在其他情况不变下，班级规模与学生成绩的关系。1.遗漏变量偏误遗漏变量偏误(Omitted Variab

2、le Bias,OVB)由于遗漏了因素，使最小二乘估计量有偏，称为遗漏变量偏误。遗漏变量Z满足：影响Y与解释变量X具有相关性莫扎特效应：给孩子们每天听10-15分钟音乐，可以暂时性地提高IQ，8-9分。2.多元回归多元回归(Multiple Regression Model)案例分析：加州测试分数数据集 use caschool.dta,clear reg testscr str el_pct,vce(robust).reg testscr str el_pct,vce(robust)Linear regression Number of obs=420F(2,417)=223.82Prob

4、关系64国家死亡率.dta发现什么规律？当人均当人均GDPGDP增增大时，死亡率大时，死亡率逐渐变小，可逐渐变小，可能接近一个渐能接近一个渐进值。进值。如果我们建立以下回归模型：可以满足上述散点图描绘的趋势。对上述方程进行回归，如何回归呢？把视为一个变量，便可以进行线性回归了。回归的结果：121()iiiCMuPGNP=+1iPGNP1iPGNP1iPGNP回归方程为：181.79427273.165()iiCMPGNP=+随着人均GNP无限增加，儿童死亡率趋近于其渐进值，每千人中死亡82人。儿童死亡率的多元回归现在我们引入由妇女识字率（FLR）度量的妇女识字率。根据经验，我们知道妇女识字率

5、对儿童死亡率CM应该有负向影响。同时引入两个变量之后，我们就需要估计每个回归元的偏回归系数。于是我们的回归模型变为：123iiiiCMPGNPFLRu=+我们得出结果如下：22263.6420.0062.232(22.741)(2.819)(10.219)0.708,0.698,73.833iiiCMPGNPFLRRRF=其中，括号内的值为t检验值，为判决系数，为调整后的判决系数，表明CM能由回归变量解释所占的比例，F检验值表明方程总体呈现线性的显著性。2R2R 对结果的解释：对结果的解释：-0.006是PGNP的偏回归系数，它告诉我们，保持妇女识字率（FLR）不变的情况下，PGNP提高1美元

6、，儿童死亡率平均下降0.006个单位。或者为了更于理解，若人均GNP提高1000美元，每1000名婴儿中不足5岁便死亡的儿童数平均下降约6个人。系数-2.232表明，保持PGNP影响不变，妇女识字率每提高一个百分点，每千名婴儿中不足5岁便死亡的儿童数平均减少约为2.23人。约为0.71的R2值意味着，儿童死亡率变异中约有70可有PGNP和FLR来解释。R2最高为1，可以看出这个值已经较高了。如何估计系数，最小二乘法。3.多元回归方程多元回归方程OLS估计量的均值和方差估计量的均值和方差对系数估计的另一角度理解这里，j=1,2,3,k，代表解释变量个数4.拟合优度检验（1 1）决定系数与调整的判

7、决系数）决定系数与调整的判决系数TSSRSSTSSESSR=12该统计量越接近于1，模型的拟合优度越高。问题：问题：在应用过程中发现，如果在模型中增加一个解释变量，R2往往增大（Why?)这就给人一个错觉一个错觉：要使得模型拟合得好，只要增加解释变量即可。但是，现实情况往往是，由增加解释变量个数引起的R2的增大与拟合好坏无关，R2需调整需调整。调整的判定系数调整的判定系数（adjusted coefficient of determination）在样本容量一定的情况下，增加解释变量必定使得自由度减少，所以调整的思路是:将残差平方和将残差平方和与总离差平方和分别除以各自的自由度，以剔除与总离差

8、平方和分别除以各自的自由度，以剔除变量个数对拟合优度的影响变量个数对拟合优度的影响:)1/()1/(12=nTSSknRSSR其中：n-k-1为残差平方和的自由度，n-1为总体平方和的自由度。（2 2）赤池信息准则和施瓦茨准则）赤池信息准则和施瓦茨准则为了比较所含解释变量个数不同的多元回归模型的拟合优度，常用的标准还有:赤池信息准则（Akaike information criterion,AIC）nknAIC)1(2ln+=ee施瓦茨准则（Schwarz criterion，SC）nnknAClnln+=ee这两准则均要求仅当所增加的解释变量能够减少AIC值或SC值时才在原模型中增加该解释变

9、量。5.5.方程的显著性检验方程的显著性检验(F(F检验检验)方程的显著性检验，旨在对模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立作出推断。即检验模型Yi=0+1X1i+2X2i+kXki+ii=1,2,n中的参数j是否显著不为0。可提出如下原假设与备择假设：H0：0=1=2=k=0H1：j不全为0F检验的思想来自于总离差平方和的分解式：TSS=ESS+RSS由于回归平方和=2iyESS是解释变量X的联合体对被解释变量 Y 的线性作用的结果，考虑比值 =22/iieyRSSESS如果这个比值较大，则X的联合体对Y的解释程度高，可认为总体存在线性关系，反之总体上可能不存在线性关系

10、。根据数理统计学中的知识，在原假设H0成立的条件下，统计量)1/(/=knRSSkESSF服从自由度为(k,n-k-1)的F分布给定显著性水平，可得到临界值F(k,n-k-1)，由样本求出统计量F F的数值，通过F F(k,n-k-1)或 FF(k,n-k-1)来拒绝或接受原假设H0，以判定原方程总体上总体上的线性关系是否显著成立。6.6.变量的显著性检验（变量的显著性检验（t t检验）检验）方程的总体线性关系显著每个解释变量对被解释变量的影响都是显著的因此，必须对每个解释变量进行显著性检验，以决定是否作为解释变量被保留在模型中。这一检验是由对变量的这一检验是由对变量的 t t 检验完成的。检

11、验完成的。（1 1）t t统计量统计量（2 2）t t检验检验设计原假设与备择假设：H1：i0给定显著性水平，可得到临界值t/2(n-k-1)，由样本求出统计量t的数值，通过|t|t/2(n-k-1)或|t|t/2(n-k-1)来拒绝或接受原假设H0，从而判定对应的解释变量是否应包括在模型中。H0：i=0（i=1,2k）7.7.参数的置信区间参数的置信区间参数的置信区间用来考察：在一次抽样中所估计的参数值离参数的真实值有多“近”。在变量的显著性检验中已经知道：在变量的显著性检验中已经知道：容易推出容易推出：在(1-)的置信水平下i的置信区间是(,)iitstsii+22其中，t/2为显著性水平

12、为、自由度为n-k-1的临界值。如何才能缩小置信区间？如何才能缩小置信区间？例2 解释逮捕记录 CRIME1.RAW,2725名男性在加州1986年的逮捕次数。narr86:1986年逮捕次数，pcnv:逮捕的比率，avgsen:平均判刑长度，ptime86：在监狱所呆月数，qemp86：被雇佣的季节数量（1-4）regress narr86 pcnv avgsen ptime86 qemp86 _cons .7067565 .0331515 21.32 0.000 .6417519 .771761 qemp86 -.103341 .0103965 -9.94 0.000 -.1237268

13、-.0829552 ptime86 -.0373908 .0087941 -4.25 0.000 -.0546345 -.0201471 avgsen .0074431 .0047338 1.57 0.116 -.0018392 .0167254 pcnv -.1508319 .0408583 -3.69 0.000 -.2309484 -.0707154 narr86 Coef.Std.Err.t P|t|95%Conf.Interval Total 2010.34716 2724 .738012906 Root MSE =.84138 Adj R-squared=0.0408 Residu

14、al 1925.52287 2720 .707912819 R-squared =0.0422 Model 84.8242895 4 21.2060724 Prob F =0.0000 F(4,2720)=29.96 Source SS df MS Number of obs=2725如果增加逮捕比率0.5，逮捕次数下降0.15*0.5=0.075，其他因素不变时，或100个男性中的逮捕次数下降7.5人；如果在监狱呆的月数从0增加到12个月，逮捕次数下降0.037*12=0.444;每多工作一个季度，逮捕次数下降0.103，意味着100个男性中，会有10.3人被逮捕；平均判刑长度增加，增加了逮

15、捕次数？（犯罪行为反而增加？）=8.8.具有虚拟变量的多元回归具有虚拟变量的多元回归在研究某一个因变量的时候，解释变量中除了定量变量，还经常希望包含进一些定性变量，例如性别、种族、宗教、民族、婚姻状况、教育程度等。这些定性变量也可以称为指示变量、二元变量或分类变量。建立定性变量，赋值为0或1。一般地，如果定性变量有m类，则要设置m-1个虚拟变量。否则不再是列满秩（有一个方程多余）。例：美国工资差别为了了解工作妇女是否受到了歧视，我们用美国统计局的“当前人口调查”中的截面数据研究男女工资是否有差别。这项多元回归分析研究所用到的变量有：W-雇员的工资率（美元小时）Ed-受教育的年限 Age-

16、雇员的年龄10 Sex=；若雇员为妇女；其他但是我们想分析男女工资是否有差别。将sex作为自变量，工资因变量，进行线性回归。数据:雇员工资.dta1,0 nonwh=若雇员不是西班牙裔也不是白人，其他1,0 hisp=若雇员是西班牙裔，其他那么年龄age、教育年限ed及种族或民族对工资是否有差异呢？将这些变量作为控制变量加入回归方程进行分析。结果发现性别变量依然是显著的。雇员工资.dta20.641 2.760.990.121.060.24(3.38)(4.61)(8.54)(4.63)(1.07)0.36723.2sexedagenonwhhispWtRF+=.reg w sex ed

18、61 0.000 -3.941426 -1.581372edu|.9925644 .1161577 8.54 0.000 .7635134 1.221615age|.1167094 .0252266 4.63 0.000 .0669652 .1664536nonwh|-1.060824 .9868478 -1.07 0.284 -3.006785 .8851376hisp|.2386822 1.069428 0.22 0.824 -1.870119 2.347483_cons|-6.409052 1.895795 -3.38 0.001 -10.14736 -2.670741-若工人为女性，则

19、平均而言，相对于男性其工资会低2.761美元/小时。给例2的逮捕次数，增加种族因素，尝试分析一下。_cons .5848454 .0359875 16.25 0.000 .5142798 .6554111 hispan .2030002 .0397959 5.10 0.000 .124967 .2810334 black .3379116 .0454962 7.43 0.000 .248701 .4271221 qemp86 -.0948079 .0103787 -9.13 0.000 -.1151589 -.0744569 ptime86 -.0410801 .0087099 -4.72 0

20、.000 -.0581587 -.0240014 avgsen .0037499 .0047038 0.80 0.425 -.0054736 .0129733 pcnv -.1302674 .0404823 -3.22 0.001 -.2096466 -.0508882 narr86 Coef.Std.Err.t P|t|95%Conf.Interval Total 2010.34716 2724 .738012906 Root MSE =.83147 Adj R-squared=0.0632 Residual 1879.08318 2718 .691347748 R-squared =0.0

21、653 Model 131.263976 6 21.8773294 Prob F =0.0000 F(6,2718)=31.64 Source SS df MS Number of obs=2725.reg narr86 pcnv avgsen ptime86 qemp86 black hispan若是黑人，则逮捕次数增加0.3379次。use Nations2.dta,clear 生成虚拟变量 tab region,gen(reg)describe reg*storage display valuevariable name type format label variable label-

22、region byte%8.0g region Regionreg1 byte%8.0g region=Africareg2 byte%8.0g region=Americasreg3 byte%8.0g region=Asiareg4 byte%8.0g region=Europereg5 byte%8.0g region=Oceania 给非洲这个区域虚拟变量打标签 label define reg1 0 others 1 Africa“label values reg1 reg1 tabulate reg1 region.tabulate reg1 regionregion=Af|Reg

23、ionrica|Africa Americas Asia Europe Oceania|Total-+-+-0|0 35 49 43 15|142 1|52 0 0 0 0|52-+-+-Total|52 35 49 43 15|194 比较非洲和其他区域平均预期寿命 ttest life,by(reg1).ttest life,by(reg1)Two-sample t test with equal variances-Group|Obs Mean Std.Err.Std.Dev.95%Conf.Interval-+-0|142 73.21115 .5068244 6.03951 72.20

24、919 74.213111|52 56.49038 1.185937 8.551912 54.10952 58.87125-+-combined|194 68.7293 .7219359 10.0554 67.3054 70.15319-+-diff|16.72077 1.101891 14.5474 18.89413-diff=mean(0)-mean(1)t=15.1746Ho:diff=0 degrees of freedom=192Ha:diff 0Pr(T|t|)=0.0000 Pr(T t)=0.0000 我们引入这些虚拟变量做回归，注意需要一个参注意需要一个参考组考组，否则出现完

25、美多重共线性!gen loggdp=ln(gdp)regress life reg1 reg2 reg3 reg4 loggdp chldmort.regress life reg1 reg2 reg3 reg4 loggdp chldmortSource|SS df MS Number of obs=178-+-F(6,171)=233.00Model|15715.8742 6 2619.31236 Prob F =0.0000Residual|1922.31562 171 11.2416118 R-squared =0.8910-+-Adj R-squared=0.8872Total|17

26、638.1898 177 99.6507898 Root MSE =3.3529-life|Coef.Std.Err.t P|t|95%Conf.Interval-+-reg1|-2.150794 1.211918 -1.77 0.078 -4.543042 .2414525reg2|1.486722 1.176501 1.26 0.208 -.8356128 3.809057reg3|.9838331 1.129945 0.87 0.385 -1.246603 3.214269reg4|1.455465 1.199846 1.21 0.227 -.9129515 3.823882loggdp

27、|1.406882 .3188952 4.41 0.000 .7774043 2.036361chldmort|-.1270253 .0086971 -14.61 0.000 -.1441928 -.1098578_cons|62.16206 3.10137 20.04 0.000 56.04016 68.28396-扔掉reg3,reg1显著了。R2也更大，更简单模型！regress life reg1 reg2 reg4 loggdp chldmort.regress life reg1 reg2 reg4 loggdp chldmortSource|SS df MS Number of

29、0923 .7419319 0.93 0.352 -.7723716 2.156556reg4|.6487658 .7618415 0.85 0.396 -.8549968 2.152528loggdp|1.421856 .3182072 4.47 0.000 .793762 2.04995chldmort|-.1269767 .0086908 -14.61 0.000 -.1441311 -.1098224_cons|62.82061 3.00561 20.90 0.000 56.88798 68.75324-继续扔掉reg4，reg2，所有解释变量在0.01水平上显著，且调整后R2=0.8

30、879，模型更加简化、更好！regress life reg1 loggdp chldmort.regress life reg1 loggdp chldmortSource|SS df MS Number of obs=178-+-F(3,174)=468.34Model|15694.5388 3 5231.51292 Prob F =0.0000Residual|1943.65103 174 11.1704082 R-squared =0.8898-+-Adj R-squared=0.8879Total|17638.1898 177 99.6507898 Root MSE =3.3422-

34、 -.1441928 -.1098578_cons|60.01126 3.093892 19.40 0.000 53.90412 66.1184-若想更改基准组非洲为大洋洲使用ib#.region,或ib(last).region.regress life ib5.region loggdp chldmortSource|SS df MS Number of obs=178-+-F(6,171)=233.00Model|15715.8742 6 2619.31236 Prob F =0.0000Residual|1922.31562 171 11.2416118 R-squared =0.8

36、5465 1.199846 1.21 0.227 -.9129515 3.823882|loggdp|1.406882 .3188952 4.41 0.000 .7774043 2.036361chldmort|-.1270253 .0086971 -14.61 0.000 -.1441928 -.1098578_cons|62.16206 3.10137 20.04 0.000 56.04016 68.28396-9.解释变量间的交互作用英语学习者与生师比以这样的方式交互：生师比1单位变化对于分数的影响将依赖于英语学习者的比例。在多元回归模型中如何引入交互项。三种情形：两个二分类变量交互；

37、一个二分类，一个连续性；两个都是连续性变量。(1)两个二元结果变量的交互(between two binary variables)Yi=0+1D1i+2D2i+ui D1i,D2i是二分类变量1是从D1=0 到D1=1变化产生的影响，这一影响不依赖于D2的值。引入交互项：Yi=0+1D1i+2D2i+3(D1iD2i)+ui 这时，D1 变化对因变量产生的影响将依赖于 D2 Yi=0+1D1i+2D2i+3(D1iD2i)+ui 如何解释系数？一般规则：比较不同情形 E(Yi|D1i=0,D2i=d2)=0+2d2(b)E(Yi|D1i=1,D2i=d2)=0+1+2d2+3d2(a)用(a

38、)(b):E(Yi|D1i=1,D2i=d2)E(Yi|D1i=0,D2i=d2)=1+3d2 若d2=0,1为D1 变动的增量；若d2=1，1+3为D1变动的增量。交互项系数3是d2取1vs0时，D1变动对Y影响的差异。例，有无大学学历对收入在男女之间的影响。案例：生师比对于成绩影响假定：当HiEL=0，HiSTR影响是 1.9，若英语学习者比例低时，班级规模从0(低)移动到1(高)时，测试分数下降1.9点。当HiEL=1时，HiSTR的影响是 1.9 3.5=5.4，当英语学习者百分比很大时，班级规模从0(低)移动到1(高)时，测试分数下降5.4点。但交互项不显著。t=3.5/3.1，画

39、图变量间的交互作用.doHiSTR=1 if 200 if 20STRSTR ,HiEL=1 if l00 if 10PctELPctEL=10)tScore=682.2 0.97STR+5.6HiEL 1.28(STR HiEL)(11.9)(0.59)(19.5)(0.97)When HiEL=0:TestScore=682.2 0.97STR When HiEL=1,TestScore=682.2 0.97STR+5.6 1.28STR =687.8 2.25STR 当英语学习者比例大时，缩减班级规模具有更大的效应（2.25）。(3)两个连续性变量的交互(Interactions bet

40、ween two continuous variables)Yi=0+1X1i+2X2i+ui X1,X2是连续型的考虑到X1的影响可能依赖于X2，引入交互项X1iX2i作为回归元:Yi=0+1X1i+2X2i+3(X1iX2i)+ui 连续型变量交互项系数解释：Yi=0+1X1i+2X2i+3(X1iX2i)+ui 总原则：比较不同情形 Y=0+1X1+2X2+3(X1X2)(b)改变X1:Y+Y=0+1(X1+X1)+2X2+3(X1+X1)X2(a)用(a)(b)Y=1X1+3X2X1 案例：TestScore,STR,PctELtScore=686.3 1.12STR 0.67Pct

41、EL+.0012(STR PctE (11.8)(0.59)(0.37)(0.019)缩减班级规模的估计影响是非线性的，因为影响大小依赖于PctEL:TestScoreSTR=1.12+.0012PctEL PctEL TestScoreSTR 0 1.12 20%1.12+.0012 20=1.10 案例分析：教育的回报及性别差异(连续性变量和二元结果变量的交互)use ch8_cps.dta,clearFemale1 If Female;0 If MaleAgeAge(In Years)AheAverage Hourly Earnings In 2004YrseducYears Of Ed

42、ucationNortheast1 If From The Northeast,0 OtherwiseMidwest1 If From The Midwest,0 OtherwiseSouth1 If From The South,0 OtherwiseWest1 If From The West,0 OtherwiseReturn to education.doThe Return To Education And Gender Gap In UsStandard errors in parentheses,*p 0.10,*p 0.05,*p 0.01(1)(2)(3)(4)lahelah

43、elahelaheyrseduc0.1035*0.1050*0.1001*0.1032*(0.0009)(0.0009)(0.0011)(0.0012)female-0.2631*-0.4320*-0.4513*(0.0044)(0.0243)(0.0242)fem_yrse0.0121*0.0134*(0.0017)(0.0017)pexp0.0143*(0.0012)pexp_2-0.0002*(0.0000)midwest-0.0948*(0.0065)south-0.0918*(0.0062)west-0.0231*(0.0066)_cons1.5331*1.6286*1.6973*1

44、.5031*(0.0124)(0.0121)(0.0159)(0.0234)N52790527905279052790r2_a0.20800.25770.25840.2673r20.20800.25770.25840.2674当为女性时，教育年限每增加1年，收入增加：0.0134+0.1032=0.1166；女性比男性的教育回报高0.0134，且显著。男女教育回报的差异男性的教育回报22.533.54Linear Prediction67891011121314151617181920yrseducfemale=0female=1Adjusted Predictions of female w

45、ith 95%CIsreg lahe i.female c.yrseduc i.female#c.yrseduc pexp pexp_2 midwest south west,robustmargins female,at(yrseduc=(6(1)20)atmeansmarginsplot画图显示斜率差异10.时间序列数据的回归分析 1.静态模型（static models）菲利普斯曲线失业率和通货膨胀关系，系数为正，没有负相关万人谋杀起数谋杀定罪率年轻男性的人口比例 2.有限分布滞后模型（finite distributed lag(FDL)model）如：引入影响因变量的若干自变量的滞后

47、361 1.719015 0.83 0.412 -2.034602 4.881822-案例2：免税对于生育率的影响数据：FERTIL3.dta.reg gfr pe ww2 pillSource|SS df MS Number of obs=72-+-F(3,68)=20.38Model|13183.6215 3 4394.54049 Prob F =0.0000Residual|14664.2739 68 215.651087 R-squared =0.4734-+-Adj R-squared=0.4502Total|27847.8954 71 392.223879 Root MSE =14

49、明后以后时间为1 税收减免增加12美元，将增加1个孩子的数量!加入pe的2阶滞后自变量.reg gfr pe pe_1 pe_2 ww2 pillSource|SS df MS Number of obs=70-+-F(5,64)=12.73Model|12959.7886 5 2591.95772 Prob F =0.0000Residual|13032.6443 64 203.635067 R-squared =0.4986-+-Adj R-squared=0.4594Total|25992.4329 69 376.701926 Root MSE =14.27-gfr|Coef.Std.E

50、rr.t P|t|95%Conf.Interval-+-pe|.0726718 .1255331 0.58 0.565 -.1781094 .323453pe_1|-.0057796 .1556629 -0.04 0.970 -.316752 .3051929pe_2|.0338268 .1262574 0.27 0.790 -.2184013 .286055ww2|-22.1265 10.73197 -2.06 0.043 -43.56608 -.6869196pill|-31.30499 3.981559 -7.86 0.000 -39.25907 -23.35091_cons|95.87

展开阅读全文