《第四章--经典线性回归模型高级计量经济学清华大学-潘文清优秀PPT.ppt》由会员分享，可在线阅读，更多相关《第四章--经典线性回归模型高级计量经济学清华大学-潘文清优秀PPT.ppt（53页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第四章第四章 经典线性回来模型经典线性回来模型(I)Classical Linear Regression Model(I)4.1 经经典典线线性回来模型性回来模型Classical Linear Regression Models一、经典回来模型一、经典回来模型 Classical Regression Model 假设随机抽取一容量为n的样本(Yi,Xi),i=1,n，其中，Yi是标量，Xi=(1,X1i,X2i,Xki)，或 经典回来模型(classical regression model)建立在如下假设之上：假设假设1 1(linearity):Yi=0+1X1i+kXki+i =X
2、i+i (i=1,2,n)或 Y=X+其中，=(0,1,k),=(1,2,n)留意：留意：这里的线性性指这里的线性性指Y关于参数关于参数是线性的。是线性的。假设假设2 2（strict Exogeneity）:E(i|X)=E(i|X1,X2,Xn)=0,(i=1,2,n)留意：留意：(1)由由E(i|X)=0 易推出：易推出：E()=0,E(Xji)=0 或有：或有：Cov(Xj,i)=0 (i,j=1,2,n)(2)由于可以有由于可以有ji,或或ji,意味着意味着i既不依靠过去的既不依靠过去的X，也不依靠于将来的，也不依靠于将来的X。因此解除了动态模型。因此解除了动态模型。例：对例：对AR
3、(1)模型：模型：Yi=0+1Yi-1+i=Xi+i这里这里Xi=(1,Yi-1)，明显，明显E(Xii)=E(Xi)E(i)=0，但，但E(Xi+1i)0。因此，。因此，E(i|X)0 (3)计量经济学中，关于严特别生性有其他的定义。如定义为i独立于X，或X是非随机的。这确定义解除了条件异方差性。而我们这里的假设2是允许存在条件异方差性的。假如X是非随机的，则假设2变成 E(i|X)=E(i)=0 (4)假设假设2 2的向量形式：E(|X)=0留意：留意：(1)本假设解除了说明变量间的多重共线性本假设解除了说明变量间的多重共线性(multicollinearity)(2)本假设意味着本假设意
4、味着XX是非奇异的，或者说是非奇异的，或者说X必需满必需满秩于秩于k+1。因此应有。因此应有k+1n。(3)由于由于表述了矩阵表述了矩阵XX的相关信息，因此本假的相关信息，因此本假设意味着当设意味着当n时应有新信息进入时应有新信息进入X，即，即Xi不能老不能老是重复相同的值。是重复相同的值。假设假设4 4（Spherical error variance）(a)conditional homoskedasticity:E(i2|X)=20,i=1,2,n (b)conditional serial uncorrelatedness:E(ij|X)=0,i,j=1,2,n 留意：留意：(1)假设
5、假设4可写成可写成 E(ij|X)=2ij,其中，其中，i=j时，时，ij=1；ij时，时，ij=0 矩阵形式：矩阵形式：E()=2I (3)假设假设4 4意味着存在非条件同方差性同方差性：var(i)=2类似地，Cov(i,j)=0 (2)由假设假设2 2，Var(i|X)=E(i2|X)-E(i|X)2=E(i|X)=2同理，Cov(i,j|X)=E(ij|X)=0 (4)假设4并不意味着i与X是独立的。它充许i的条件高阶矩（如：偏度、峰度）可依靠于X。二、参数二、参数 的估计估计 Estimation of 由假设假设1 1与假设假设2 2知：E(Y|X)=0+1X1+kXk=X 其中，
6、X=(1,X1,Xk)即线性模型Y=X+关于E(Y|X)正确设定。因此，其最佳线性最小二乘近似解最佳线性最小二乘近似解(beat linear LS approximation coefficient)*等于参数的真实值 0。即，min E(Y-X)2 的解为 *=0=E(XX)-1E(XY)由类比法，对样本回来模型 Yi=Xib+ei i=1,2,n其中，Xi=(1,X1i,Xki),b=(b0,b1,bk)需求解极值问题 min(1/n)(ei)2 上述问题相当于求解残差平方和(sum of squared residuals,SSR)的微小值 min SSR(b)=ei2=(Yi-Xib
7、)2=ee=(Y-Xb)(Y-Xb)其中，e=(e1,e2,en)在假设假设3 3下，解为：b=(XX)-1(XY)该方法称为一般最小二乘法(ordinary Least Squares)(1)1阶偏导：SSR/b=-2X(Y-Xb)2阶偏导：2SSR/2b=2XX 由min(XX)0 知2XX0,从而b=(XX)-1(XY)是最小值(2)由1阶极值条件可以得到所谓正规方程正规方程(normal equations):X(Y-Xb)=Xe=0 正规方程正规方程是OLS所特有的，而不论是否有E(i|X)=0留意：留意：一些有用的等式一些有用的等式 (1)Xe=0 (2)b-=(XX)-1X 因为
8、 b=(XX)-1XY=(XX)-1X(X+)=+(XX)-1X (3)定义nn方阵：P=X(XX)-1X,M=In-P则 P=P，M=M P2=P，M2=M且 PX=X,MX=On(k+1)(4)e=MY=M SSR(b)=ee=YMY=M 三、高斯三、高斯-马尔科夫定理马尔科夫定理Gauss-Markov TheoremQuestion:OLS估计量的统计性质如何估计量的统计性质如何？(1)Unbiaseness E(b|X)=,E(b)=E(b|X)=E(+(XX)-1X)|X=+(XX)-1XE(|X)=(2)Vanishing Variance Var(b|X)=E(b-)(b-)|
9、X =E(XX)-1XX(XX)-1|X =(XX)-1E(|X)=(XX)-12I =2(XX)-1 b中第i个元素的方差：Var(bi)=2cii,cii为(XX)-1中主对角线第i个元素。对任何其元素平方和为1的(k+1)1向量,=1 Var(b|X)=2(XX)-1 2max(XX)-1 =2min(XX)-1 留意：留意：Var(b|X)0还可通过还可通过Chebycheff不等式来证明：不等式来证明：对对b中的第中的第i个元素：个元素：P|bi-i|=0 for all 0由于 b-=(XX)-1X E(e|X)=E(M|X)=ME(|X)=0故 Cov(b,e|X)=E(XX)-
10、1X e|X =E(XX)-1XM|X =(XX)-1XE(|X)M =2(XX)-1XM =On n(3)Orthogonality between e and b Cov(b,e|X)=E(b-)(e-E(e)|X(4)Gauss-Markov theorem In the CR model,the LS coefficient vector b is the minimum variance linear unbiased estimator of parameter vector .E(b*|X)=EC(X+)|X=CX+CE(|X)=CX b*是无偏的当且仅当CX=I于是 b*=CY
11、=C(X+)=CX+C=+C b*-=C 则 Var(b*|X)=E(b*-)(b*-)|X=ECC|X =CE(|X)C=C2IC=2CC于是 Var(b*)-Var(b)=2CC-2(XX)-1 =2CC-CX(XX)-1XC =2CI-X(XX)-1XC=2CMC =2CMMC=2(MC)(MC)=2DD=positive semi-definite 设b*是另一线性无偏估计：b*=CY其中，C=C(X)为一n(k+1)只依靠于X的矩阵。只需证明 Var(b*)-Var(b)是半正定的 (1)Gauss-Markov 定理表明OLS估计量b是的最佳线性无偏估计量(best linear
12、unbiased estimator,BLUE)；(2)由性质(1)与性质(2)还可得出，OLS估计量b依均方收敛于，因此依概率收敛于，从而是的一样估计量。(3)由性质(1)与性质(2)知：MSE(b|X)=E(b-)(b-)|X)=Var(b|X)+bias(b|X)2 0 (n)留意：留意：四、估计四、估计 2及及Var(b)Estimation of 2 and Var(b)由于2未知，而Var(b)中也有2，故需估计。由假设假设4 4，E(i2|X)=2，故可用E(ei2|X)来估计2。E(ei2|X)=E(ee|X)=E(M|X)=E(ijmijij|X)=ijmijE(ij|X)=
13、2imii=2trace(M)而 trace(M)=trace(In-P)=trace(In)-traceX(XX)-1X =n-trace(XX)-1XX=n-trace(XX)-1XX =n-(k+1)于是 E(ei2|X)=E(ee|X)=2(n-k-1)记s2=ei2/(n-k-1)=ee/(n-k-1)，则s2为2的无偏估计量五、估计条件期望及预料五、估计条件期望及预料 Estimation of conditional Expectation,and Prediction 1 1、估计条件期望、估计条件期望 2 2、Y Y个值的预料个值的预料六、测度拟合优度六、测度拟合优度 Mea
14、suring Goodness of FitRuc2为非中心化多元相关系数的平方非中心化多元相关系数的平方(Uncentered squared multi-correlation coefficient)Question:How well does the linear regression model fit the data?That is,how well does the linear regression model explain the variation of the observed data?留意：留意：(1)0 Ruc21 (2)Ruc2 的含义：的含义：Y的变更中可以
15、由的变更中可以由X的变更说明的变更说明的部分所占的比重的部分所占的比重 称为Y的方差分解式方差分解式(analysis of variance)：观测值的离差平方和(SST)等于拟合值的离差平方和(SSE)加残差的平方(SSR):SST=SSE+SSR(3)R2是说明变量数目Xi的非递减函数。Proof:记 Yi=Xi+ui (i)对应 R2 Yi=Xi+vi (ii)对应R+2其中，Xi=(1,X1i,Xki),Xi+=(1,X1i,Xki,Xk+q,i)求解min SSR()可看成在k+1=k+q=0的约束下求解min SSR(+)。有约束的(i)的残差平方和不会小于无约束的(ii)的残差
16、平方和：e+e+ee 为避开将无说明力的说明变量纳入到X中去，引入调整的确定系数(adjusted coefficient of determination):(4)确定系数仅是对样本回来线拟合样本数据的程度赐予描述。而CR模型并不要求R2要有多高，CR模型关切的是对总体回来参数的估计与检验。(5)有两个常用的判别是否有必要引入额外说明变量的准则（在变量数目与模型简洁性间权衡）：贝叶斯信息准则贝叶斯信息准则(Baysian information criterion,BIC)施瓦茨准则施瓦茨准则（Schwarz criterion，SC）BIC=lnee/n+(k+1)ln(n)/n赤池信息准
17、则赤池信息准则(Akaike information criterion,AIC)AIC=lnee/n+2(k+1)/n =goodness of fit+model complexity 贝叶斯信息准则对多引入多余的说明变量给出贝叶斯信息准则对多引入多余的说明变量给出了更重的惩处。了更重的惩处。4.2 经经典正典正态态回来回来一、经典正态回来模型一、经典正态回来模型Classical Normal Regression Model 为了找寻有限样本下b的抽样分布以及对其对的代表性进行检验，须要对随机扰动项给出进一步的假设：假设假设5.|XN(0,2I)于是，Y=X+称为经典正态回来模型(cl
18、assical normal regression model,CNR model)它并不依靠于X，即独立于X。(ii)有假设(5)意味着就有假设(2)与假设(4)留意：留意：二、抽样分布二、抽样分布 Sampling DistributionQuestion:What is the sampling distribution of b?引理3.4.1:多元正态分布向量的线性函数呈多元正态分布:假如z=g+Hy，这里g与H为非随机变量，且H是行满秩的，则 zN(g+H,HH)其中，=E(y),=Var(y)引理引理3.4.2:设n1向量uN(0,In)，M为nn幂等矩阵，rank(M)=rn。
19、记w=uMu,则w2(r)Proof:由于 b=+(XX)-1X 记 HKn=(XX)-1X，则 rank(H)=rank(X)=rank(X)=K=k+1 又|XN(0,2I)，则由引理引理b|XN+(XX)-1XE(|X),(XX)-1XVar(|X)X(XX)-1或 bN(,2(XX)-1)Theorem 1 Normality of b:在假设1、3、5下，b|XN(,2(XX)-1)推论：推论：bj为b的第j个元素，则bjN(j,2cjj)proof:正态分布的线性组合为正态分布：E(Rb|X)=RE(b|X)=(R)J1 Var(Rb|X)=RVar(b|X)R=2R(XX)-1R
20、Theorem 2 Normality of Rb:在假设1、3、5下，对任何非随机行满秩矩阵RJK，有 Rb|XN(R,2R(XX)-1R)Theorem 3:在假设1、3、5下，(i)(n-K)s2/2|X=ee/2|X2(n-K)(ii)s2与b相互独立。进一步关切与进一步关切与s2s2有关的分布形式：有关的分布形式：(1)由于ee=M，而|XN(0,2In),则 (1/)|XN(0,In)由于 rank(M)=trace(M)=n-K 由引理引理 (/)M(/)2(n-K)于是 ee/2=(n-K)s2/22(n-K)(2)s2是e的函数，而e与b相互独立，从而s2与b相互独立。留意：
21、留意：(1)(i)意味着意味着 E(n-K)s2/2|X=n-K=n-k-1 因此因此 E(s2|X)=2proof:(3)(i)与(ii)意味着 MSE(s2|X)=E(s2-2)2|X =Var(s2|X)+E(s2|X)-22 =Variance+biase 0因此，s2是2的最优估计。(2)(i)意味着 Var(n-K)s2/2|X=2(n-K)即 (n-K)2/4Var(s2|X)=2(n-K)Var(s2|X)=22/(n-K)0,n表明s2|X依均方收敛，从而依概率收敛于2。再次表明s2是2的一样估计量。三、置信区间三、置信区间 Confidence Interval2未知时bj
22、的置信区间置信区间 2往往未知，可用s2替代。这时小样本下，b的分布已不再是正态分布正态分布。引理引理 If w=zz,where the n1 vector zN(0,I),then w2(n)引理引理 If v=(w1/m)/(w2/n),where w12(m)and w22(n)are independent,then vF(m,n).四、假设检验四、假设检验 Hypothesis Testing 1.1.单参数检验单参数检验(test on a Single Parameter)(test on a Single Parameter)假设有如下零假设假设有如下零假设(null hyp
23、othesis)(null hypothesis)H0:H0:j=j=j0j0 假如该假设为真，则在一次抽样中，假如该假设为真，则在一次抽样中，bjbj远离远离j0j0的概率较小。的概率较小。在在Tj=(bj-Tj=(bj-i0)/sbjt(n-K)i0)/sbjt(n-K)的状况下，给定较的状况下，给定较小的显著性水平小的显著性水平(significance-level)(significance-level)，意味着，意味着TjTj落在置信度落在置信度1-1-的置信区间外的概率只有的置信区间外的概率只有。即。即 P|bj-P|bj-i0|/sbjt1-i0|/sbjt1-/2(n-/2(n
24、-K)=K)=因此，给定显著性水平显著性水平：Tj落在置信度置信度1-的置信区间置信区间内，则接受H0:j=j0 Tj落在置信度置信度1-的置信区间置信区间外，则拒绝H0:j=j0 留意：(1)在实践中，往往关注的假设是：j=0 (2)n时，tN(0,1)，这时可用标准正态分布的置信区间进行推断。选择适当的R，可以关注整个 向量、或 的子向量*p1，或 的某一个元素j。如，取R=(0,0,0,1,0),r=0，则 R=r 3=0 取R=(0,1,1,0,0),r=1，则 R=r 1+2=1 2.2.多参数检验多参数检验(Test on a Set of Parameters)假设有一关于 的联
25、合零假设联合零假设(joint null hypothesis)H0:R=r其中，R是秩为J的JK矩阵，r为J1向量。假如H0为真，则在一次抽样中，b远离的概率较小，或Rb远离r的概率较小。由于 Rb|XN(R,2R(XX)-1R)，则当R=r为真时 Rb|XN(r,2R(XX)-1R)引理：引理：对n1向量yN(,)，记w=(y-)-1(y-)则 w2(n)。(*)由于(*)式中的2往往未知，因此在小样本下并不实际运用。当用s2替代2时，接受如下F统计量:Proof:而由前述引理引理，命题得证。留意留意:因此，大样本下可以用s2 替代2后干脆用2分布 另外，简洁验证有 (2)对于F分布具有如
26、下性质：a.假如 FF(p,q)，则F-1F(q,p)；b.F(1,q)t2(q)a是明显的。下面验证b：记R=(0,0,1,0,0),这里第j个元素非零，r=j0则(1,n-K)=(bj-j0)R(XX)-1R-1(bj-j0)/s2 =(bj-j0)2/R(XX)-1Rs2 (3)Alternative expression for F-Test Statistics这里，J恰为约束条件个数。记非约束OLS估计为:b=(XX)-1XY，考虑上述极值条件第一式有 因此，在一次抽样中，可依据计算的F值的大小，来检验约束条件H0:R=r的真伪。由于一般地有 SSRr SSRu 只有当只有当约束条
27、件为真时，二者的差异变小，计算的F值较小，否则F值变大。具体地，给定显著性水平：F值落在相应的临界值(critical value)左边，则接受H0 F值落在相应的临界值右边，则拒绝H0 3、若干应用若干应用 Case1:Testing for the Joint Significance of Explanatory Variables检验 H0:j=0 for j=1,2,k H1:j0 at least for some j，j=1,2,k在H0下，受约束回来：Yi=0+i 另一表达式：留意：留意：该式只能检验假设：该式只能检验假设：H0：j=0 for all j1Case 2:Tes
28、ting for Omitted Variables假设 X=(X(1),X(2)，这里X(1)nk1，X(2)n(k1+k2+1)假如 E(Yi|Xi)=E(Yi|X(1)i)，则称X(2)i对Yi无说明实力，假如 E(Yi|Xi)E(Yi|X(1)i)，则称X(2)i对Yi有说明实力。假如X(2)i对Yi有说明实力，但却未纳入模型，则称X(2)i为遗漏向量(omitted vector)。Question:如何检验X(2)i是线性回来中的遗漏向量？H0:k1+1=k1+2=k1+k2=0Example:Testing for Structural Changei表示时间。检验在时间i=i0
29、后是否存在结构变更。引入哑变量Di:Di=1 if ii0 and Di=0 otherwise Yi=(0+0Di)+j=1k(j+jDi)Xji+i =0+j=1kjXji+0Di+j=1k jDiXji+I (*)因此，只需检验：H0：j=0 for all j=0,1,k 这里(*)为无约束模型，(*)为受约束模型。(*)Case 3:Testing for linear restriction Example:Testing for CRS:ln(Yi)=0+1ln(Li)+2ln(Ki)+3autonomyi+i test H0:1+2=1 restricted model:ln(Yi)=0+1ln(Li)+(1-1)ln(Ki)+3autonomyi+i Or ln(Yi/Ki)=0+1ln(Li/Ki)+3autonomyi+IF-test: