大样本最小二乘法.ppt

《大样本最小二乘法.ppt》由会员分享，可在线阅读，更多相关《大样本最小二乘法.ppt（51页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、大样本最小二乘法现在学习的是第1页，共51页Asymptotic theory大样本理论也称渐近理论（）一、大样本理论的意义（1）小样本理论的假设过强，小样本理论的严格外生性假设要求解释变量与所有的扰动项均正交（不相关），在时间序列自回归模型中必然违背这个假定。而在大样本理论中，只要求解释变量与同期的扰动项不相关即可（2）小样本理论的统计推断必须假定扰动项为正态分布而大样本理论则无需此假设。（3）在小样本下，必须研究统计量的精确分布，这通常很难。在大样本下，只要研究其渐近分布就可以了，而渐近分布比较容易推导。现在学习的是第2页，共51页二、随机收敛的概念1、随机序列的收敛nn1pnnn1xxx

2、xxx0 定义：随机序列“依概率收敛”于随机变量记为，如果随机序列依概率收敛于nn1pnnnnnnnnxconverges inprobabilityaplimxaxa0nlimP xa 0limP xa P xE x对于任意小的0，都有nn1xa根据依概率收敛的定义可知，依概率收敛于nnnnxaplimxaxdegeneratea从直观上看，当的均值越来越趋于，而方差越来越小并趋于0时，就有，即在极限处退化（）为常数nnnnnn2nnlimP xalimP xE xVar xlim0 当时，对此不等式两边同时取极限可得现在学习的是第5页，共51页3、依分布收敛 nn1dnnnnnxconve

3、rge in distributionxxxnlimFcF ccRFFxxcdf 定义：随机序列“依分布收敛”（）于随机变量，记为，如果当时，其中与分别为与 的累积分布函数（）t例如，当 分布的自由度越来越大时，其累积分布函数收敛于标准正态的累积分布函数dnnn1xxxxasymptotically normal 若 为正态分布，而，则称为“渐近正态”（）直观上看，依分布收敛意味着两个随机变量的概率密度函数变得越来越像。现在学习的是第6页，共51页pdnnnxxxxxx 定理：依概率收敛是依分布收敛的充分条件即“”“”，这是显然的反之不成立，因为与 的分布可以是相同而独立的，两者的取值可以完全

4、不同 dndngxxg xg x 定理：假设为连续函数，且，则 nnxxg xg x直观上看，当 的分布越来越像 的分布时，的分布自然也就越来越像的分布。现在学习的是第7页，共51页三、大数定律与中心极限定理1Weak law of large numbers、弱大数定律（）nin=1np2inii=1xE x1Var xxxn 假定为独立同分布的随机序列，且存在，则样本均值22nn21E xVar xn0nn证明：因为，而pnnxx 故依均方收敛于，故该定理表明，当样本无限大时样本均值趋于总体均值现在学习的是第8页，共51页Central limit theoremCLT2、中心极限定理（，

5、）nin=1d22inxE xVar xn xN 0 定理：假定为独立同分布的随机序列，且存在，则，中心极限定理表示大量随机变量之和的极限分布为正态分布dn2xN 0n 证明：中心极限定理中可以证明，1nn xn 而正态变量的线性组合也是正态变量，故在时也是正态变量，现在学习的是第9页，共51页nn222nx1VarVarn xnVarn x1d2nn xN 0 故有，dn2xN 0n 而，1 不易推广到多维情形2dnxNn 而我们熟知的，是不严格的写法，2n0 xn因为，故而是退化的随机变量，成为常数现在学习的是第10页，共51页nn=1iiidnxE xVar xxn xN 0 推广到多维

6、的情形：假设为独立同分布的随机序列，且，存在，其中 为向量则，四、统计量的大样本性质1、均方误差 2meansquared errorMSEMSEE定义：是参数 的估计量，则其“均方误差”(，)为一个最优的估计量应该在所有的估计量中具有最小的均方误差现在学习的是第11页，共51页 BiasE定义：是参数 的估计量，则其“偏差”为 Bias0unbiased estimator定义：如果偏差，则称 为“无偏估计量”（）systematic error无偏估计量，表明其没有系统误差（）2MSEVarBias定理：均方误差可以分解为方差与偏差平方之和，即 （练习）MSEEVarBiasBias 可以

7、推广到多维的情形现在学习的是第12页，共51页一个无偏估计量若有较大的方差，则可能不如一个虽然有偏差但方差却很小的估计量nnnplimconsistent estimator定义：若，则估计量是参数 的一致估计量（）在大样本理论中，无偏性不再重要，试想一下，如果当样本量很大很大时，估计量还是不能接近参数真值那么这个估计量还有什么意义呢2、一致估计量现在学习的是第13页，共51页3、渐近正态分布与渐近方差dnnnnN 0asymptotically normallydistributedasymptotic varianceAVar 定义：若，其中 为半正定矩阵，则称为渐近正态分布（），而称 为

8、渐近方差（）记为dnnN 0nlimn0n 直观上可以近似地认为，严格意义上说，为方便理解将写上nnnnVV4、渐近有效：假设与都是 的渐近正态估计量，其渐近方差分别为 与，如果为半正定矩阵，则称比更为渐近有效现在学习的是第14页，共51页五、渐近分布的推导nnxxy以下是推导渐近分布的常用技巧，通称为斯拉斯基定理下面的、可以是随机变量或随机向量 dpdnnnnnnn1 xxyaxyx+ayxy ，在极限处退化为常数。另不必考虑与是否相互独立 dppnnnn2 xxy0 x y0 ，dpnndnn3xxAAA xAx 随机向量，随机矩阵dnnxN 0A xN 0A A 特别地，若，则，现在学习

9、的是第15页，共51页 dpnn1nnd11nnn4xxAAA xAx Axx Ax 若随机向量，随机矩阵可以相乘，存在二次型在渐近理论中，如果一个随机变量（向量）在极限处退化为一个常数（向量），则常常可以将其视为一个常数（向量）来处理（比如，加法或乘法等）六、随机过程的性质 tt=1xstochastic process称为“随机过程”（）或时间序列现在学习的是第16页，共51页1、严格平稳过程 1m1m1mtt=11mtttktkttxstrictlystationary processmttxxxxxxk定义：随机过程是严格平稳过程（），简称平稳过程，如果对任意 个时期的时间集合，随机向

10、量，的联合分布等于随机向量，的联合分布。也就是说，将，在时间上向前或向后平移个时期，不会改变其分布。tt1tt1ttAR 1yyCov y0例：考虑以下一阶自回归过程（），其中为独立同分布现在学习的是第17页，共51页 ttAR 11y1y定理：以上中，若，则不是平稳过程。若，则是严格平稳过程。tt1tt01t22tttt1yyyytVar ytVaryyrandom walk证明：若，则 ，因此 ，故当时，其中即方差越来越大，因此不是平稳过程。此时被称为“随机游走”（）22tt11Var yVar y若，对方程两边同取方差，可得，这是一阶线性差分方程差分方程即递推迭代关系。现在学习的是第18

11、页，共51页 2tt12t2tt=01tVar yVar yVar yVar y1y 由于，当时，令，可求出方差的均衡值，故将收敛于，进一步可证明是严格平稳过程 ii=1iiijxweaklystationary processE xiCov xxji定义：随机过程是“弱平稳过程”（）或“协方差平稳过程”，如果不依赖于，而且，仅依赖于（即仅依赖于时间上的相对距离）而不依赖于其绝对位置显然，弱平稳过程的期望和方差均为常数现在学习的是第19页，共51页 ii=1iiijxwhite noise processiE x0Cov xx0j00 定义：一个协方差平稳过程称为“白噪声过程”（），如果对于，

12、都有而且，白噪声的期望等于，不同期之间的噪声互不相关2、渐近独立性渐近独立的意思是，只要一个随机变量在两个时间点上相距足够远，则可近似地认为它们相互独立。这点与事实相符 AR 1例：是否渐近独立？tt1tyy1考虑 ，其中，现在学习的是第20页，共51页2tt1t1tt1yCov yyCovyy，2tt1ttt1ttt1t222tttt1ttyyyyyCov yyCovyy 22222 ，j2ttjyttjCov yy0 xxxOLSCov x0OLS显然扰动项与同期解释变量相关，也称随机解释变量问题，它将导致不一致的估计。以一元线性回归作解释。假设 ，若，由于 与 正相关，故当 较小时，也较

13、小；而当 较大时，也较大。的 将倾向于高估。若，则的 将倾向于低估。现在学习的是第37页，共51页ixixixiy现在学习的是第38页，共51页 1XX1XXd2iiiiii2SgnSng3.5ngN 0SSE g gEx xSg 由于抽样误差 ，故。根据假定及鞅差分序列的中心极限定理，其中。相当于 的方差 1XXniidi=1XXpiiii1iinSngngx xnN 0AVarSnE x xE x xE x x 由于是的线性组合，故，。由于。下面用到是对称的，故也是对称的现在学习的是第39页，共51页 111XXXXXX11XXXXn11iiiiVarnVar SngSS SSSSAVar

14、lim VarnE x xS E x x。故注意，此处不需要假设扰动项服从正态分布 p1p111XXiiXXXX11piiii3SSS SE x xAVarSSSE x xS E x xAVar 如果存在，（后面给出）已知，故估计量是的一致估计量现在学习的是第40页，共51页11XXXXSSS由于的形式，被称为“三明治估计量”n2iiii=1nii=11Se x xSne可以证明是 的一致估计量，其中是最小二乘法的残差222isE定理：是无条件方差的一致估计量1n2IX X XXe eMsn-kn-kn-k证明：参见上章1n21i1i=1XX1X X XXn-knXX XXng Sgn-knn

15、nnn-kn 现在学习的是第41页，共51页 n2i22i=1inni1122XXiinnnplim1plimEn-knplimg Sg0 E x x0 0plims由于，（因为为渐近独立的平稳序列）故 2ii2iiiEExx由于为严平稳序列，故无条件方差是一个常数，但条件方差取值可随 不同而不同到目前为止并没有假设条件同方差现在学习的是第42页，共51页九、线性假设的大样本检验0iiH1、检验单个系数 ：iipiiAVarAVarAVarAVart 另一方面，是的一致估计，即。定义 统计量为 0diiiiiHnN 0AVarOLSiAVarAVarii 在原假设成立的情况下，其中 为估计量

16、的第 个元素，而为的第，个元素。现在学习的是第43页，共51页 iidiiiiiiii11iiXXXXiiintN 011SEAVarAVarn11SEAVarSSSnnRobuststandard errortt，其中，被称为异方差稳健的标准差，简称稳健标准差（）。称之“稳健”是因为前面的推导过程中并未用到条件同方差的假定，故在条件异方差的情况下也适用。统计量 被称为“稳健 比值”，服从标准正t态分布，而非 分布现在学习的是第44页，共51页 pinSE0 练习3、当时，是否现在学习的是第45页，共51页定理：在条件同方差的假定下，稳健标准差还原为普通标准差ii22ii22iiixiiii2

17、2xiiiiiiExSEx xE Ex xxEx x ExE x x证明：假设（条件同方差），根据迭代期望定律，pp222XXiiXXsSE x xs SS 由于，故是 的一致估计量现在学习的是第46页，共51页 1121212XXXXXXXX12X XAVarSs SSs SsnnsX X因此，1122iiiiii11SEAVarnsX XsX XnnOLS这正是上章小样本中的普通标准差公式0HRrR2、检验线性假设 ：，其中 行满秩mkk 1m 1现在学习的是第47页，共51页 01d21d2RrHWn RrRAVarRRrmnnnWWn RrRAVarRn Rrm 根据沃尔德检验原理，考

18、察 的大小。在成立的情况下，统计量将 拆成，则可把更直观地写成 nn1nnncn RrQRAVarRWc Q c证明：记，则。现在学习的是第48页，共51页 0ndHcn Rrn RRRnnN 0AVar 在成立的情况下，。因为，dnncncccN 0RAVarR 而是的线性组合，故，其中，ppnQVar cRAVarRAVarAVarQQ 定义，由于，故 RAVarQ注：由于 行满秩，且为正定矩阵，故 可逆现在学习的是第49页，共51页124mxNxxm根据上章之预备定理：若 维随机向量 服从正态分布，其中为非退化矩阵（满秩），则二次型 120Wc Var ccmH于是 这就是满足下的，大样本渐近分布统计量现在学习的是第50页，共51页 2d2FFF mn-knmFm 特定 分布与分布在大样本下等价定理：假设，则当时，2222222pd22d2mmFF mn-kFn-kn-kEn-kn-kVarn-k2 n-kFn-k2 n-k2Var0n-kn-kn-kn-kn-k1FmmmFm 证明：因为，故令 根据分布性质有，故 统计量的分母的期望值等于1而分母的方差（大样本）因此分母依均方收敛于1，故其依概率收敛于1即，所以从而现在学习的是第51页，共51页