第四章 多元回归分析推论.pdf

上传人:asd****56 文档编号:69698146 上传时间:2023-01-07 格式:PDF 页数:46 大小:217.02KB
返回 下载 相关 举报
第四章 多元回归分析推论.pdf_第1页
第1页 / 共46页
第四章 多元回归分析推论.pdf_第2页
第2页 / 共46页
点击查看更多>>
资源描述

《第四章 多元回归分析推论.pdf》由会员分享,可在线阅读,更多相关《第四章 多元回归分析推论.pdf(46页珍藏版)》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、第四章 多元回归分析第四章 多元回归分析推论推论的分布 对单个参数的检验 参数检验,t-检验,P-值,置信区间 对多个参数的检验 F-检验?多元回归分析多元回归分析 模型 估计 推论?1()x xx y=0112211110111,1iiikikiknnnkknyxxxyxxyxyxxyx=+=+LLMMMMMML经典线性模型的假设经典线性模型的假设(CLM)到现在为止,我们知道,给定高斯-马尔科夫假设(MLR1到MLR5),OLS是 BLUE,为了能够做经典的假设检验,我们需要增加一个假设(在MLR1到MLR5假设之外)MLR6.假设u 与 x1,x2,xk独立,且 u 是均值为0方差为2的

2、正态分布:u Normal(0,2)CLM 假设假设(接上页接上页)在CLM情况下(MLR1-MLR6),OLS 不仅是BLUE,而且是所有无偏估计中方差最小的 我们可以总结关于CLM的总体假设如下:y|x Normal(0+1x1+kxk,2)尽管我们现在假设正态分布,但是显然,事实并不总是如此 大样本情况下,我们不需要正态分布假设一个自变量情况下,同方差正态分布一个自变量情况下,同方差正态分布.E(y|x)=0+1xyf(y|x)正态分布x1x2的分布的分布?定理1、在MLR1到MLR6的假设下,?21(,()Nx x 其中:?22(,)(1)jjjjNSSTR?22(0,1)(1)jjj

3、jNSSTR参数检验虚拟假设H0:通常是母体中参数的值,一般是我们希望推翻的理论;对立假设H1:是我们希望证明是正确的理论;检验统计量:用来决定是否拒绝虚拟假设,如t统计量,F统计量;拒绝区域:在一定显著程度(例如1%,5%或10%)下虚拟假设被拒绝的区域计算出检验统计量的值;结论参数检验如果计算出的检验统计量的值落在拒绝区域里,则拒绝虚拟假设。此时我们得出错误结论(即拒绝正确的虚拟假设)的概率是,是显著程度。类型I错误:拒绝正确的虚拟假设如果计算出的检验统计量的值落在拒绝区域外,则不能拒绝虚拟假设。此时我们得出错误结论(即没有拒绝错误的虚拟假设)错误称为类型II错误。类型II错误:没有拒绝错

4、误的虚拟假设类型II错误的概率一般不容易计算,但与发生类型I错误的概率成反比。根据对立假设的不同,参数检验分单侧和双侧检验。t 检验检验定理2、在MLR1到MLR6的假设下,?122(1)jjnkjjtS S TR其中:?21nk=t 检验(接上页)检验(接上页)知道标准化的估计量的样本分布,我们就可以进行假设检验了 从一个虚拟假设(Null hypothesis)开始 例如:H0:j=0 如果接受虚拟假设,那么就接受了“控制其它 x 之后,xj对 y没有影响”。t 检验(接上页)检验(接上页)为了进行我们的检验,首先需要为构造一个t统计量:j()jjjtse然后我们用这个t统计量和一个拒绝原

5、则来决定是否接受虚拟假设t 检验:单边对立假设检验:单边对立假设 除了我们的虚拟假设H0之外,我们需要另一个对立假设H1和一个显著性水平 H1可以是单边的,也可以是双边的 H1:j 0 和 H1:j 0c0(1 )不能拒绝拒绝单边检验 vs 双边检验因为t 分布是对称分布,检验H1:j 0 是直截了当的,临界值正是上例中临界值的相反数如果t 统计量 c 那么我们不能拒绝虚拟假设在双边检验中,我们以/2为基础确定临界值,并且当t 统计量的绝对值 c 时,拒绝虚拟假设双边对立假设双边对立假设yi=0+1Xi1 +kXik+uiH0:j=0 H1:j0c0/2(1 )-c/2拒绝拒绝不能拒绝虚拟假设

6、 H0:j=0总结 除非特别说明,对立假设都是双边的 如果拒绝了虚拟假设,我们通常说:“在 的水平上,xj统计上显著”如果我们不能拒绝虚拟假设,我们通常说:“在 的水平上,xj统计上不显著”检验其他假设检验其他假设 当我们要检验类似H0:j=aj这样的假设的时候,我们需要t 检验的一个更一般的形式 这种情况下,正确的 t统计量是:()(),jjjatse=其中在标准检验中:0ja=置信区间置信区间使用经典统计检验的另一方式是用双边检验中的临界值构造一个置信区间A(1-)%置信区间定义为:(),c jjc se 其中 是1 1-2n kt 分布的百分位的值计算计算t检验的检验的P值(值(p-va

7、lue)经典方法的一个替代方法是问“虚拟假设被拒绝的最小的显著性水平是什么?”所以,计算t 统计量,然后查到它在相应的t 分布中的百分位,这就是P值P值是如果虚拟假设为真,我们观察到现有t 统计量的概率Eviews和和P值,值,t 检验等检验等 大多数计算机软件包(computer packages)都会为你计算双边检验的P值。如果你真的想做单边检验,那么把双边检验的P值除以2Eviews提供H0:j=0 的t统计量,P值和95%置信区间,分别列在标为“t”,“P|t|”和“95%Conf.Interval”列中检验一个线性组合检验一个线性组合假想我们要检验的不是1是否为0或是否等于一个常数,

8、而是你希望检验它是否等于另一个参数:H0:1=2用构造t统计量的基本步骤,可以得到:()2121=set检验一个线性组合(接上页)检验一个线性组合(接上页)()()()()()()()()()()1212121212122212121212122,2 ,seVarVarVarVarCovsesesess =+=+因:,故:其中是Cov的估计值检验一个线性组合(接上页)检验一个线性组合(接上页)所以,要应用这个公式,我们需要知道 s12,但是它在标准输出结果中得不到许多软件包包含一个选项,你可以选择计算这个变量,或者也可以让它直接为你做检验在Eviews中,“reg y x1 x2 xk”之后,

9、你键入:“test x1=x2”就可以得到检验的P值更一般的情况下,你总可以通过重新表述你的问题得到你想要得到的检验例:例:假设你对竞选费用对竞选结果的影响感兴趣 模型是voteA=0+1log(expendA)+2log(expendB)+3prtystrA+uH0:1=-2,或者H0:1=1+2=01=12,所以代入方程,整理得到voteA=0+1log(expendA)+2log(expendB-expendA)+3prtystrA+u例(接上页):例(接上页):这个模型和原始模型是一个模型,但是现在你从基本回归中直接得到了12=1的方差估计 任何参数的线性组合都可以类似地进行检验。其他

10、关于单个线性参数组合的例子:?1=1+2;1=52;1=-1/22;等等多元线性约束多元线性约束 到现在为止,我们所做过的所有检验都只牵涉到一个单个的线性约束(例如:1=0或1=2)然而,我们可能想要同时检验多个关于参数的假设 一个典型的例子是:检验“排除性约束”(exclusions)我们想要知道是否一组参数全都是0检验排除约束检验排除约束 现在虚拟假设大约是:H0:k-q+1=0,.,k=0 对立假设是:H1:H0非真 我们不能只是一个一个进行t 检验,因为我们想要知道是否q 个参数在一个给定的水平上联合显著,可能在联合显著的情况下每一个单个参数都不显著排除约束(接上页)排除约束(接上页)

11、要进行这个检验,我们需要估计不包含 xk-q+1,xk的“受约束模型”(restricted model),还要估计所有自变量都包含的“无约束模型”(unrestricted model)直觉上,我们想要知道,SSR的变化是否足够大,以保证 xk-q+1,xk应该加入进来:r表示受约束,ur表示不受约束()(),1rururSSRSSRqFSSRnk其中:F统计量统计量F 统计量总是正的,因为受约束模型的SSR 不可能比无约束模型的SSR 小 事实上,F统计量度量的是从无约束到受约束模型,SSR 的相对增加量q=约束的个数,或者dfrdfurn k1=dfurF统计量(接上页)统计量(接上页)

12、要确定当我们的模型变为受约束时,SSR 的增加是否“足够大”,让我们有理由拒绝排除条件(exclusions),我们需要知道我们的F统计量的样本分布信息 可以证明,F Fq,n-k-1,其中q被称为分子自由度,n k 1 被称为分母自由度F统计量(接上页)统计量(接上页)0c(1 )f(F)F拒绝不能拒绝如果F c在的显著性水平上拒绝 H0F 统计量的 R2形式因为SSR可能大而难处理,有上面公式的替代形式我们利用恒等式SSR=SST(1 R2)把公式中的 SSRu和 SSRur掉()()()22211urrurRRqFRnk其中仍然有:r表示受约束,ur表示不受约束整体显著性整体显著性 排除

13、约束的特殊例子是检验H0:1=2=k=0 因为一个只含常数项的模型的R2是0,F统计量形式比较简单:()()1122=knRkRF一般线性约束一般线性约束F 统计量的基本形式对任意一组线性约束都适用 首先估计无约束模型,然后估计受约束模型 两种情况下都记下SSR 对模型施加限制可能需要技巧可能必须再次重新定义变量例:例:还用刚才的选举模型模型是 voteA=0+1log(expendA)+2log(expendB)+3prtystrA+u现在零假设是:H0:1=1,3=0把约束代入模型:voteA=0+log(expendA)+2log(expendB)+u,所以用voteA-log(expe

14、ndA)=0+2log(expendB)+u 作为受约束模型 此时不能用。()()()22211urrurRRqFRnkF 统计量总结 正如有了t统计量,P值可以通过查t 分布表得到,有了F统计量,P值也可以通过查对应的F分布的百分位得到Eview可以做到这些,只需键入:display fprob(q,n k 1,F),其中F,的两个自由度q,和n k 1 应正确输入 如果只有一个排除条件被检验,那么F=t2,并且F检验和t 检验的P值相等多重共线性多重共线性 多重共线性:两个或一组自变量之间的相关程度大 后果:方差大 克服的方法:-省略不重要的变量;-合并同类的变量;-重新定义变量的形式:例如:一阶差分-扩大样本量;-主分量法(Principal Component Regression);-岭回归(Ridge Regression)。如果多重共线的变量不涉及所感兴趣的变量,结果仍适用作业:pp1541614.1 4.3 4.6 4.7 4.8

展开阅读全文
相关资源
相关搜索

当前位置:首页 > 应用文书 > 财经金融

本站为文档C TO C交易模式,本站只提供存储空间、用户上传的文档直接被用户下载,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有。本站仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私,请立即通知淘文阁网,我们立即给予删除!客服QQ:136780468 微信:18945177775 电话:18904686070

工信部备案号:黑ICP备15003705号© 2020-2023 www.taowenge.com 淘文阁