《逐步回归分析精品文稿.ppt》由会员分享,可在线阅读,更多相关《逐步回归分析精品文稿.ppt(37页珍藏版)》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、逐步回归分析第1页,本讲稿共37页(1)均方误差)均方误差s2最小最小达到最小(2)预测均方误差最小)预测均方误差最小达到最小(3)统计统计量最小准量最小准则则达到最小 第2页,本讲稿共37页(4)AIC或或BIC准则准则或 达到最小(5)修正)修正准准则则达到最大 第3页,本讲稿共37页4.6.2 选择最优回归子集的方法(1)选择最优子集的简便方法:逐步筛选法(STEPWISE)向前引入法或 前进法(FORWARD)向后剔除法或后退法(BACKWARD)(2)计算量最大的全子集法:R2选择法(RSQUARE)Cp选择法(CP)修正R2选择法(ADJRSQ)。第4页,本讲稿共37页最小R2增量
2、法(MINR)最大R2增量法(MAXR)(3)计算量适中的选择法:4.6.3逐步回归的基本思想与步骤基本思想:逐个引入自变量,每次引入对y影响最显著的自变量,并对方程中的老变量逐个进行检验,把变得不显著的变量逐个从方程中剔除,最终的回归方程中既不漏掉对y影响显著的变量,又不包含对y影响不显著的变量。第5页,本讲稿共37页4.6.3.1前进法(FORWARD)原理:事先给定挑选自变量进入方程的显著性水平,按自变量对因变量y的贡献由大到小依次挑选自变量进入方程,直到方程外没有显著的自变量可引入为止。该方法的特点是:自变量一旦被选入,就永远保留在模型中。第6页,本讲稿共37页图4.1 逐步回归的基本
3、步骤第7页,本讲稿共37页uu步骤步骤uu(1)将全部)将全部m个自变量,分别与因变量个自变量,分别与因变量y建立建立 一元回归方程;一元回归方程;uu(2)分别计算这)分别计算这m个一元回归方程中回归系数个一元回归方程中回归系数 的检验统计量的检验统计量F,记为:,记为:,取最大值取最大值 ,若若 ,停止筛选;,停止筛选;若若 ,选入,选入 ,不,不 妨设妨设 是是 ,进入步骤(,进入步骤(3););第8页,本讲稿共37页uu(3)分别将自变量组 ,uu 与因变量y建立二元回归方程,计算回归方程中x2,x3,xm的回归系数检验统计uu量F,记为:,取其最大值uu ,若uu则停止筛选,y与 x
4、1之间的回归方程就是最优的回归方程;若 ,选进xk2,不妨设xk2是 x2,进入步骤(4)。第9页,本讲稿共37页uu(4)对已经选入模型的变量,x1,x2,如同前 面的方法做下去,直到所有未被选入模型 的自变量的F值都小于相应的临界值为止,这时的回归方程就是最优回归方程。前进法的一般步骤:前进法的一般步骤:假设已进行了假设已进行了l步筛选,并选入自变量步筛选,并选入自变量x1,x2,xl,现进行第,现进行第l+1步筛选:步筛选:分别将自变量组 ,与y建立l+1元回归方程;回归 第10页,本讲稿共37页uu方程中 的回归系数检验统计量记uu为:,记uu若 ,停止筛选,上一步得到的回归方程,即为
5、最优的回归方程;uu若 ,将 选进模型,进行下一步筛选。uu前进法的缺点:不能反映自变量选进模型后的变化情况。第11页,本讲稿共37页4.6.3.2 后退法(BACKWARD)原理:事先给定从方程中剔除自变量的显著性水平,开始全部自变量都在模型中,然后按自变量对y的贡献由小到大依次剔除,直至方程中没有不显著的变量可剔除为止。该方法的特点是:自变量一旦被剔除,就不再进入模型,第12页,本讲稿共37页uu(1)建立全部自变量x1,x2,xm对因变量y的回归方程,对方程中m个自变量的回归系数b1,b2,bm进行F检验,相应的F值记uu为:,取最小值uu若 ,没有自变量可剔除,此时的回归方程就是最优的
6、回归方程;uu若 ,剔除xk1,不妨设xk1uu是xm,进入步骤(2)。第13页,本讲稿共37页uu(2)建立x1,x2,xm-1与因变量y的回归方程,对方程中自变量的回归系数进行F检验,uu相应的F值记为:,取最小值uu ,若uu则无自变量可剔除,此时的回归方程即最优的回uu归方程;若 ,将xk2 从模型中剔除,不妨设xk2就是xm-1,进入步骤(3);第14页,本讲稿共37页uu(3)重复前面的做法,直至回归方程中各变量回归系数的F值均大于临界值,即方程中没有变量可剔除为止,此时的回归方程就是最优的回归方程。uu后退法的一般步骤:后退法的一般步骤:uu假设已经进行了假设已经进行了l步剔除,
7、模型中的自变量为步剔除,模型中的自变量为x1,x2,xm-l,现进行第,现进行第l+1步剔除:步剔除:uu建立建立x1,x2,xm-l 对对y的回归方程,对方程的回归方程,对方程中中x1,x2,xm-l的回归系数进行的回归系数进行F检验,相检验,相uu应的应的F统计量记为统计量记为:,取最小值第15页,本讲稿共37页uu ,若uu则停止筛选,y与x1,x2,xm-l 之间的回归uu方程即为最优的回归方程;若uu则剔除 ,不妨设 为 ,进行下一步筛选。uu后退法的缺点后退法的缺点:开始把全部自变量都引入模型,计算量大。第16页,本讲稿共37页4.6.3.3 逐步筛选法原理:该方法在前进法的基础上
8、,引进后退法的思想。即对每一个自变量随着其对回归方程贡献的变化,随时地引入或剔除模型,使得最终回归方程中的变量对y的影响都是显著的,而回归方程外的变量对y的影响都是不显著的,该方法即通常所说的逐步回归法。第17页,本讲稿共37页uu设y是因变量,x1,x2,xm是所有自变量,yi,xi1,xi2,xim(i1,2,n)是独立抽取的n组样本。设自变量被选进模型的显著性水平为 ,被剔除模型的显著性水平为 ,且 。uu逐步筛选法的步骤为:逐步筛选法的步骤为:uu(1)计算离差矩阵)计算离差矩阵S 第18页,本讲稿共37页uu(2)逐步筛选自变量)逐步筛选自变量uu第一步筛选:第一步筛选:uu计算各自
9、变量的贡献:计算各自变量的贡献:uu取最大值取最大值uu uu对 的作用是否显著进行统计检验:uu F(1,n-1-1)第19页,本讲稿共37页uu若 ,则结束所有自变量皆与y无关,不能建立回归方程;若 ,则 将xk1选入模型,并将S转化为 ,进行第二步筛选;第20页,本讲稿共37页其中 第21页,本讲稿共37页uu第二步筛选第二步筛选:uu按 计算各自变量的贡献uu模型外自变量的贡献:uu模型中自变量 的贡献:uu取模型外自变量的最大贡献值,即 第22页,本讲稿共37页uu计算 F(1,n-2-1),uu 其中 ,uu若 ,则筛选结束,第一步中所建立的回归方程即最优回归方程;uu若 ,则选
10、进入模型,将uu 化为 ,进行第三步筛选;第23页,本讲稿共37页第24页,本讲稿共37页uu其中第25页,本讲稿共37页uu第三步:第三步:uu从第三步开始,先检验已经引入方程中的自变量是否满足显著性水平 ,若有不满足显著性水平 uu 的自变量,依次剔除最不显著的,再从方程外挑选满足著性水平的最显著的自变量进入模型(即从第三步开始,先进行变量的剔除,再进行变量的选进)。第26页,本讲稿共37页uu逐步回归法筛选自变量的一般步骤为:逐步回归法筛选自变量的一般步骤为:uu假设已经进行l步筛选,并且已经选入p个自变量,相应的残差平方和为 ,离差矩阵为uu则第步的筛选过程为:第27页,本讲稿共37页
11、uu(a)计算自变量的贡献:uu(b)检验已选入的自变量是否显著 uu取模型中变量的最小值:第28页,本讲稿共37页uu计算 F(1,n-p-1),其中uu uu若 ,将xk剔除,转入(d);uu若 ,则xk不能被剔除,转入(c);第29页,本讲稿共37页uu(c)取模型外变量贡献的最大值,uu计算uu若 ,则筛选结束,转入(3);uu若 ,则选入xk,转入(d);第30页,本讲稿共37页uu(d)将 化为 ,进行第l+2步筛选。第31页,本讲稿共37页uu其中 第32页,本讲稿共37页4.7 可化为线性回归的曲线回归可化为线性回归的曲线回归(1)对于双曲线型函数:第33页,本讲稿共37页(2)幂函数型:幂函数图形 第34页,本讲稿共37页(3)指数曲线型:第35页,本讲稿共37页(5)S型函数:S型曲线图形第36页,本讲稿共37页(6)多项式回归:,第37页,本讲稿共37页