《9-1(回归分析).ppt》由会员分享，可在线阅读，更多相关《9-1(回归分析).ppt（55页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第第9 9章章 回归分析回归分析本章主要内容本章主要内容p线性回归分析线性回归分析p曲线估计曲线估计p二项二项Logistic回归回归第第1 1节节 线性回归线性回归基础知识回顾基础知识回顾p一元线性回归一元线性回归p多元线性回归多元线性回归p残差分析残差分析p其他问题其他问题1 1 一元线性回归一元线性回归例例1 x钢材中碳的含量钢材中碳的含量,y 合金钢的强度合金钢的强度 需了解需了解y与与x之间的关系之间的关系 iX(%)Y(kg/mm2)123456789100.030.040.050.070.090.100.120.150.170.2040.539.541.041.543.042.0
2、45.047.553.056.00.050.050.100.100.150.150.200.203030404050506060一元线性一元线性(总体总体)回归模型回归模型 一般地，假设一般地，假设 其中其中最小二乘法（图示）x xy y(x xn n ,y yn n)(x x1 1,y y1 1)(x x2 2,y y2 2)(x xi i,y yi i)e ei i =y yi i-y yi i(经验经验)回归方程回归方程u t 检验检验u 方差分析法方差分析法(F 检验检验)u 相关系数法相关系数法回归的显著性检验回归的显著性检验(significance of regression)S
3、ST=SSR+SSResRes总平方和总平方和（SST）回归平方和回归平方和（SSR）残差平方和残差平方和残差平方和残差平方和（SSSSRes）F检验（检验（方差分析法）方差分析法）检验统计量检验统计量FF F (1,n-2),拒绝域拒绝域 反映反映y的变化由的变化由x解释的比例解释的比例,回归直线与样本观测值的拟合优度回归直线与样本观测值的拟合优度,取值范围在取值范围在 0,1 之间之间,r2 1，说明，说明y的变化大部分由回归的变化大部分由回归 方程解释方程解释,拟合优度好拟合优度好,r2 0，拟合优度差拟合优度差决定系数决定系数回归方程的拟合优度回归方程的拟合优度复相关系数复相关系数修正
4、决定系数修正决定系数1.1.反映实际观察值在回归直线周围的分散状况；反映实际观察值在回归直线周围的分散状况；2.2.说明了回归直线的拟合程度（衡量回归方程的说明了回归直线的拟合程度（衡量回归方程的代表性，代表性，测定回归估计的精度测定回归估计的精度）；）；回归标准误差回归标准误差例例1 ads.sav:利用线性回归分析利用线性回归分析 广告收入与消费之间广告收入与消费之间的关系的关系选择菜单中的选择菜单中的“Analyze=Regression=Linear”选项，选项，在弹出的窗口分别选定模型的在弹出的窗口分别选定模型的因变量因变量和和自变量自变量即可。即可。结果的分析结果的分析1.Unst
5、andardized Coefficients B 回归系数回归系数(参数参数)的的估估计值计值 和和 。2.Unstandardized Coefficients Std.Error 估计量估计量 和和 的的标准差标准差。3.Standardized Coefficients Beta 表示若事先把应变量表示若事先把应变量 Y 和自变量和自变量 X 标准化标准化后再来作回归所得到的回归系数后再来作回归所得到的回归系数(参参数数)的估计值。注意的估计值。注意此时此时 b b 0 的估计值一定是的估计值一定是0。4.t 估计值估计值 和和 的的 t-检验统计量检验统计量的值的值(t-值值)，其值
6、等，其值等于于估计值估计值除以除以该估计量的该估计量的标准差标准差。5.Sig.相应于各相应于各 t-值的值的双边双边假设检验的假设检验的 p-值值。缺省原假缺省原假设为设为 H0:b b 0=0 或或 b b 1=0。b b 0b b 1b b 0b b 1b b 0b b 1从输出结果可以知道，我们得到的拟合直线是从输出结果可以知道，我们得到的拟合直线是y=37.187+1.209 x。也即也即 =37.187，=1.209。上述结果表明：上述结果表明：1.=37.187 表明，如果不作任何广告推广，则商品的表明，如果不作任何广告推广，则商品的(周周)销售额为销售额为 37.187(万元万
7、元)。2.=1.209 表明，每增加表明，每增加 1 万元的广告投入，会导致万元的广告投入，会导致 1.209 万元的销售收入的增加。万元的销售收入的增加。3.0 表明，广告投入于销售收入之间有一定的表明，广告投入于销售收入之间有一定的正比关正比关系系.b b 0b b 1b b 0b b 1b b 12 多元线性回归模型多元线性回归模型例例:某公司为了了解营销手段对某一种某公司为了了解营销手段对某一种食品产品的销售量产生的影响，统食品产品的销售量产生的影响，统计了三年期间的周销售数据，见计了三年期间的周销售数据，见SPSS数据文件数据文件 food.sav。多元线性回归模型多元线性回归模型假
8、设假设回归系数的最小二乘估计回归系数的最小二乘估计(经验经验)回归方程回归方程 反映反映y的变化由的变化由x解释的比例解释的比例,回归直线与样本观测值的拟合优度回归直线与样本观测值的拟合优度,取值范围在取值范围在 0,1 之间之间,r2 1，说明，说明y的变化大部分由回归的变化大部分由回归 方程解释方程解释,拟合优度好拟合优度好,r2 0，拟合优度差拟合优度差决定系数决定系数回归方程的拟合优度回归方程的拟合优度复相关系数复相关系数修正决定系数修正决定系数1.1.反映实际观察值在回归直线周围的分散状况；反映实际观察值在回归直线周围的分散状况；2.2.说明了回归直线的拟合程度（衡量回归方程的说明了
9、回归直线的拟合程度（衡量回归方程的代表性，代表性，测定回归估计的精度测定回归估计的精度）；）；回归标准误差回归标准误差回归的显著性检验（回归的显著性检验（F检验）检验）回归系数的显著性检验回归系数的显著性检验t检验检验例例2:某公司为了了解营销手段对某一种某公司为了了解营销手段对某一种食品产品的销售量产生的影响，统食品产品的销售量产生的影响，统计了三年期间的周销售数据，见计了三年期间的周销售数据，见SPSS数据文件数据文件 food.sav。以周销售量为因变量以周销售量为因变量,促销价格和特色广告促销价格和特色广告为自变量为自变量,建立线性回归模型建立线性回归模型.SPSS操作操作 仍选择菜单
10、中的仍选择菜单中的“Analyze=Regression=Linear”选项，选项，回归方程为回归方程为 vol=171500.1171500.1 9042.69042.6 promp+100.7 feat+e e 经检验，上式中各变量经检验，上式中各变量(的参数的参数)均是均是显著显著(0)的。的。上式结果表明：上式结果表明：如果特色广告保持不变如果特色广告保持不变，则促销价，则促销价格每上涨一元，周销售下跌格每上涨一元，周销售下跌9042.6元；元；如果促销价如果促销价格保持不变格保持不变，则每增加一元的特色广告投入，会带，则每增加一元的特色广告投入，会带来来100.7元的周销售量的增加。
11、元的周销售量的增加。3 3 残差分析残差分析残差残差(residual)u 度量了数据和拟合值间的偏离度量了数据和拟合值间的偏离u反映了反映变量中不能由回归模型解释的部分反映了反映变量中不能由回归模型解释的部分u 的实现的实现(观测观测)值值是以自变量是以自变量x x作横轴（或以因变量回归值作横轴）作横轴（或以因变量回归值作横轴）以残差作纵轴，将相应的残差点画在直角坐标以残差作纵轴，将相应的残差点画在直角坐标系上，就可得到残差图系上，就可得到残差图.残差图残差图:正常的残差图正常的残差图异方差异方差异方差异方差非线性非线性正态概率图正态概率图如果正态性假设成立如果正态性假设成立,那么图中的点将
12、形成一条直线那么图中的点将形成一条直线目的目的:检验模型的正态性假设检验模型的正态性假设p异常值:y空间上的异常值点l标准化残差l学生化残差异常值异常值删除残差删除学生化残差例例3 civil.sav:研究我国民航客运量的变化趋势与成因研究我国民航客运量的变化趋势与成因并作残差分析并作残差分析例例4 高校科研研究高校科研研究:研究立项课题数受哪些因素影响研究立项课题数受哪些因素影响.并作残差分析并作残差分析4 4 其他问题其他问题第第 1步：步：首先将全部首先将全部K个回归变量，分别对响应变量个回归变量，分别对响应变量y建立建立K个一元线性回归方程，并分别个一元线性回归方程，并分别 计算计算这
13、这K个一元线性回归方程的个一元线性回归方程的K个回归系数的个回归系数的F检验值，设起其最大值为检验值，设起其最大值为F,若若 FFin 将所对应的回归变量首先引入回归将所对应的回归变量首先引入回归 方程方程,设引入的变量为设引入的变量为x1。l一、前进法一、前进法(forward selection)逐步回归法逐步回归法回归方程中回归方程中 的回归系数进行偏的回归系数进行偏F检验检验,若其最大检验统计量若其最大检验统计量 y分别与分别与建立建立K-1个二元线性回归方程，再对这个二元线性回归方程，再对这K-1个个将所对应的回归变量引入回归方程。将所对应的回归变量引入回归方程。第第2步：步：入方程
14、的回归变量的入方程的回归变量的F F值均小于值均小于 时时 为止。这时，得到的回归方程就是最终确定为止。这时，得到的回归方程就是最终确定的方程。的方程。依上述方法接着做下去。直至所有未被引依上述方法接着做下去。直至所有未被引第第3步：步：第第 1步：步：首先将全部首先将全部K个回归变量，对响应变量个回归变量，对响应变量y建建立线性回归方程，并分别立线性回归方程，并分别 计算计算K个回归系数个回归系数的偏的偏F检验值，设起其最小值为检验值，设起其最小值为F,若若 FFin 将所对应的回归变量首先引入回归将所对应的回归变量首先引入回归 方程方程,设引入的变量为设引入的变量为x1。l三、逐步回归法三
15、、逐步回归法(stepwise regression)回归方程中回归方程中 的回归系数进行偏的回归系数进行偏F检验检验,若其最大检验统计量若其最大检验统计量 y分别与分别与建立建立K-1个二元线性回归方程，再对这个二元线性回归方程，再对这K-1个个将所对应的回归变量引入回归方程。设引入将所对应的回归变量引入回归方程。设引入的回归变量为的回归变量为x2第第2步：步：依上述方法接着做下去。直至没有引入依上述方法接着做下去。直至没有引入也没有删除的回归变量也没有删除的回归变量,这时，得到的回归方这时，得到的回归方程就是最终确定的方程。程就是最终确定的方程。第第3步：步：应用回归分析设回归模型 存在完
16、全的多重共线性，即对设计矩阵X的列向量存在不完全为零的一组数c0,c1,c2,cp，使得：多重共线性应用回归分析多重共线性的诊断量之间有严重的多重共线性，且这种多重共线性可能会会过度地影响最小二乘估计值。可以证明：方差扩大因子记 当 时，就说明自变量 与其余自变应用回归分析例例3续续 civil.sav 研究我国民航客运量的变化趋势与成因研究我国民航客运量的变化趋势与成因(2)向前法选择解释变量向前法选择解释变量,并作残差分析和并作残差分析和多重共线性检测多重共线性检测(1)解释变量筛选采用强制进入解释变量筛选采用强制进入 策略策略,并做多重共线性检测并做多重共线性检测应用回归分析例例4续续 高校科研研究高校科研研究:研究立项课题数受哪些因素影响研究立项课题数受哪些因素影响.用向后法选择解释变量用向后法选择解释变量,并作残差分析和多重共线性检测并作残差分析和多重共线性检测