《第九章 多元相关与回归分析优秀PPT.ppt》由会员分享，可在线阅读，更多相关《第九章 多元相关与回归分析优秀PPT.ppt（58页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第九章 多元相关与回归分析第一页，本课件共有58页学习目标1.回归模型、回归方程、估计的回归方程回归模型、回归方程、估计的回归方程2.回归方程的拟合优度回归方程的拟合优度3.回归方程的显著性检验回归方程的显著性检验4.利用回归方程进行估计和预测利用回归方程进行估计和预测5.非线性回归非线性回归6.用用 SPSS 进行回归分析进行回归分析第二页，本课件共有58页9.1 9.1 多元线性回归模型多元线性回归模型9.1.1 9.1.1 多元回归模型与回归方程多元回归模型与回归方程9.1.2 9.1.2 估计的多元回归方程估计的多元回归方程9.1.3 9.1.3 参数的最小二乘估计参数的最小二乘估计第
2、三页，本课件共有58页多元回归模型与回归方程多元回归模型与回归方程第四页，本课件共有58页多元回归模型(multiple regression model)1.一个因变量与两个及两个以上自变量的回归2.描述因变量 y 如何依赖于自变量 x1，x2，xp 和误差项 的方程，称为多元回归模型3.涉及 p 个自变量的多元回归模型可表示为 0 0 ，1 1，p p是参数是参数 是被称为误差项的随机变量是被称为误差项的随机变量 y y 是是x x1,1,，x x2 2 ，x xp p 的线性函数加上误差项的线性函数加上误差项 包包含含在在y y里里面面但但不不能能被被p p个个自自变变量量的的线线性性关
3、关系系所解释的变异性所解释的变异性第五页，本课件共有58页多元回归模型多元回归模型(基本假定基本假定)1.1.误误差差项项是是一一个个期期望望值值为为0 0的的随随机机变变量量，即即E E()=0)=0对对于于自自变变量量x x1 1，x x2 2，x xp p的的所所有有值值，的方差的方差 2 2都相同都相同误误差差项项是是一一个个服服从从正正态态分分布布的的随随机机变变量，即量，即-N N(0,(0,2 2)，且相互独立且相互独立第六页，本课件共有58页多元回归方程多元回归方程 (multiple regression equation)(multiple regression equat
4、ion)1.描述因变量 y 的平均值或期望值如何依赖于自变量 x1，x2，xp的方程2.多元线性回归方程的形式为3.E(y)=0+1 x1+2 x2+p xp 1 1，p p称为偏回归系数称为偏回归系数 i i 表表示示假假定定其其他他变变量量不不变变，当当 x xi i 每每变变动一个单位时，动一个单位时，y y 的平均变动值的平均变动值第七页，本课件共有58页估计的多元回归方程第八页，本课件共有58页估计的多元回归的方程(estimated multiple regression equation)1.用样本统计量 估计回归方程中的 参数 时得到的方程2.由最小二乘法求得 是是 估计值估计
5、值 是是 y y 的估计值的估计值第九页，本课件共有58页参数的最小二乘估计第十页，本课件共有58页参数的最小二乘法2.2.求求解各回归参数的标准方程如下各回归参数的标准方程如下1.使因变量的观察值与估计值之间的离差平方和达到最小来求得 。即第十一页，本课件共有58页参数的最小二乘法(例题分析)【例例】一家大型商业银行在多个地区设有分行，为弄清楚不良贷款形成的原因，抽取了该银行所属的25家分行2002年的有关业务数据。试建立不良贷款y与贷款余额x1、累计应收贷款x2、贷款项目个数x3和固定资产投资额x4的线性回归方程，并解释各回归系数的含义 第十二页，本课件共有58页9.2 9.2 回归方程的
6、拟合优度回归方程的拟合优度9.2.1 9.2.1 多重判定系数多重判定系数9.2.2 9.2.2 估计标准误差估计标准误差第十三页，本课件共有58页多重判定系数第十四页，本课件共有58页多重判定系数多重判定系数(multiple coefficient of determination)1.回归平方和占总平方和的比例2.计算公式为3.因变量取值的变差中，能被估计的多元回归方程所解释的比例 第十五页，本课件共有58页在样本容量一定的条件下，不断向模型中在样本容量一定的条件下，不断向模型中增加自变量，即使新增的变量与增加自变量，即使新增的变量与Y Y不相关，不相关，模型的模型的R R2 2也可能上
7、升，至少不会下降。也可能上升，至少不会下降。在实际应用中，研究人员更欢迎简单的模在实际应用中，研究人员更欢迎简单的模型，这样的模型更简单和易于解释。如果型，这样的模型更简单和易于解释。如果根据根据R R2 2来选择模型，显然会倾向于复杂的模来选择模型，显然会倾向于复杂的模型。型。更常用的指标是更常用的指标是“修正后的修正后的R Ra a2 2”。修正的判定系数修正的判定系数第十六页，本课件共有58页修正多重判定系数修正多重判定系数(adjusted multiple coefficient of determination)1.用样本容量用样本容量n和自变量的个数和自变量的个数p去修正去修正R
8、2得到得到 2.计算公式为计算公式为3.避免增加自变量而高估避免增加自变量而高估 R24.意义与意义与 R2类似类似5.数值小于数值小于R2第十七页，本课件共有58页估计标准误差 Sy1.对误差项的标准差 的一个估计值2.衡量多元回归方程的拟合优度3.计算公式为第十八页，本课件共有58页9.3 显著性检验9.3.1 线性关系检验线性关系检验9.3.2 回归系数检验和推断回归系数检验和推断第十九页，本课件共有58页线性关系检验第二十页，本课件共有58页线性关系检验1.1.检检验验因因变变量量与与所所有有自自变变量量之之间间的的线线性性关关系系是是否否显显著，也被称为总体的显著性检验著，也被称为总
9、体的显著性检验2.2.检检验验方方法法是是将将回回归归离离差差平平方方和和(SSRSSR)同同剩剩余余离离差差平平方方和和(SSESSE)加加以以比比较较，应应用用 F F 检检验验来来分分析析二二者之间的差别是否显著者之间的差别是否显著如如果果是是显显著著的的，因因变变量量与与自自变变量量之之间间存存在在线线性性关系关系如如果果不不显显著著，因因变变量量与与自自变变量量之之间间不不存存在在线线性性关关系系第二十一页，本课件共有58页线性关系检验1.提出提出假设假设H0：12p=0 线性关系不显著H1：1，2，p至少有一个不等于02.2.计算检验统计量计算检验统计量F F3.3.3.3.确定显
10、著性水平确定显著性水平确定显著性水平确定显著性水平 和分子自由度和分子自由度p p、分母自由度、分母自由度4.4.4.4.n-p n-p n-p n-p-1-1找出临界值找出临界值F F 4.4.作出决策：若作出决策：若F F F F ，拒绝，拒绝H H0 0 0 0第二十二页，本课件共有58页回归系数检验和推断 回归方程显著，并不意味着每个解释变量对因回归方程显著，并不意味着每个解释变量对因变量变量Y Y的影响都重要的影响都重要,因此需要进行检验：因此需要进行检验：回归系数检验的必要性回归系数检验的必要性回归方程显著回归方程显著每个回归系数每个回归系数都显著都显著第二十三页，本课件共有58页
11、回归系数的检验(步骤)1.提出假设H0：i=0 (自变量 xi 与 因变量 y 没有线性关系)H1：i 0 (自变量 xi 与 因变量 y有线性关系)2.计算检验的统计量 t3.确定显著性水平，并进行决策 t t t t，拒绝，拒绝H H0 0；t t t (25-2)=2.0687，所所以以均均拒拒绝绝原原假假设设，说说明明这这4个个自自变变量量两两两两之之间间都都有有显显著著的相关关系的相关关系2.由由表表Excel输输出出的的结结果果可可知知，回回归归模模型型的的线线性性关关系系显显著著(Significance-F1.03539E-06=0.05)。这这也也暗暗示示了了模模型型中中存存
12、在在多重共线性多重共线性3.固固定定资资产产投投资资额额的的回回归归系系数数为为负负号号(-0.029193)，与与预预期期的的不一致不一致第三十二页，本课件共有58页多重共线性问题的处理第三十三页，本课件共有58页多重共线性(问题的处理)1.1.将将一一个个或或多多个个相相关关的的自自变变量量从从模模型型中中剔剔除除，使保留的自变量尽可能不相关使保留的自变量尽可能不相关如果要在模型中保留所有的自变量，则应如果要在模型中保留所有的自变量，则应避免根据避免根据 t t 统计量对单个参数进行检验统计量对单个参数进行检验对对因因变变量量值值的的推推断断(估估计计或或预预测测)的的限限定定在在自自变量
13、样本值的范围内变量样本值的范围内 Excel Excel 输出结果的分析输出结果的分析输出结果的分析输出结果的分析第三十四页，本课件共有58页多元回归中的变量筛选在多元回归中，预先选定的自变量不一定都对在多元回归中，预先选定的自变量不一定都对Y Y有显有显著的影响。有一些统计方法可以帮助我们从众多可能著的影响。有一些统计方法可以帮助我们从众多可能的自变量中筛选出重要的自变量。的自变量中筛选出重要的自变量。SPSSSPSS软件提供了多种筛选自变量的方法：软件提供了多种筛选自变量的方法：“向前引入法（向前引入法（ForwardForward）”“向后剔除法（向后剔除法（BackwardBackwa
14、rd）”“逐步引入逐步引入剔除法（剔除法（StepwiseStepwise）”第三十五页，本课件共有58页逐步回归的思想将变量逐一引入回归方程，先建立与将变量逐一引入回归方程，先建立与y y相关最密切相关最密切的一元线性回归方程，然后再找出第二个变量，建的一元线性回归方程，然后再找出第二个变量，建立二元线性回归方程，立二元线性回归方程，。在每一步中都要对引入变量的显著性作检验，仅当其在每一步中都要对引入变量的显著性作检验，仅当其显著时才引入，而每引入一个新变量后，对前面已引显著时才引入，而每引入一个新变量后，对前面已引进的变量又要逐一检验，一旦发现某变量变得不显著进的变量又要逐一检验，一旦发现
15、某变量变得不显著了，就要将它剔除。了，就要将它剔除。这些步骤反复进行，直到引入的变量都是显著的而没这些步骤反复进行，直到引入的变量都是显著的而没有引入的变量都是不显著的时，就结束挑选变量的工有引入的变量都是不显著的时，就结束挑选变量的工作。作。可以设定引入和删除变量的条件。可以设定引入和删除变量的条件。第三十六页，本课件共有58页9.5 非线性回归9.5.1 双曲线双曲线9.5.2 幂函数曲线幂函数曲线9.5.3 对数曲线对数曲线第三十七页，本课件共有58页非线性回归非线性回归1.1.因变量因变量 y y 与与 x x 之间不是线性关系之间不是线性关系2.2.可通过变量代换转换成线性关系可通过
16、变量代换转换成线性关系3.3.用最小二乘法求出参数的估计值用最小二乘法求出参数的估计值4.4.并并非非所所有有的的非非线线性性模模型型都都可可以以化化为为线线性性模型模型第三十八页，本课件共有58页双曲线 0 0 01.基本形式：2.线性化方法令：y=1/y，x=1/x,则有y=+x3.图像第三十九页，本课件共有58页幂函数曲线1.基本形式：2.线性化方法两端取对数得：lg y=lg+lg x令：y=lgy，x=lg x，则y=lg+x3.图像00 1 1 1 1 =1=1-1-1 0 0 -1-1 =-1=-1 第四十页，本课件共有58页对数曲线1.基本形式：2.线性化方法x=lnx,则有y
17、=+x3.图像 0 0 0 0 第四十一页，本课件共有58页指数曲线1.基本形式：2.线性化方法两端取对数得：lny=ln+x令：y=lny，则有y=ln+x3.图像 第四十二页，本课件共有58页S 型曲线1.基本形式：2.线性化方法令：y=1/y，x=e-x,则有y=+x3.图像第四十三页，本课件共有58页非线性回归(例题分析)【例例】一种商品的需求量与其价格有一定的关系。现对一定时期内的商品价格x与需求量y进行观察，取得的样本数据如下表。试判断商品价格与需求量之间回归函数的类型，并求需求量对价格的回归方程废品率与生产率的关系废品率与生产率的关系价格价格(元元)x12345678910需求量
18、需求量(千克千克)y58504438343029262524第四十四页，本课件共有58页非线性回归(例题分析)价格与需求量的散点图价格与需求量的散点图第四十五页，本课件共有58页非线性回归(例题分析)1.用双曲线模型：2.按线性回归的方法求解和，得第四十六页，本课件共有58页SPSS中可以进行的曲线回归包括：第四十七页，本课件共有58页曲线回归的计算机实现：SpssSpss：analyzeanalyzeregressioncurve estimation；EviewsEviews：quickquickestimate equation。第四十八页，本课件共有58页例题：我国我国19782002
19、19782002年人均年人均GDPGDP数据（数据（19781978年不年不变价），试建立人均变价），试建立人均GDPGDP与时间之间的回归方程与时间之间的回归方程。第四十九页，本课件共有58页1 1、画出散点图、画出散点图第五十页，本课件共有58页2 2、计算相关系数、计算相关系数第五十一页，本课件共有58页3 3、进行回归、进行回归第五十二页，本课件共有58页3 3、进行回归、进行回归第五十三页，本课件共有58页4 4、精细比较、精细比较（1 1）二次曲线：决定系数）二次曲线：决定系数（2 2）三次曲线：决定系数）三次曲线：决定系数第五十四页，本课件共有58页4 4、精细比较、精细比较（1
20、 1）二次曲线：）二次曲线：F F检验检验（2 2）三次曲线：）三次曲线：F F检验检验第五十五页，本课件共有58页4 4、精细比较、精细比较（1 1）二次曲线：回归系数）二次曲线：回归系数（2 2）三次曲线：回归系数）三次曲线：回归系数第五十六页，本课件共有58页本章小结本章小结1.1.变量间关系的度量变量间关系的度量2.2.回归模型、回归方程与估计的回归方程回归模型、回归方程与估计的回归方程3.3.回归直线的拟合优度回归直线的拟合优度4.4.回归分析中的显著性检验回归分析中的显著性检验5.5.用用Excel SPSS Excel SPSS 进行回归分析进行回归分析第五十七页，本课件共有58页结结 束束第五十八页，本课件共有58页