《第九章 多元相关与回归分析PPT讲稿.ppt》由会员分享，可在线阅读，更多相关《第九章 多元相关与回归分析PPT讲稿.ppt（58页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第九章 多元相关与回归分析第1页，共58页，编辑于2022年，星期二学习目标1.回归模型、回归方程、估计的回归方程回归模型、回归方程、估计的回归方程2.回归方程的拟合优度回归方程的拟合优度3.回归方程的显著性检验回归方程的显著性检验4.利用回归方程进行估计和预测利用回归方程进行估计和预测5.非线性回归非线性回归6.用用 SPSS 进行回归分析进行回归分析第2页，共58页，编辑于2022年，星期二9.1 9.1 多元线性回归模型多元线性回归模型9.1.1 9.1.1 多元回归模型与回归方程多元回归模型与回归方程9.1.2 9.1.2 估计的多元回归方程估计的多元回归方程9.1.3 9.1.3 参
2、数的最小二乘估计参数的最小二乘估计第3页，共58页，编辑于2022年，星期二多元回归模型与回归方程多元回归模型与回归方程第4页，共58页，编辑于2022年，星期二多元回归模型(multiple regression model)1.一个因变量与两个及两个以上自变量的回归2.描述因变量 y 如何依赖于自变量 x1，x2，xp 和误差项 的方程，称为多元回归模型3.涉及 p 个自变量的多元回归模型可表示为 0 0 ，1 1，p p是参数是参数 是被称为误差项的随机变量是被称为误差项的随机变量 y y 是是x x1,1,，x x2 2 ，x xp p 的线性函数加上误差项的线性函数加上误差项 包包含
3、含在在y y里里面面但但不不能能被被p p个个自自变变量量的的线线性性关关系系所所解解释的变异性释的变异性第5页，共58页，编辑于2022年，星期二多元回归模型多元回归模型(基本假定基本假定)1.1.误误差差项项是是一一个个期期望望值值为为0 0的的随随机机变变量量，即即E E()=0)=0对对于于自自变变量量x x1 1，x x2 2，x xp p的的所所有有值值，的方差的方差 2 2都相同都相同误误差差项项是是一一个个服服从从正正态态分分布布的的随随机机变变量，即量，即-N N(0,(0,2 2)，且相互独立且相互独立第6页，共58页，编辑于2022年，星期二多元回归方程多元回归方程 (m
4、ultiple regression equation)(multiple regression equation)1.描述因变量 y 的平均值或期望值如何依赖于自变量 x1，x2，xp的方程2.多元线性回归方程的形式为3.E(y)=0+1 x1+2 x2+p xp 1 1，p p称为偏回归系数称为偏回归系数 i i 表表示示假假定定其其他他变变量量不不变变，当当 x xi i 每每变变动动一一个单位时，个单位时，y y 的平均变动值的平均变动值第7页，共58页，编辑于2022年，星期二估计的多元回归方程第8页，共58页，编辑于2022年，星期二估计的多元回归的方程(estimated mul
5、tiple regression equation)1.用样本统计量 估计回归方程中的 参数 时得到的方程2.由最小二乘法求得 是是 估计值估计值 是是 y y 的估计值的估计值第9页，共58页，编辑于2022年，星期二参数的最小二乘估计第10页，共58页，编辑于2022年，星期二参数的最小二乘法2.2.求求解解各回归参数的标准方程如下各回归参数的标准方程如下1.使使因因变变量量的的观观察察值值与与估估计计值值之之间间的的离离差差平平方方和和达达到到最最小来求得小来求得 。即。即第11页，共58页，编辑于2022年，星期二参数的最小二乘法(例题分析)【例例】一家大型商业银行在多个地区设有分行，
6、为弄清楚不良贷款形成的原因，抽取了该银行所属的25家分行2002年的有关业务数据。试建立不良贷款y与贷款余额x1、累计应收贷款x2、贷款项目个数x3和固定资产投资额x4的线性回归方程，并解释各回归系数的含义 第12页，共58页，编辑于2022年，星期二9.2 9.2 回归方程的拟合优度回归方程的拟合优度9.2.1 9.2.1 多重判定系数多重判定系数9.2.2 9.2.2 估计标准误差估计标准误差第13页，共58页，编辑于2022年，星期二多重判定系数第14页，共58页，编辑于2022年，星期二多重判定系数多重判定系数(multiple coefficient of determination
7、)1.回归平方和占总平方和的比例2.计算公式为3.因变量取值的变差中，能被估计的多元回归方程所解释的比例 第15页，共58页，编辑于2022年，星期二在样本容量一定的条件下，不断向模型中在样本容量一定的条件下，不断向模型中增加自变量，即使新增的变量与增加自变量，即使新增的变量与Y Y不相关，不相关，模型的模型的R R2 2也可能上升，至少不会下降。也可能上升，至少不会下降。在实际应用中，研究人员更欢迎简单的模在实际应用中，研究人员更欢迎简单的模型，这样的模型更简单和易于解释。如果型，这样的模型更简单和易于解释。如果根据根据R R2 2来选择模型，显然会倾向于复杂的模来选择模型，显然会倾向于复杂
8、的模型。型。更常用的指标是更常用的指标是“修正后的修正后的R Ra a2 2”。修正的判定系数修正的判定系数第16页，共58页，编辑于2022年，星期二修正多重判定系数修正多重判定系数(adjusted multiple coefficient of determination)1.用样本容量用样本容量n和自变量的个数和自变量的个数p去修正去修正R2得到得到 2.计算公式为计算公式为3.避免增加自变量而高估避免增加自变量而高估 R24.意义与意义与 R2类似类似5.数值小于数值小于R2第17页，共58页，编辑于2022年，星期二估计标准误差 Sy1.对误差项的标准差 的一个估计值2.衡量多元回
9、归方程的拟合优度3.计算公式为第18页，共58页，编辑于2022年，星期二9.3 显著性检验9.3.1 线性关系检验线性关系检验9.3.2 回归系数检验和推断回归系数检验和推断第19页，共58页，编辑于2022年，星期二线性关系检验第20页，共58页，编辑于2022年，星期二线性关系检验1.1.检检验验因因变变量量与与所所有有自自变变量量之之间间的的线线性性关关系系是是否否显显著著，也被称为总体的显著性检验也被称为总体的显著性检验2.2.检检验验方方法法是是将将回回归归离离差差平平方方和和(SSRSSR)同同剩剩余余离离差差平平方方和和(SSESSE)加加以以比比较较，应应用用 F F 检检验
10、验来来分分析析二二者者之间的差别是否显著之间的差别是否显著如果是显著的，因变量与自变量之间存在线性关系如果是显著的，因变量与自变量之间存在线性关系如果不显著，因变量与自变量之间不存在线性关系如果不显著，因变量与自变量之间不存在线性关系第21页，共58页，编辑于2022年，星期二线性关系检验1.提出提出假设假设H0：12p=0 线性关系不显著H1：1，2，p至少有一个不等于02.2.计算检验统计量计算检验统计量F F3.3.3.3.确定显著性水平确定显著性水平确定显著性水平确定显著性水平 和分子自由度和分子自由度和分子自由度和分子自由度p p、分母自由度、分母自由度、分母自由度、分母自由度4.4
11、.n-p n-p-1-1-1-1找出临界值找出临界值找出临界值找出临界值F F F F 4.4.4.4.作出决策：若作出决策：若作出决策：若作出决策：若F F F F F F ，拒绝，拒绝，拒绝，拒绝H H H H0 0第22页，共58页，编辑于2022年，星期二回归系数检验和推断 回归方程显著，并不意味着每个解释变量对因变量回归方程显著，并不意味着每个解释变量对因变量Y Y的的影响都重要影响都重要,因此需要进行检验：因此需要进行检验：回归系数检验的必要性回归系数检验的必要性回归方程显著回归方程显著每个回归系数每个回归系数都显著都显著第23页，共58页，编辑于2022年，星期二回归系数的检验(
12、步骤)1.提出假设H0：i=0 (自变量 xi 与 因变量 y 没有线性关系)H1：i 0 (自变量 xi 与 因变量 y有线性关系)2.计算检验的统计量 t3.确定显著性水平，并进行决策 t t t t，拒绝，拒绝H H0 0；t t t (25-2)=2.0687，所所以以均均拒拒绝绝原原假假设设，说说明明这这4个个自自变变量量两两两两之之间间都都有有显显著著的的相相关关关系关系2.由由表表Excel输输出出的的结结果果可可知知，回回归归模模型型的的线线性性关关系系显显著著(Significance-F1.03539E-06=0.05)。这也暗示了模型中存在多重共线性。这也暗示了模型中存在
13、多重共线性3.固固定定资资产产投投资资额额的的回回归归系系数数为为负负号号(-0.029193)，与与预预期期的的不不一一致致第32页，共58页，编辑于2022年，星期二多重共线性问题的处理第33页，共58页，编辑于2022年，星期二多重共线性(问题的处理)1.1.将将一一个个或或多多个个相相关关的的自自变变量量从从模模型型中中剔剔除除，使保留的自变量尽可能不相关使保留的自变量尽可能不相关如果要在模型中保留所有的自变量，则应如果要在模型中保留所有的自变量，则应避免根据避免根据 t t 统计量对单个参数进行检验统计量对单个参数进行检验对对因因变变量量值值的的推推断断(估估计计或或预预测测)的的限
14、限定定在在自自变量样本值的范围内变量样本值的范围内 Excel Excel 输出结果的分析输出结果的分析输出结果的分析输出结果的分析第34页，共58页，编辑于2022年，星期二多元回归中的变量筛选在多元回归中，预先选定的自变量不一定都对在多元回归中，预先选定的自变量不一定都对Y Y有有显著的影响。有一些统计方法可以帮助我们从众多显著的影响。有一些统计方法可以帮助我们从众多可能的自变量中筛选出重要的自变量。可能的自变量中筛选出重要的自变量。SPSSSPSS软件提供了多种筛选自变量的方法：软件提供了多种筛选自变量的方法：“向前引入法（向前引入法（ForwardForward）”“向后剔除法（向后剔
15、除法（BackwardBackward）”“逐步引入逐步引入剔除法（剔除法（StepwiseStepwise）”第35页，共58页，编辑于2022年，星期二逐步回归的思想将变量逐一引入回归方程，先建立与将变量逐一引入回归方程，先建立与y y相关最密切的相关最密切的一元线性回归方程，然后再找出第二个变量，建立二一元线性回归方程，然后再找出第二个变量，建立二元线性回归方程，元线性回归方程，。在每一步中都要对引入变量的显著性作检验，仅当在每一步中都要对引入变量的显著性作检验，仅当其显著时才引入，而每引入一个新变量后，对前面其显著时才引入，而每引入一个新变量后，对前面已引进的变量又要逐一检验，一旦发现
16、某变量变得已引进的变量又要逐一检验，一旦发现某变量变得不显著了，就要将它剔除。不显著了，就要将它剔除。这些步骤反复进行，直到引入的变量都是显著的而这些步骤反复进行，直到引入的变量都是显著的而没有引入的变量都是不显著的时，就结束挑选变量没有引入的变量都是不显著的时，就结束挑选变量的工作。的工作。可以设定引入和删除变量的条件。可以设定引入和删除变量的条件。第36页，共58页，编辑于2022年，星期二9.5 非线性回归9.5.1 双曲线双曲线9.5.2 幂函数曲线幂函数曲线9.5.3 对数曲线对数曲线第37页，共58页，编辑于2022年，星期二非线性回归非线性回归1.1.因变量因变量 y y 与与
17、x x 之间不是线性关系之间不是线性关系2.2.可通过变量代换转换成线性关系可通过变量代换转换成线性关系3.3.用最小二乘法求出参数的估计值用最小二乘法求出参数的估计值4.4.并并非非所所有有的的非非线线性性模模型型都都可可以以化化为为线线性性模型模型第38页，共58页，编辑于2022年，星期二双曲线 0 0 01.基本形式：2.线性化方法令：y=1/y，x=1/x,则有y=+x3.图像第39页，共58页，编辑于2022年，星期二幂函数曲线1.基本形式：2.线性化方法两端取对数得：lg y=lg+lg x令：y=lgy，x=lg x，则y=lg+x3.图像00 1 1 1 1 =1=1-1-1
18、 0 0 -1-1 =-1=-1 第40页，共58页，编辑于2022年，星期二对数曲线1.基本形式：2.线性化方法x=lnx,则有y=+x3.图像 0 0 0 0 第41页，共58页，编辑于2022年，星期二指数曲线1.基本形式：2.线性化方法两端取对数得：lny=ln+x令：y=lny，则有y=ln+x3.图像 第42页，共58页，编辑于2022年，星期二S 型曲线1.基本形式：2.线性化方法令：y=1/y，x=e-x,则有y=+x3.图像第43页，共58页，编辑于2022年，星期二非线性回归(例题分析)【例例】一种商品的需求量与其价格有一定的关系。现对一定时期内的商品价格x与需求量y进行观
19、察，取得的样本数据如下表。试判断商品价格与需求量之间回归函数的类型，并求需求量对价格的回归方程废品率与生产率的关系废品率与生产率的关系价格价格(元元)x12345678910需求量需求量(千克千克)y58504438343029262524第44页，共58页，编辑于2022年，星期二非线性回归(例题分析)价格与需求量的散点图价格与需求量的散点图第45页，共58页，编辑于2022年，星期二非线性回归(例题分析)1.用双曲线模型：2.按线性回归的方法求解和，得第46页，共58页，编辑于2022年，星期二SPSS中可以进行的曲线回归包括：第47页，共58页，编辑于2022年，星期二曲线回归的计算机实
20、现：SpssSpss：analyzeanalyzeregressioncurve estimation；EviewsEviews：quickquickestimate equation。第48页，共58页，编辑于2022年，星期二例题：我国我国1978200219782002年人均年人均GDPGDP数据（数据（19781978年不年不变价），试建立人均变价），试建立人均GDPGDP与时间之间的回归方程与时间之间的回归方程。第49页，共58页，编辑于2022年，星期二1 1、画出散点图、画出散点图第50页，共58页，编辑于2022年，星期二2 2、计算相关系数、计算相关系数第51页，共58页，编
21、辑于2022年，星期二3 3、进行回归、进行回归第52页，共58页，编辑于2022年，星期二3 3、进行回归、进行回归第53页，共58页，编辑于2022年，星期二4 4、精细比较、精细比较（1 1）二次曲线：决定系数）二次曲线：决定系数（2 2）三次曲线：决定系数）三次曲线：决定系数第54页，共58页，编辑于2022年，星期二4 4、精细比较、精细比较（1 1）二次曲线：）二次曲线：F F检验检验（2 2）三次曲线：）三次曲线：F F检验检验第55页，共58页，编辑于2022年，星期二4 4、精细比较、精细比较（1 1）二次曲线：回归系数）二次曲线：回归系数（2 2）三次曲线：回归系数）三次曲线：回归系数第56页，共58页，编辑于2022年，星期二本章小结本章小结1.1.变量间关系的度量变量间关系的度量2.2.回归模型、回归方程与估计的回归方程回归模型、回归方程与估计的回归方程3.3.回归直线的拟合优度回归直线的拟合优度4.4.回归分析中的显著性检验回归分析中的显著性检验5.5.用用Excel SPSS Excel SPSS 进行回归分析进行回归分析第57页，共58页，编辑于2022年，星期二结结 束束第58页，共58页，编辑于2022年，星期二