《统计建模回归分析幻灯片.ppt》由会员分享，可在线阅读，更多相关《统计建模回归分析幻灯片.ppt（62页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、统计建模回归分析第1页，共62页，编辑于2022年，星期二相关分析相关分析n对对于于现现实实世世界界，不不仅仅要要知知其其然然，而而且且要要知知其其所所以以然然。顾顾客客对对商商品品和和服服务务的的反反映映对对于于企企业业是至关重要的，是至关重要的，n但但是是仅仅仅仅有有满满意意顾顾客客的的比比例例是是不不够够的的；商商家家希希望望了了解解什什么么是是影影响响顾顾客客观观点点的的因因素素，及这些因素如何起作用。及这些因素如何起作用。n类类似似地地，医医疗疗卫卫生生部部门门不不能能仅仅仅仅知知道道某某流流行行病病的的发发病病率率，而而且且想想知知道道什什么么变变量量影影响响发病率，以及如何影响。
2、发病率，以及如何影响。第2页，共62页，编辑于2022年，星期二相关分析相关分析n发发现现变变量量之之间间的的统统计计关关系系，并并且且用用此此规规律律来来帮帮助助我我们们进进行行决决策策才才是是统统计实践的最终目的。计实践的最终目的。n一一般般来来说说，统统计计可可以以根根据据目目前前所所拥拥有有的的信信息息（数数据据）来来建建立立人人们们所所关关心心的的变变量量和和其其他他有有关关变变量量的的关关系系。这种关系一般称为这种关系一般称为模型（模型（model）。第3页，共62页，编辑于2022年，星期二n如如果果两两个个定定量量变变量量没没有有关关系系，就就谈谈不不上上建建立立模模型型或或进
3、进行行回回归归。但但怎怎样样才才能能发发现现两两个个变变量量有有没没有有关关系呢？系呢？n最最简简单单的的直直观观办办法法就就是是画画出出它它们们的的散散点点图图。下下面面是是四四组组数数据据的的散散点点图图；每每一一组组数数据据表表示示了了两两个个变变量量x和和y的样本。的样本。第4页，共62页，编辑于2022年，星期二不相关不相关 正线性相关正线性相关 负线性相关负线性相关 相关但非线性相关相关但非线性相关 第5页，共62页，编辑于2022年，星期二nPearson相相关关系系数数（Pearsons correlation coefficient）又叫相关系数或线性相关系数nKendall
4、 t t 相关系数（相关系数（Kendalls t t）nSpearman 秩秩 相相 关关 系系 数数（Spearman rank correlation coefficient 或或Spearmans r r）相关性的度量第6页，共62页，编辑于2022年，星期二n相关系数也是取值在-1和1之间n当两个变量有很强的线性相关时，相关系数接近于1（正相关）或-1（负相关）n当两个变量不那么线性相关时，相关系数就接近0。第7页，共62页，编辑于2022年，星期二SPSS的的相关分析相关分析n相关分析相关分析(hischool.sav）n利利 用用 SPSS选选 项项：AnalizeCorrela
5、teBivariaten再再把把两两个个有有关关的的变变量量(这这里里为为j3和和s1)选选入入，选选择择Pearson，Spearman和和Kendall就就可可以以得得出出这这三三个个相相关关系系数数和和有有关关的的检检验验结结果果了了(零零假假设设均均为为不相关不相关)。第8页，共62页，编辑于2022年，星期二n例例1 有有50个个从从初初中中升升到到高高中中的的学学生生。为为了了比比较较初初三三的的成成绩绩是是否否和和高高中中的的成成绩绩相相关关，得得到到了了他他们们在在初初三三和和高高一一 的的 各各 科科 平平 均均 成成 绩绩(数数 据据 在在highschool.sav)。这
6、这两两个个成成绩绩的的散散点点图图如如下。下。第9页，共62页，编辑于2022年，星期二但对于具体个人来说，大约有一半的学生的高一但对于具体个人来说，大约有一半的学生的高一平均成绩比初三时下降，而另一半没有变化或有平均成绩比初三时下降，而另一半没有变化或有进步进步第10页，共62页，编辑于2022年，星期二n目目前前的的问问题题是是怎怎么么判判断断这这两两个个变变量量是是否否相相关关、如如何何相相关关及及如如何度量相关？何度量相关？n能能否否以以初初三三成成绩绩为为自自变变量量，高高一一成成绩绩为为因因变变量量来来建建立立一一个个回回归归模模型型以以描描述述这这样样的的关关系系，或或用于预测。
7、用于预测。第11页，共62页，编辑于2022年，星期二n该该数数据据中中，除除了了初初三三和和高高一一的的成成绩绩之之外外，还还有有一一个个定定性性变变量量（没没有有出出现现在在上上面面的的散散点点图图中中）。它它是是学学生生在在高高一一时时的的家家庭庭收收入入状状况况；它它有有三三个个水水平平：低低、中中、高高，分分别别在在数数据据中中用用1、2、3表示。表示。第12页，共62页，编辑于2022年，星期二为研究家庭收入情况对学生成绩变化的为研究家庭收入情况对学生成绩变化的影响，下面点出两个盒形图，左边一个影响，下面点出两个盒形图，左边一个是不同收入群体的高一成绩的盒形图，是不同收入群体的高一
8、成绩的盒形图，右边一个是不同收入群体的高一和初三右边一个是不同收入群体的高一和初三成绩之差的盒形图。成绩之差的盒形图。第13页，共62页，编辑于2022年，星期二n到到底底学学生生在在高高一一的的家家庭庭收收入入对对成成绩有影响吗？是什么样的影响？绩有影响吗？是什么样的影响？n是是否否可可以以取取初初三三成成绩绩（这这是是定定量量变变量量）或或（和和）家家庭庭收收入入（定定性性变变量量）为为自自变变量量，而而取取高高一一成成绩绩为为因因变变量量，来来建建立立一一个个描描述述这这些些变量之间关系的回归模型呢？变量之间关系的回归模型呢？第14页，共62页，编辑于2022年，星期二n初初三三和和高高
9、一一成成绩绩的的Pearson相相关关系系数数，Kendall t t 相相关关系系数数和和Spearman 秩秩相相关系数分别为关系数分别为0.795,0.595和和0.758。n这这三三个个统统计计量量相相关关的的检检验验(零零假假设设均均为为不不相相关关)全全部部显显著著，p-值值都都是是0.000。注注意意这这种种0.000的的表表示示并并不不表表示示这这些些p-值值恰恰好好等等于于零零，只只是是小小数数点点前前三三位位是是0而已。而已。第15页，共62页，编辑于2022年，星期二一元线性回归分析一元线性回归分析n对对例例1中中的的两两个个变变量量的的数数据据进进行行线线性性回回归归，
10、就就是是要要找找到到一一条条直直线线来来适适当当地地代代表表图图1中中的那些点的趋势。的那些点的趋势。n首首先先需需要要确确定定选选择择这这条条直直线线的的标标准准。这这里里介介 绍绍最最 小小 二二 乘乘 回回 归归（least squares regression）。古古汉汉语语“二二乘乘”是是平平方方的的意意思。思。n这这就就是是寻寻找找一一条条直直线线，使使得得所所有有点点到到该该直直线线的的豎豎直直距距离离的的平平方方和和最最小小。用用数数据据寻寻找找一一条条直直线线的的过过程程也也叫叫做做拟拟合合（fit）一一条条直直线。线。第16页，共62页，编辑于2022年，星期二 1.1.一
11、元线性回归的基本概念一元线性回归的基本概念 一元线性回归可用来分析自变量一元线性回归可用来分析自变量x取值与因取值与因变量变量Y 取值的内在联系，不过这里的自变量取值的内在联系，不过这里的自变量x是是确定性的变量，因变量确定性的变量，因变量Y Y是随机性的变量。是随机性的变量。进行进行n n次独立试验，测得数据如下：次独立试验，测得数据如下：一元线性回归第17页，共62页，编辑于2022年，星期二由回归方程可以推出由回归方程可以推出 根据样本及其观测值可以得到根据样本及其观测值可以得到、及及2 2的估计量及估计值的估计量及估计值 得到回归方程的估计式或经验回归方程得到回归方程的估计式或经验回归
12、方程 一元线性回归第18页，共62页，编辑于2022年，星期二有多种确定回归方程也就是确定未知参数有多种确定回归方程也就是确定未知参数 的方法，其中最常用的是最小的方法，其中最常用的是最小二乘二乘法，即求出法，即求出 ，使下列函数最小，使下列函数最小一元线性回归第19页，共62页，编辑于2022年，星期二Regression菜单n线性回归：包括简单线性回归和多元线性回归，由Linear过程实现n非线性回归是线性趋势向非线性趋势的拓展，包括Curve Estimation过程和Nonlinear Regression过程第20页，共62页，编辑于2022年，星期二分析步骤n做出散点图,观察变量间
13、的趋势。n考察数据的分布，做必要的预处理分析变量的正态性和方差齐性等问题。n进行线性回归分析n残差分析，检查残差的独立性和正态性n强影响点的诊断和多重共线性问题的判断第21页，共62页，编辑于2022年，星期二常用指标n偏回归系数b反映相应一个自变量上升一个单位时，应变量取值的变动情况n决定系数R2 即相应的相关系数的平方，用R2表示。反映应变量y的全部变异中能够通过回归关系被自变量解释的比例。R2越接近1越好第22页，共62页，编辑于2022年，星期二n回归直线意义的F检验统计量F=平均回归平方和/平均残差平方和。若F值过小说明自变量对因变量的解释力度很差，配合回归直线没有意义（但Sig越小
14、越好）n残差的独立性检验Durbin-Watson检验的参数D的取值范围是0D4，与2越接近表示残差与自变量越独立第23页，共62页，编辑于2022年，星期二SPSS的的回归分析回归分析n自自变变量量和和因因变变量量都都是是定定量量变变量量时时的的线线性性回回归归分分析析(hischool.sav)n利利 用用SPSS选选 项项：AnalizeRegressionLinearn再再把把有有关关的的自自变变量量选选入入Independent，把把因因变变量量选选入入Dependent，然然后后OK即即可可。如如果果自自变变量量有有多个（多元回归模型），只要都选入就行。多个（多元回归模型），只要都
15、选入就行。第24页，共62页，编辑于2022年，星期二n例例1（继继续续）根根据据计计算算，找找到到初初三三成成绩绩和和高高一一成成绩绩的的回回归归直直线线。计计算算机机输输出出给给出出来来截截距距（Constant）26.444和和斜斜率率(变变量量j3的系数的系数)0.651。第25页，共62页，编辑于2022年，星期二截距截距=26.444;斜率斜率=0.651第26页，共62页，编辑于2022年，星期二n这这个个直直线线实实际际上上是是对对所所假假设设的的下下面面线线性性回回归归模模型型的的估估计计（这这里里的的e e是是随随机机误差）：误差）：我们得到的截距和斜率（我们得到的截距和斜
16、率（26.444和和0.651）是对）是对b b0和和b b1的估计。的估计。第27页，共62页，编辑于2022年，星期二n估估计计量量是是个个随随机机变变量量，可可以以用用它它们们的的分分布布构构造造检检验验统统计计量量来来检检验验b b0和和b b1是是否否 显著。假设检验问题：显著。假设检验问题：n计计算算机机输输出出也也给给出出了了这这个个检检验验：t检检验验统计量为统计量为9.089，而，而p-值为值为0.000。第28页，共62页，编辑于2022年，星期二n R2=0.632；这这说说明明这这里里的的自自变变量量可可以以大大约约解解释释63的的因因变变量量的的变变化化。R2越越接接
17、近近1，回回归归就就越越成成功功。由由于于R2有有当当变变量量数数目目增增加加而而增增大大的的缺缺点点，人人们们对对其其进进行行修修改改；有一有一修正的修正的R2（adjusted R square）。第29页，共62页，编辑于2022年，星期二n此此外外，计计算算机机还还计计算算了了一一个个在在零零假假设设下下有有F分分布布的的检检验验统统计计量量，它它是是用用来来检检验验回回归归拟拟合合好坏的（零假设是因变量和自变量没有关系）。好坏的（零假设是因变量和自变量没有关系）。第30页，共62页，编辑于2022年，星期二线性回归方程的残差分析n(一)残差序列的正态性检验:q绘制标准化残差的直方图或
18、累计概率图n(二)残差序列的随机性检验q绘制残差和预测值的散点图,应随机分布在经过零的一条直线上下n(三)残差序列的等方差性检验随机、等方差、独立随机、等方差、独立随机、异方差、独立随机、异方差、独立非独立非独立第31页，共62页，编辑于2022年，星期二线性回归方程的残差分析线性回归方程的残差分析(四)残差序列独立性检验:n残差序列是否存在后期值与前期值相关的现象,利用D.W(Durbin-Watson)检验nd-w=0:残差序列存在完全正自相关;d-w=4:残差序列存在完全负自相关;0d-w2:残差序列存在某种程度的正自相关;2d-wregression-linearn(2)选择一个变量为
19、因变量进入dependent框n(3)选择一个变量为自变量进入independent框n(4)enter:所选变量全部进入回归方程(默认方法)n(5)对样本进行筛选(selection variable)q利用满足一定条件的样本数据进行回归分析n(6)指定作图时各数据点的标志变量(case labels)第35页，共62页，编辑于2022年，星期二一元线性回归分析操作n(二)statistics选项n(1)基本统计量输出qEstimates:默认.显示回归系数相关统计量.qconfidence intervals:每个非标准化的回归系数95%的置信区间.qDescriptive:各变量均值、标
20、准差和相关系数单侧检验概率.qModel fit:默认.判定系数、估计标准误差、方差分析表、容忍度n(2)Residual框中的残差分析qDurbin-waston:D-W值qcasewise diagnostic:异常值(奇异值)检测(输出预测值及残差和标准化残差)第36页，共62页，编辑于2022年，星期二一元线性回归分析操作n(三)plot选项:图形分析.nStandardize residual plots:绘制残差序列直方图和累计概率图,检测残差的正态性n绘制指定序列的散点图,检测残差的随机性、异方差性qZPRED:标准化预测值 qZRESID:标准化残差qSRESID:学生化残差q
21、produce all partial plot:绘制因变量和所有自变量之间的散点图第37页，共62页，编辑于2022年，星期二多元线性回归多元线性回归人的人的体重体重与与身高、胸围身高、胸围血压值血压值与与年龄、性别、劳动强度、饮食习年龄、性别、劳动强度、饮食习惯、吸烟状况、家族史惯、吸烟状况、家族史糖尿病人的糖尿病人的血糖血糖与与胰岛素、糖化血红蛋白、胰岛素、糖化血红蛋白、血清总胆固醇、甘油三脂血清总胆固醇、甘油三脂第38页，共62页，编辑于2022年，星期二多元线性回归分析多元线性回归分析n一一般般的的有有k个个（定定量量）自自变变量量x1,x2,xk的的对对因因变变量量y的的线线性性回
22、回归归模模型型称称为为多多元元回回归归，模型为模型为n这这里里b b0,b b1,b bk称称为为回回归归系系数数。对对统统计计软软件件来来说说，计计算算多多个个自自变变量量的的回回归归和计算一个自变量的情况类似。和计算一个自变量的情况类似。第39页，共62页，编辑于2022年，星期二多元回归分析数据格式多元回归分析数据格式第40页，共62页，编辑于2022年，星期二多元线性回归分析的一般步骤多元线性回归分析的一般步骤 第41页，共62页，编辑于2022年，星期二多元回归的假设检验第42页，共62页，编辑于2022年，星期二自变量的挑选n在多个自变量中，对因变量起决定性作用的往往只有少数一部分
23、。系统可以根据因变量作用的大小，从选定的自变量中筛选出一部分变量作为回归模型的自变量n留在模型中的自变量应该是对因变量的变化贡献较大的变量第43页，共62页，编辑于2022年，星期二多元线性回归分析中的自变量筛选n(一)自变量筛选的目的 n多元回归分析引入多个自变量.如果引入的自变量个数较少,则不能很好的说明因变量的变化;n并非自变量引入越多越好.原因:q有些自变量可能对因变量的解释没有贡献q自变量间可能存在较强的线性关系,即:多重共线性.因而不能全部引入回归方程.第44页，共62页，编辑于2022年，星期二多元线性回归分析中的自变量筛选n(二)自变量向前筛选法(forward):n即:自变量
24、不断进入回归方程的过程.n首先,选择与因变量具有最高相关系数的自变量进入方程,并进行各种检验;n其次,在剩余的自变量中寻找偏相关系数最高的变量进入回归方程,并进行检验;q默认:回归系数检验的概率值小于PIN(0.05)才可以进入方程.n反复上述步骤,直到没有可进入方程的自变量为止.第45页，共62页，编辑于2022年，星期二多元线性回归分析中的自变量筛选n(三)自变量向后筛选法(backward):n即:自变量不断剔除出回归方程的过程.n首先,将所有自变量全部引入回归方程；n其次,在一个或多个t值不显著的自变量中将t值最小的那个变量剔除出去,并重新拟和方程和进行检验;q默认:回归系数检验值大于
25、POUT(0.10),则剔除出方程n如果新方程中所有变量的回归系数t值都是显著的,则变量筛选过程结束.n否则,重复上述过程,直到无变量可剔除为止.第46页，共62页，编辑于2022年，星期二多元线性回归分析中的自变量筛选n(四)自变量逐步筛选法(stepwise):n即:是“向前法”和“向后法”的结合。n向前法只对进入方程的变量的回归系数进行显著性检验，而对已经进入方程的其他变量的回归系数不再进行显著性检验，即：变量一旦进入方程就不会被剔除n随着变量的逐个引进，由于变量之间存在着一定程度的相关性，使得已经进入方程的变量其回归系数不再显著，因此会造成最后的回归方程可能包含不显著的变量。n逐步筛选
26、法则在变量的每一个阶段都考虑剔除一个变量的可能性。第47页，共62页，编辑于2022年，星期二线性回归分析中的共线性检测n(一)共线性带来的主要问题n高度的多重共线性会使回归系数的标准差随自变量相关性的增大而不断增大,以至使回归系数的置信区间不断增大,造成估计值精度减低.n回归方程检验显著但所有偏回归系数均检验不显著n偏回归系数估计值大小或符号与常识不符n定性分析对因变量肯定有显著影响的因素，在多元分析中检验不显著，不能纳入方程n去除一个变量，偏回归系数估计值发生巨大变化第48页，共62页，编辑于2022年，星期二线性回归分析中的共线性检测n(二)共线性诊断n自变量的容忍度(tolerance
27、)和方差膨胀因子q容忍度:Toli=1-Ri2.其中:Ri2是自变量xi与方程中其他自变量间的复相关系数的平方.q容忍度越大则与方程中其他自变量的共线性越低,应进入方程.(具有太小容忍度的变量不应进入方程,spss会给出警告)(据经验T0.1一般认为具有多重共线性)q方差膨胀因子(VIF):容忍度的倒数qSPSS在回归方程建立过程中不断计算待进入方程自变量的容忍度,并显示目前的最小容忍度第49页，共62页，编辑于2022年，星期二线性回归分析中的共线性检测n(二)共线性诊断n用特征根刻画自变量的方差q如果自变量间确实存在较强的相关关系，那么它们之间必然存在信息重叠，于是可从这些自变量中提取出既
28、能反映自变量信息(方差)又相互独立的因素(成分)来.q从自变量的相关系数矩阵出发，计算相关系数矩阵的特征根，得到相应的若干成分.q如果特征根中有一个特征根值远远大于其他特征根的值，则仅一个特征根就基本刻画所有自变量绝大部分信息，自变量间一定存在相当多的重叠信息q如果某个特征根既能够刻画某个自变量方差的较大部分比例(如大于0.7),同时又可以刻画另一个自变量方差的较大部分比例，则表明这两个自变量间存在较强的多重共线性。第50页，共62页，编辑于2022年，星期二线性回归分析中的共线性检测n(二)共线性诊断n条件指标q0k=30 可能存在；k=100 严重第51页，共62页，编辑于2022年，星期
29、二多重共线性的对策n增大样本量（不太可能）n多种自变量筛选方法结合（选择最优方程）n人为去除次要变量（定性分析为较次要，或无需分析）n主成分回归分析（提取因子作为影响因素）第52页，共62页，编辑于2022年，星期二多元线性回归分析操作n(一)基本操作步骤n(1)菜单选项:analyze-regression-linearn(2)选择一个变量为因变量进入dependent框n(3)选择一个或多个变量为自变量进入independent框n(4)选择多元回归分析的自变量筛选方法:qenter:所选变量全部进入回归方程(默认方法)qremove:从回归方程中剔除变量qstepwise:逐步筛选；ba
30、ckward:向后筛选；forward:向前筛选n(5)对样本进行筛选(selection variable)q利用满足一定条件的样本数据进行回归分析n(6)指定作图时各数据点的标志变量(case labels)第53页，共62页，编辑于2022年，星期二多元线性回归分析操作n(二)statistics选项n(1)基本统计量输出qPart and partial correlation:与Y的简单相关、偏相关和部分相关qR square change:每个自变量进入方程后R2及F值的变化量qCollinearity dignostics:共线性诊断.第54页，共62页，编辑于2022年，星期二
31、多元线性回归分析操作n(三)options选项:nstepping method criteria:逐步筛选法参数设置.quse probability of F:以F值相伴概率作为变量进入和剔除方程的标准.一个变量的F值显著性水平小于entry(0.05)则进入方程;大于removal(0.1)则剔除出方程.因此:Entryremovalquse F value:以F值作为变量进入(3.84)和剔除(2.71)方程的标准n(四)save选项:n 将回归分析结果保存到数据编辑窗口中或某磁盘文件中第55页，共62页，编辑于2022年，星期二线性回归分析中的异方差问题n(一)什么是异方差q回归模型
32、要求残差序列服从均值为0并具有相同方差的正态分布,即:残差分布幅度不应随自变量或因变量的变化而变化.否则认为出现了异方差现象n(二)举例理解异方差n收入水平和消费种类n打字时间和出错类型第56页，共62页，编辑于2022年，星期二线性回归分析中的异方差问题n(三)异方差诊断q可以通过绘制标准化残差序列和因变量预测值(或每个自变量)的散点图来识别是否存在异方差n(四)异方差处理q实施方差稳定性变换n残差与yi(预测值)的平方根呈正比：对yi开平方n残差与yi(预测值)呈正比:对yi取对数.n残差与yi(预测值)的平方呈正比,则1/yi第57页，共62页，编辑于2022年，星期二曲线估计(curv
33、e estimate)n(一)目的:n 在一元回归分析或时间序列中,因变量与自变量(时间)之间的关系不呈线性关系,但通过适当处理,可以转化为线性模型.可进行曲线估计.第58页，共62页，编辑于2022年，星期二曲线估计(curve estimate)n(二)曲线估计的常用模型:(t为时间,也可为某一自变量)ny=b0+b1t(线性拟合linear)ny=b0+b1t+b2t2(二次曲线quadratic)ny=b0+b1t+b2t2+b3t3(三次曲线cubic)ny=b0*b1t(复合曲线Compound)ny=e(b0+b1t)(Growth)ny=b0+b1lnt(对数曲线Logarit
34、hmic)ny=e(b0+b1/t)(S曲线)ny=b0eb1t(指数曲线Exponential)ny=b0+b1/t(Inverse)ny=b0tb1(乘幂曲线Power)ny=1/(1/u+b0*b1t)(Logistic曲线)第59页，共62页，编辑于2022年，星期二幂函数2.线性化方法两端取对数得：两端取对数得：log log y y=log=log +loglog x x令：令：y y =log=logy y，x x=log=log x x，则则y y =loglog +x x 1.基本形式：3.图像00 1 1 1 1 =1=1-1-1 0 0 -1 regression-cur
35、ve estimationn(3)选择因变量到dependent框n(4)选择自变量到independent框或选time以时间作自变量n(5)选择模型(R2最高拟和效果最好)第61页，共62页，编辑于2022年，星期二曲线估计(curve estimate)n(四)其他选项n(1)display ANOVA table:方差分析表n(2)plot models:绘制观察值和预测值的对比图.n(3)save选项:qpredicted values:保存预测值.qResidual:保存残差值.qprediction interval:保存预测值的默认95%的可置信区间.qPredict case:以time作自变量进行预测.nPredict from estimation period through last case:计算保存所有预测值.nPredict through:如果预测周期超过了数据文件的最后一个观测期,选择此项,并输入预测期数.第62页，共62页，编辑于2022年，星期二