《第八章 相关分析和回归分析.ppt》由会员分享，可在线阅读，更多相关《第八章 相关分析和回归分析.ppt（69页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第八章第八章SPSS相关分析与回归分析相关分析与回归分析本章内容8.1 相关分析和回归分析概述相关分析和回归分析概述8.2 相关分析相关分析8.3 偏相关分析偏相关分析8.4 线性回归分析线性回归分析8.5 曲线估计曲线估计8.6 二项二项Logistic回归分析回归分析本章要求本章要求一、相关分析一、相关分析1.简单相关分析简单相关分析(掌握含义掌握含义)2.偏相关分析偏相关分析(掌握含义掌握含义)二、线性回归分析二、线性回归分析1.一元线性回归分析一元线性回归分析(重点掌握拟合优度含义重点掌握拟合优度含义/系数系数显著性检验及含义显著性检验及含义/能够写出回归表达方式能够写出回归表达方式)
2、2.多元线性回归分析多元线性回归分析8.1 相关分析和回归分析概述相关分析和回归分析概述 客观事物之间的关系大致可归纳为两大类，即客观事物之间的关系大致可归纳为两大类，即l函数关系：函数关系：指两事物之间的一种一一对应的关系，如商品指两事物之间的一种一一对应的关系，如商品的销售额和销售量之间的关系。的销售额和销售量之间的关系。l相关关系（统计关系）：相关关系（统计关系）：指两事物之间的一种非一一对应指两事物之间的一种非一一对应的关系，例如家庭收入和支出、子女身高和父母身高之间的关系，例如家庭收入和支出、子女身高和父母身高之间的关系等。相关关系又分为线性相关和非线性相关。的关系等。相关关系又分为
3、线性相关和非线性相关。相关分析和回归分析都是分析客观事物之间相关关相关分析和回归分析都是分析客观事物之间相关关系的数量分析方法。系的数量分析方法。变量关系强度的含义变量关系强度的含义指两个变量相关程度的高低。统计学中是以准实指两个变量相关程度的高低。统计学中是以准实验的思想来分析变量相关的。通常从以下的角度验的思想来分析变量相关的。通常从以下的角度分析：分析：A）两变量是否相互独立。两变量是否相互独立。B）两变量是否有共变趋势。两变量是否有共变趋势。C）一变量的变化多大程度上能由另一变量的变一变量的变化多大程度上能由另一变量的变化来解释。化来解释。双变量的关系强度如何测量？双变量的关系强度如何
4、测量？双变量关系的统计类型双变量关系的统计类型双变量关系强度测量的主要指标双变量关系强度测量的主要指标Kendall 相关系数相关系数8.2 相关分析相关分析 相关分析通过图形和数值两种方式，有效地相关分析通过图形和数值两种方式，有效地揭示事物之间相关关系的强弱程度和形式。揭示事物之间相关关系的强弱程度和形式。8.2.1 散点图散点图 它将数据以点的的形式画在直角坐标系上，它将数据以点的的形式画在直角坐标系上，通过观察散点图能够直观的发现变量间的相关关通过观察散点图能够直观的发现变量间的相关关系及他们的强弱程度和方向。系及他们的强弱程度和方向。8.2.2 相关系数相关系数 利用相关系数进行变量
5、间线性关系的分析通常需利用相关系数进行变量间线性关系的分析通常需要完成以下两个步骤：要完成以下两个步骤：第一，计算样本相关系数第一，计算样本相关系数r；u相关系数相关系数r的取值在的取值在-1+1之间之间uR0表示两变量存在正的线性相关关系；表示两变量存在正的线性相关关系；r0.8表示两变量有较强的线性关系；表示两变量有较强的线性关系；|r|0.3表表示两变量之间的线性关系较弱示两变量之间的线性关系较弱第二，对样本来自的两总体是否存在显著的线性第二，对样本来自的两总体是否存在显著的线性关系进行推断。关系进行推断。对不同类型的变量应采用不同的相关系数来度量，常用对不同类型的变量应采用不同的相关系
6、数来度量，常用的相关系数主要有的相关系数主要有Pearson简单相关系数、简单相关系数、Spearman等等级相关系数和级相关系数和Kendall 相关系数等。相关系数等。8.2.2.1 Pearson简单相关系数（适用于两个变量都是数值简单相关系数（适用于两个变量都是数值型的数据）型的数据）Pearson简单相关系数的检验统计量为：简单相关系数的检验统计量为：8.2.2.2 Spearman等级相关系数Spearman等级相关系数用来度量定序变量间的线性等级相关系数用来度量定序变量间的线性相关关系相关关系，设计思想与，设计思想与Pearson简单相关系数相同，简单相关系数相同，只是数据为非定
7、距的，故计算时并不直接采用原始数只是数据为非定距的，故计算时并不直接采用原始数据据 ，而是利用数据的秩，用两变量的秩，而是利用数据的秩，用两变量的秩 代替代替 代入代入Pearson简单相关系数计算公式中，简单相关系数计算公式中，于是其中的于是其中的 和和 的取值范围被限制在的取值范围被限制在1和和n之间，之间，且可被简化为：且可被简化为：如果两变量的正相关性较强，它们秩的变化具有同步性，于如果两变量的正相关性较强，它们秩的变化具有同步性，于是是 的值较小，的值较小，r趋向于趋向于1；如果两变量的正相关性较弱，它们秩的变化不具有同步性，如果两变量的正相关性较弱，它们秩的变化不具有同步性，于是于
8、是 的值较大，的值较大，r趋向于趋向于0；在小样本下，在零假设成立时，在小样本下，在零假设成立时，Spearman等级相关系数等级相关系数服从服从Spearman分布；在大样本下，分布；在大样本下，Spearman等级相关等级相关系数的检验统计量为系数的检验统计量为Z统计量，定义为：统计量，定义为：Z统计量近似服从标准正态分布。统计量近似服从标准正态分布。8.2.3 计算相关系数的基本操作相关分析用于描述两个变量间关系的密切程度，其特点是变相关分析用于描述两个变量间关系的密切程度，其特点是变量不分主次，被置于同等的地位。量不分主次，被置于同等的地位。在在Analyze的下拉菜单的下拉菜单Cor
9、relate命令项中有三个相关分命令项中有三个相关分析功能子命令析功能子命令Bivariate过程、过程、Partial过程、过程、Distances过程，分别对应着相关分析、偏相关分析和相过程，分别对应着相关分析、偏相关分析和相似性测度（距离）的三个似性测度（距离）的三个spss过程。过程。Bivariate过程用于进行两个或多个变量间的相关分析，过程用于进行两个或多个变量间的相关分析，如为多个变量，给出两两相关的分析结果。如为多个变量，给出两两相关的分析结果。Partial过程，当进行相关分析的两个变量的取值都受过程，当进行相关分析的两个变量的取值都受到其他变量的影响时，就可以利用偏相关分
10、析对其他变量进到其他变量的影响时，就可以利用偏相关分析对其他变量进行控制，输出控制其他变量影响后的偏相关系数。行控制，输出控制其他变量影响后的偏相关系数。Distances过程用于对各样本点之间或各个变量之间过程用于对各样本点之间或各个变量之间进行相似性分析，一般不单独使用，而作为聚类分析和因子进行相似性分析，一般不单独使用，而作为聚类分析和因子分析等的预分析。分析等的预分析。Bivariate相关分析步骤相关分析步骤（1）选择菜单）选择菜单AnalyzeCorrelateBivariate，出现窗口：出现窗口：（2）把参加计算相关系数的变量选到）把参加计算相关系数的变量选到Variables
11、框。框。（3）在）在Correlation Coefficents框中选择计算哪种相关系数。框中选择计算哪种相关系数。（4）在）在Test of Significance框中选择输出相关系数检验的双框中选择输出相关系数检验的双边（边（Two-Tailed）概率）概率p值或单边（值或单边（One-Tailed）概率）概率p值。值。（5）选中）选中Flag significance correlation选项表示分析结果中选项表示分析结果中除显示统计检验的概率除显示统计检验的概率p值外，还输出星号标记，以标明变值外，还输出星号标记，以标明变量间的相关性是否显著；不选中则不输出星号标记。量间的相关性
12、是否显著；不选中则不输出星号标记。（6）在）在Option按钮中的按钮中的Statistics选项中，选中选项中，选中Cross-product deviations and covariances表示输出两变量的表示输出两变量的离差平方和协方差。离差平方和协方差。8.2.4 相关分析应用举例相关分析应用举例 为研究高等院校人文社会科学研究中立项课为研究高等院校人文社会科学研究中立项课题数会受哪些因素的影响，收集题数会受哪些因素的影响，收集1999年年31个省个省市自治区部分高校有关社科研究方面的数据，研市自治区部分高校有关社科研究方面的数据，研究立项课题数（当年）与投入的具有高级职称的究立项
13、课题数（当年）与投入的具有高级职称的人年数（当年）、发表的论文数（上年）之间是人年数（当年）、发表的论文数（上年）之间是否具有较强的线性关系。否具有较强的线性关系。对该问题的研究可以采用相关分析的方法，对该问题的研究可以采用相关分析的方法，首先可绘制矩阵散点图；其次可以计算首先可绘制矩阵散点图；其次可以计算Pearson简单相关系数。简单相关系数。练习：练习：利用住房调查数据进行如下分析：利用住房调查数据进行如下分析：1.分析家庭收入与计划购买住房面积之间的相关性。分析家庭收入与计划购买住房面积之间的相关性。（两个定距变量）（两个定距变量）2.分析文化程度与计划购买住房面积的相关性？分析文化程
14、度与计划购买住房面积的相关性？（定序与定距变量）（定序与定距变量）3.分析文化程度与购买类型的相关性（两个定序）分析文化程度与购买类型的相关性（两个定序）8.3 偏相关分析8.3.1 偏相关分析和偏相关系数偏相关分析和偏相关系数 上节中的相关系数是研究两变量间线性相关性上节中的相关系数是研究两变量间线性相关性的，若还存在其他因素影响，就相关系数本身来讲，的，若还存在其他因素影响，就相关系数本身来讲，它未必是两变量间线性相关强弱的真实体现，往往它未必是两变量间线性相关强弱的真实体现，往往有夸大的趋势。有夸大的趋势。例如，在研究商品的需求量和价格、消费者收例如，在研究商品的需求量和价格、消费者收入
15、之间的线性关系时，需求量和价格之间的相关关入之间的线性关系时，需求量和价格之间的相关关系实际还包含了消费者收入对价格和商品需求量的系实际还包含了消费者收入对价格和商品需求量的影响。在这种情况下，单纯利用相关系数来评价变影响。在这种情况下，单纯利用相关系数来评价变量间的相关性显然是不准确的，而需要在剔除其他量间的相关性显然是不准确的，而需要在剔除其他相关因素影响的条件下计算变量间的相关。偏相关相关因素影响的条件下计算变量间的相关。偏相关的意义就在于此。的意义就在于此。偏相关分析也称净相关分析，它在控制其他变量的偏相关分析也称净相关分析，它在控制其他变量的线性影响的条件下分析两变量间的线性关系，所
16、采线性影响的条件下分析两变量间的线性关系，所采用的工具是偏相关系数。用的工具是偏相关系数。控制变量个数为控制变量个数为1时，偏相关系数称一阶偏相关；时，偏相关系数称一阶偏相关；当控制两个变量时，偏相关系数称为二阶偏相关；当控制两个变量时，偏相关系数称为二阶偏相关；当控制变量的个数为当控制变量的个数为0时，偏相关系数称为零阶偏时，偏相关系数称为零阶偏相关，也就是简单相关系数。相关，也就是简单相关系数。利用偏相关系数进行分析的步骤第一，计算样本的偏相关系数第一，计算样本的偏相关系数 假设有三个变量假设有三个变量y、x1和和x2，在分析，在分析x1和和y之间的净相关时，当控制了之间的净相关时，当控制
17、了x2的线性作用后，的线性作用后，x1和和y之间的一阶偏相关定义为：之间的一阶偏相关定义为：偏相关系数的取值范围及大小含义与相关系数相偏相关系数的取值范围及大小含义与相关系数相同。同。第二，对样本来自的两总体是否存在显著的净相第二，对样本来自的两总体是否存在显著的净相关进行推断关进行推断检验统计量为：检验统计量为：其中，其中，r为偏相关系数，为偏相关系数，n为样本数，为样本数，q为阶为阶数。数。T统计量服从统计量服从n-q-2个自由度的个自由度的t分布。分布。8.3.2 偏相关分析的基本操作1.选择菜单选择菜单AnalyzeCorrelatePartial2.把参与分析的变量选择到把参与分析的
18、变量选择到Variables框中。框中。3.选择一个或多个控制变量到选择一个或多个控制变量到Controlling for框框中。中。4.在在Test of Significance框中选择输出偏相关框中选择输出偏相关检验的双尾概率检验的双尾概率p值或单尾概率值或单尾概率p值。值。5.在在Option按钮中的按钮中的Statistics选项中，选中选项中，选中Zero-order Correlations表示输出零阶偏相表示输出零阶偏相关系数。关系数。至此，至此，SPSS将自动进行偏相关分析和统计检将自动进行偏相关分析和统计检验，并将结果显示到输出窗口。验，并将结果显示到输出窗口。8.3.3
19、偏相关分析的应用举例 上节中研究高校立项课题总数影响因素的相关分上节中研究高校立项课题总数影响因素的相关分析中发现，发现立项课题数与论文数之间有较强正析中发现，发现立项课题数与论文数之间有较强正线性相关关系，但应看到这种关系中可能掺入了投线性相关关系，但应看到这种关系中可能掺入了投入高级职称的人年数的影响，因此，入高级职称的人年数的影响，因此，为研究立项课为研究立项课题总数和发表论文数之间的净相关系数，可以将投题总数和发表论文数之间的净相关系数，可以将投入高级职称的人年数加以控制，进行偏相关分析。入高级职称的人年数加以控制，进行偏相关分析。练习：练习：利用住房调查数据进行如下分析：利用住房调查
20、数据进行如下分析：控制家庭常住人口后，考察家庭收入与计划购买控制家庭常住人口后，考察家庭收入与计划购买住房面积之间的相关性。住房面积之间的相关性。8.4 线性回归分析8.4.1线性回归分析概述线性回归分析概述线性回归分析的内容线性回归分析的内容能否找到一个线性组合来说明一组自变量和因变能否找到一个线性组合来说明一组自变量和因变量的关系量的关系如果能的话，这种关系的强度有多大，也就是利如果能的话，这种关系的强度有多大，也就是利用自变量的线性组合来预测因变量的能力有多强用自变量的线性组合来预测因变量的能力有多强整体解释能力是否具有统计上的显著性意义整体解释能力是否具有统计上的显著性意义在整体解释能
21、力显著的情况下，哪些自变量有显在整体解释能力显著的情况下，哪些自变量有显著意义著意义回归分析的一般步骤回归分析的一般步骤确定回归方程中的解释变量（自变量）和被解释变量确定回归方程中的解释变量（自变量）和被解释变量（因变量）（因变量）确定回归方程确定回归方程对回归方程进行各种检验对回归方程进行各种检验利用回归方程进行预测利用回归方程进行预测8.4.2 线性回归模型线性回归模型 一元线性回归模型的数学模型：一元线性回归模型的数学模型：其中其中x为自变量；为自变量；y为因变量；为因变量；为截距，即为截距，即常量；常量；为回归系数，表明自变量对因变量的影响为回归系数，表明自变量对因变量的影响程度。程度
22、。用最小二乘法求解方程中的两个参数，得到：用最小二乘法求解方程中的两个参数，得到：多元线性回归模型多元线性回归方程：多元线性回归方程：y=0+1x1+2x2+.+kxkn1、2、k为偏回归系数。为偏回归系数。n1表示在其他自变量保持不变的情况下，自变量表示在其他自变量保持不变的情况下，自变量x1变动变动一个单位所引起的因变量一个单位所引起的因变量y的平均变动。的平均变动。8.4.3 线性回归方程的统计检验线性回归方程的统计检验l8.4.3.1回归方程的拟合优度回归方程的拟合优度 回归直线与各观测点的接近程度称为回归方程的拟合优度，回归直线与各观测点的接近程度称为回归方程的拟合优度，也就是也就是
23、样本观测值聚集在回归线周围的紧密程度样本观测值聚集在回归线周围的紧密程度。1、离差平方和的分解：离差平方和的分解：建立直线回归方程可知：建立直线回归方程可知：y y的观测值的总变动的观测值的总变动可由可由 来反映，称为总变差。引起总变差的来反映，称为总变差。引起总变差的原因有两个：原因有两个：n由于由于x x的取值不同，使得与的取值不同，使得与x x有线性关系的有线性关系的y y值不同；值不同；n随机因素的影响。随机因素的影响。xy总离差平方和可分解为 即：总离差平方和（即：总离差平方和（SST)=SST)=剩余离差平方和剩余离差平方和(SST)+(SST)+回归回归离差平方和（离差平方和（S
24、SR)SSR)其中；其中；SSRSSR是由是由x x和和y y的直线回归关系引起的，可以由回归的直线回归关系引起的，可以由回归直线做出解释；直线做出解释；SSESSE是除了是除了x x对对y y的线性影响之外的随机因素所的线性影响之外的随机因素所引起的引起的Y Y的变动，是回归直线所不能解释的。的变动，是回归直线所不能解释的。2 2、可决系数（判定系数、决定系数）、可决系数（判定系数、决定系数）回归平方和在总离差平方和中所占的比例可以作为一个统回归平方和在总离差平方和中所占的比例可以作为一个统计指标，用来衡量计指标，用来衡量X与与Y 的关系密切程度以及回归直线的代表的关系密切程度以及回归直线的
25、代表性好坏，称为可决系数。性好坏，称为可决系数。n对于一元线性回归方程：对于一元线性回归方程：n对于多元线性回归方程：对于多元线性回归方程：在多元线性回归分析中，引起判定系数增加的原因有两个：一个是方程中的解释变量个数增多，另一个是方程中引入了对被解释变量有重要影响的解释变量。如果某个自变量引入方程后对因变量的线性解释有重要贡献，那么必然会使误差平方和显著减小，并使平均的误差平方和也显著减小，从而使调整的判定系数提高。所以在多元线性回归分析中，调整的判定系数比判定系数更能准确的反映回归方程的拟合优度。8.4.3.2回归方程的显著性检验（方差分析回归方程的显著性检验（方差分析F检验）检验）回归方
26、程的显著性检验是要检验被解释变量与所有的解释回归方程的显著性检验是要检验被解释变量与所有的解释变量之间的线性关系是否显著。变量之间的线性关系是否显著。n 对于一元线性回归方程，检验统计量为：对于一元线性回归方程，检验统计量为：n 对于多元线性回归方程，检验统计量为：对于多元线性回归方程，检验统计量为：8.4.3.3回归系数的显著性检验（回归系数的显著性检验（t检验）检验）回归系数的显著性检验是要检验回归方程中被解释变量与回归系数的显著性检验是要检验回归方程中被解释变量与每一个解释变量之间的线性关系是否显著。每一个解释变量之间的线性关系是否显著。n 对于一元线性回归方程，检验统计量为：对于一元线
27、性回归方程，检验统计量为：n对于多元线性回归方程，检验统计量为：对于多元线性回归方程，检验统计量为：8.4.3.4残差分析残差分析 残差是指由回归方程计算得到的预测值与实际样本值之间残差是指由回归方程计算得到的预测值与实际样本值之间的差距，定义为：的差距，定义为：对于线性回归分析来讲，如果方程能够较好的反映被解释对于线性回归分析来讲，如果方程能够较好的反映被解释变量的特征和规律性，那么残差序列中应不包含明显的规律性。变量的特征和规律性，那么残差序列中应不包含明显的规律性。残差分析包括以下内容：残差服从正态分布，其平均值等于残差分析包括以下内容：残差服从正态分布，其平均值等于0；残差取值与；残差
28、取值与X的取值无关；残差不存在自相关；残差方差相的取值无关；残差不存在自相关；残差方差相等。等。1、对于残差均值和方差齐性检验可以利用残差图进行分析。如、对于残差均值和方差齐性检验可以利用残差图进行分析。如果残差均值为零，残差图的点应该在纵坐标为果残差均值为零，残差图的点应该在纵坐标为0的中心的带状的中心的带状区域中随机散落。如果残差的方差随着解释变量值（或被解释区域中随机散落。如果残差的方差随着解释变量值（或被解释变量值）的增加呈有规律的变化趋势，则出现了异方差现象。变量值）的增加呈有规律的变化趋势，则出现了异方差现象。2、DW检验。检验。DW检验用来检验残差的自相关。检验统计量为：检验用来
29、检验残差的自相关。检验统计量为：DW=2表示无自相关，在表示无自相关，在0-2之间说明存在正自相关，之间说明存在正自相关，在在2-4之间说明存在负的自相关。一般情况下，之间说明存在负的自相关。一般情况下，DW值在值在1.5-2.5之间即可说明无自相关现象。之间即可说明无自相关现象。8.4.3.5多重共线性分析多重共线性分析 多重共线性是指解释变量之间存在线性相关关系的现象。多重共线性是指解释变量之间存在线性相关关系的现象。测度多重共线性一般有以下方式：测度多重共线性一般有以下方式：1、容忍度：、容忍度：其中，其中，是第是第i个解释变量与方程中其他解释变量间的复相个解释变量与方程中其他解释变量间
30、的复相关系数的平方，表示解释变量之间的线性相关程度。容忍度的关系数的平方，表示解释变量之间的线性相关程度。容忍度的取值范围在取值范围在0-1之间，越接近之间，越接近0表示多重共线性越强，越接近表示多重共线性越强，越接近1表示多重共线性越弱。表示多重共线性越弱。2、方差膨胀因子、方差膨胀因子VIF。方差膨胀因子是容忍度的倒数。方差膨胀因子是容忍度的倒数。VIF越越大多重共线性越强，当大多重共线性越强，当VIF大于等于大于等于10时，说明存在严重的时，说明存在严重的多重共线性。多重共线性。3、特征根和方差比。根据解释变量的相关系数矩阵求、特征根和方差比。根据解释变量的相关系数矩阵求得的特征根中，如
31、果最大的特征根远远大于其他特征得的特征根中，如果最大的特征根远远大于其他特征根，则说明这些解释变量间具有相当多的重复信息。根，则说明这些解释变量间具有相当多的重复信息。如果某个特征根既能够刻画某解释变量方差的较大部如果某个特征根既能够刻画某解释变量方差的较大部分比例（分比例（0.7以上），又能刻画另一解释变量方差的以上），又能刻画另一解释变量方差的较大部分比例，则表明这两个解释变量间存在较强的较大部分比例，则表明这两个解释变量间存在较强的线性相关关系。线性相关关系。4、条件指数。指最大特征根与第、条件指数。指最大特征根与第i个特征根比的平方根。个特征根比的平方根。通常，当条件指数在通常，当条件
32、指数在0-10之间时说明多重共线性较之间时说明多重共线性较弱；当条件指数在弱；当条件指数在10-100之间说明多重共线性较强；之间说明多重共线性较强；当条件指数大于当条件指数大于100时说明存在严重的多重共线性。时说明存在严重的多重共线性。8.4.3 线性回归分析的基本操作线性回归分析的基本操作（1）选择菜单）选择菜单AnalyzeRegressionLinear，出现窗口：出现窗口：（2）选择被解释变量进入）选择被解释变量进入Dependent框。框。（3）选择一个或多个解释变量进入）选择一个或多个解释变量进入Independent(s)框。框。（4）在）在Method框中选择回归分析中解释
33、变量的框中选择回归分析中解释变量的筛选策略。其中筛选策略。其中Enter表示所选变量强行进入回表示所选变量强行进入回归方程，是归方程，是SPSS默认的策略，通常用在一元线默认的策略，通常用在一元线性回归分析中；性回归分析中；Remove表示从回归方程中剔除表示从回归方程中剔除所选变量；所选变量；Stepwise表示逐步筛选策略；表示逐步筛选策略；Backward表示向后筛选策略；表示向后筛选策略；Forward表示表示向前筛选策略。向前筛选策略。注：多元回归分析中，变量的筛选一般有向前筛选、向后筛选、多元回归分析中，变量的筛选一般有向前筛选、向后筛选、逐步筛选三种基本策略。逐步筛选三种基本策略
34、。向前筛选（向前筛选（Forward）策略：解释变量不断进入回归方程）策略：解释变量不断进入回归方程的过程。首先，选择与被解释变量具有最高线性相关系数的过程。首先，选择与被解释变量具有最高线性相关系数的变量进入方程，并进行回归方程的各种检验；然后，在的变量进入方程，并进行回归方程的各种检验；然后，在剩余的变量中寻找与被解释变量偏相关系数最高且通过检剩余的变量中寻找与被解释变量偏相关系数最高且通过检验的变量进入回归方程，并对新建立的回归方程进行各种验的变量进入回归方程，并对新建立的回归方程进行各种检验；这个过程一直重复，直到再也没有可进入方程的变检验；这个过程一直重复，直到再也没有可进入方程的变
35、量为止。量为止。向后筛选（向后筛选（Backward）策略：变量不断剔除出回归方程）策略：变量不断剔除出回归方程的过程。首先，所有变量全部引入回归方程，并对回归方的过程。首先，所有变量全部引入回归方程，并对回归方程进行各种检验；然后，在回归系数显著性检验不显著的程进行各种检验；然后，在回归系数显著性检验不显著的一个或多个变量中，剔除一个或多个变量中，剔除t检验值最小的变量，并重新建立检验值最小的变量，并重新建立 回归方程和进行各种检验；如果新建回归方程中所有变量的回归方程和进行各种检验；如果新建回归方程中所有变量的回归系数检验都显著，则回归方程建立结束。否则按上述回归系数检验都显著，则回归方程
36、建立结束。否则按上述方法再一次剔除最不显著的变量，直到再也没有可剔除的方法再一次剔除最不显著的变量，直到再也没有可剔除的变量为止。变量为止。逐步筛选（逐步筛选（Stepwise）策略：在向前筛选策略的基础上）策略：在向前筛选策略的基础上结合向后筛选策略，在每个变量进入方程后再次判断是否结合向后筛选策略，在每个变量进入方程后再次判断是否存在应该剔除出方程的变量。因此，逐步筛选策略在引入存在应该剔除出方程的变量。因此，逐步筛选策略在引入变量的每一个阶段都提供了再剔除不显著变量的机会。变量的每一个阶段都提供了再剔除不显著变量的机会。（5）第三和第四步中确定的解释变量及变量筛选策略可放）第三和第四步中
37、确定的解释变量及变量筛选策略可放置在不同的块（置在不同的块（Block）中。通常在回归分析中不止一组）中。通常在回归分析中不止一组待进入方程的解释变量和相应的筛选策略，可以单击待进入方程的解释变量和相应的筛选策略，可以单击Next和和Previous按钮设置多组解释变量和变量筛选策按钮设置多组解释变量和变量筛选策略并放置在不同的块中。略并放置在不同的块中。（6）选择一个变量作为条件变量放到）选择一个变量作为条件变量放到Selection Variable框中，并单击框中，并单击Rule按钮给定一个判断条件。只按钮给定一个判断条件。只有变量值满足判定条件的样本才参与线性回归分析。有变量值满足判定
38、条件的样本才参与线性回归分析。（7）在）在Case Labels框中指定哪个变量作为样本数据点的框中指定哪个变量作为样本数据点的标志变量，该变量的值将标在回归分析的输出图形中。标志变量，该变量的值将标在回归分析的输出图形中。8.4.4 线性回归分析的其他操作线性回归分析的其他操作1、Statistics按钮，出现的窗口可供用户选择更多按钮，出现的窗口可供用户选择更多的输出统计量。的输出统计量。（1）Estimates：SPSS默认输出项，输出与回归默认输出项，输出与回归系数相关的统计量。包括回归系数（偏回归系数）系数相关的统计量。包括回归系数（偏回归系数）、回归系数标准误差、标准化回归系数、回
39、归系、回归系数标准误差、标准化回归系数、回归系数显著性检验的数显著性检验的t统计量和概率统计量和概率p值，各解释变量值，各解释变量的容忍度。的容忍度。（2）Confidence Intervals：输出每个非标准化：输出每个非标准化回归系数回归系数95的置信区间。的置信区间。（3）Descriptive：输出各解释变量和被解释变量：输出各解释变量和被解释变量的均值、标准差、相关系数矩阵及单侧检验概率的均值、标准差、相关系数矩阵及单侧检验概率p值。值。（4）Model fit：SPSS默认输出项，输出判定系默认输出项，输出判定系数、调整的判定系数、回归方程的标准误差、回数、调整的判定系数、回归方
40、程的标准误差、回归方程显著归方程显著F检验的方程分析表。检验的方程分析表。（5）R squared change：输出每个解释变量进：输出每个解释变量进入方程后引起的判定系数的变化量和入方程后引起的判定系数的变化量和F值的变化量。值的变化量。（6）Part and partial correlation：输出方程中：输出方程中各解释变量与被解释变量之间的简单相关、偏相各解释变量与被解释变量之间的简单相关、偏相关系数。关系数。（7）Covariance matrix：输出方程中各解释变量：输出方程中各解释变量间的相关系数、协方差以及各回归系数的方差。间的相关系数、协方差以及各回归系数的方差。（8
41、）Collinearity Diagnostics：多重共线性分析，：多重共线性分析，输出各个解释变量的容忍度、方差膨胀因子、特征输出各个解释变量的容忍度、方差膨胀因子、特征值、条件指标、方差比例等。值、条件指标、方差比例等。（9）在）在Residual框中：框中：Durbin-waston表示输出表示输出DW检验值；检验值；Casewise Diagnostic表示输出表示输出标准化残差绝对值大于等于标准化残差绝对值大于等于3（SPSS默认值）的默认值）的样本数据的相关信息，包括预测值、残差、杠杆值样本数据的相关信息，包括预测值、残差、杠杆值等。等。2、Options选项，出现的窗口可供用户
42、设置多元线选项，出现的窗口可供用户设置多元线性回归分析中解释变量筛选的标准以及缺失值的性回归分析中解释变量筛选的标准以及缺失值的处理方式。处理方式。3、Plot选项，出现的窗口用于对残差序列的分析。选项，出现的窗口用于对残差序列的分析。（1）窗口左边框中各变量名的含义是：）窗口左边框中各变量名的含义是：DEPENDNT表示表示被解释变量，被解释变量，*ZPRED表示标准化预测值，表示标准化预测值，*ZRESID表示标表示标准化残差，准化残差，*DRESID表示剔除残差，表示剔除残差，*ADJPRED表示调整的表示调整的预测值，预测值，*SRESID表示学生化残差，表示学生化残差，*SDRESI
43、D表示剔除学表示剔除学生化残差。生化残差。（2）绘制多对变量的散点图，可根据需要在）绘制多对变量的散点图，可根据需要在scatter框中框中定义散点图的纵坐标和横坐标变量。定义散点图的纵坐标和横坐标变量。（3）在）在Standardized Residual Plots框中选择框中选择Histogram选项绘制标准化残差序列的直方图；选择选项绘制标准化残差序列的直方图；选择Normal probability plot绘制标准化残差序列的正态绘制标准化残差序列的正态分布累计概率图。选择分布累计概率图。选择Produce all partial plots选选项表示依次绘制被解释变量和各个解释变
44、量的散点图。项表示依次绘制被解释变量和各个解释变量的散点图。4、Save选项，该窗口将回归分析的某些结果以选项，该窗口将回归分析的某些结果以SPSS变量的变量的形式保存到数据编辑窗口中，并可同时生成形式保存到数据编辑窗口中，并可同时生成XML格式的文格式的文件，便于分析结果的网络发布。件，便于分析结果的网络发布。（1）Predicted Values框中：保存非标准化预测值、标框中：保存非标准化预测值、标准化预测值、调整的预测值和预测值的均值标准误差。准化预测值、调整的预测值和预测值的均值标准误差。（2）Distance框中：保存均值或个体预测值框中：保存均值或个体预测值95（默认）（默认）置
45、信区间的下限值和上限值。置信区间的下限值和上限值。（3）Residual框中：保存非标准化残差、标准化残差等。框中：保存非标准化残差、标准化残差等。（4）Influence Statistics框中：保存剔除第框中：保存剔除第i个样本后统个样本后统计量的变化量。计量的变化量。5、WSL选项，采用加权最小二乘法替代普通最小二乘法估计选项，采用加权最小二乘法替代普通最小二乘法估计回归参数，并指定一个变量作为权重变量。回归参数，并指定一个变量作为权重变量。以高校科研研究数据为例，建立回归方程研究以高校科研研究数据为例，建立回归方程研究 1、课题总数受论文数的影响、课题总数受论文数的影响 2、以课题总
46、数为被解释变量，解释变量为投入人年、以课题总数为被解释变量，解释变量为投入人年数（数（X2）、受投入高级职称的人年数（）、受投入高级职称的人年数（X3）、投入）、投入科研事业费（科研事业费（X4）、专著数（）、专著数（X6）、论文数（）、论文数（X7）、）、获奖数（获奖数（X8）。）。（1）解释变量采用强制进入策略（）解释变量采用强制进入策略（Enter），并做），并做多重共线性检测。多重共线性检测。（2）解释变量采用向后筛选策略让）解释变量采用向后筛选策略让SPSS自动完成自动完成解释变量的选择。解释变量的选择。（3）解释变量采用逐步筛选策略让）解释变量采用逐步筛选策略让SPSS自动完成自动
47、完成解释变量的选择。解释变量的选择。8.4.5 应用举例应用举例1、为研究收入和支出的关系，收集、为研究收入和支出的关系，收集1978-2002年我国的年人均可支配收入和年人均消费性支出年我国的年人均可支配收入和年人均消费性支出数据，研究收入与支出之间是否具有较强的线性数据，研究收入与支出之间是否具有较强的线性关系。关系。2、以年人均支出和教育数据为例，建立回归方程、以年人均支出和教育数据为例，建立回归方程研究年人均消费支出、恩格尔系数、在外就餐、研究年人均消费支出、恩格尔系数、在外就餐、教育支出、住房人均使用面积受年人均可支配收教育支出、住房人均使用面积受年人均可支配收入的影响。入的影响。练
48、习8.5 曲线估计8.5.1 曲线估计概述曲线估计概述 变量间的相关关系中，并不总是表现出线性变量间的相关关系中，并不总是表现出线性关系，非线性关系也是极为常见的。变量之间的非关系，非线性关系也是极为常见的。变量之间的非线性关系可以划分为本质线性关系和本质非线性关线性关系可以划分为本质线性关系和本质非线性关系。本质线性关系是指变量关系形式上虽然呈非线系。本质线性关系是指变量关系形式上虽然呈非线性关系，但可通过变量变换为线性关系，并最终可性关系，但可通过变量变换为线性关系，并最终可通过线性回归分析建立线性模型。本质非线性关系通过线性回归分析建立线性模型。本质非线性关系是指变量关系不仅形式上呈非线
49、性关系，而且也无是指变量关系不仅形式上呈非线性关系，而且也无法变换为线性关系。本节的曲线估计是解决本质线法变换为线性关系。本节的曲线估计是解决本质线性关系问题的。性关系问题的。常见的本质线性模型有：常见的本质线性模型有：1、二次曲线（二次曲线（Quadratic），），方程为方程为 ，变量变换后的方程为，变量变换后的方程为2、复合曲线（复合曲线（Compound），），方程为方程为，变量变换后的方程为，变量变换后的方程为3、增长曲线（增长曲线（Growth），），方程为方程为，变量变换后的方程为，变量变换后的方程为4、对数曲线（对数曲线（Logarithmic），），方程为方程为 ，变量变换后
50、的线性方程，变量变换后的线性方程为为5、三次曲线（三次曲线（Cubic），），方程为方程为，变量变换后的方程为，变量变换后的方程为6、S曲线（曲线（S），），方程为方程为 ，变量变，变量变换后的方程为换后的方程为7、指数曲线（指数曲线（Exponential），），方程为方程为，变量变换后的线性方程为，变量变换后的线性方程为8、逆函数（逆函数（Inverse），），方程为方程为变量变换后的方程为变量变换后的方程为9、幂函数（幂函数（Power），），方程为方程为变量变换后的方程为变量变换后的方程为10、逻辑函数（逻辑函数（Logistic），），方程为方程为 变量变换后的线性方程为变量变换后的