《地质数据处理_9-相关与回归分析.ppt》由会员分享，可在线阅读，更多相关《地质数据处理_9-相关与回归分析.ppt（95页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、相关与回归分析,洪金益中南大学地学院,地质数据处理基础9,第九章 相关与回归分析,第一节 变量间的相关关系 第二节 一元线性回归第三节 多元线性回归第四节 可化为线性回归的曲线回归,学习目标,1.掌握相关系数的含义、计算方法和应用2.掌握一元线性回归的基本原理和参数的最小二乘估计方法掌握回归方程的显著性检验利用回归方程进行预测掌握多元线性回归分析的基本方法了解可化为线性回归的曲线回归,第一节 变量间的相关关系,一. 变量相关的概念二. 相关系数及其计算,变量相关的概念,变量间的关系（函数关系）,是一一对应的确定关系；设有两个变量 x 和 y ，变量 y 随变量 x 一起变化，并完全依赖于 x
2、，当变量 x 取某个数值时， y 依确定的关系取相应的值，则称 y 是 x 的函数，记为 y = f (x)，其中 x 称为自变量，y 称为因变量；各观测点落在一条线上 。,变量间的关系（函数关系）,函数关系的例子：铅锌矿石中银的品位(y)与铅的品位(x)之间的关系可表示为 y = p x (p 为相关系数)圆的面积(S)与半径之间的关系可表示为S = R2 品位一定时，吨矿石的盈利额(y)与价格(x1) 、回收率(x2)、各种成本(x3)等之间的关系可表示为y = x1 x2 x3,变量间的关系（相关关系）,变量间关系不能用函数关系精确表达；一个变量的取值不能由另一个变量唯一确定；当变量 x
3、 取某个值时，变量 y 的取值可能有几个；各观测点分布在直线周围。,相关关系的类型,相关关系的图示,相关系数及其计算,相关关系的测度（相关系数）,对变量之间关系密切程度的度量；对两个变量之间线性相关程度的度量称为简单相关系数；若相关系数是根据总体全部数据计算的，称为总体相关系数，记为；若是根据样本数据计算的，则称为样本相关系数，记为 r；,相关关系的测度（相关系数）,样本相关系数的计算公式：,或化简为,相关关系的测度（相关系数取值及其意义）,r 的取值范围是 -1,1|r|=1，为完全相关r =1，为完全正相关r =-1，为完全负正相关 r = 0，不存在线性相关关系相关-1r0，为负相关0t
4、，拒绝H0 若tt(13-2)=2.201，拒绝H0，元素A与元素B之间的相关关系显著。,相关系数的显著性检验（相关系数检验表的使用）,若IrI大于表上的=5%相应的值，小于表上1%相应的值，称变量x与y之间有显著的线性关系；若IrI大于表上=1%相应的值，称变量x与y之间有十分显著的线性关系；若IrI小于表上=5%相应的值，称变量x与y之间没有明显的线性关系；根据前例的r0.9987=5%(n-2)=0.553，表明元素A与元素B之间有十分显著的线性相关关系。,第二节 一元线性回归,一. 一元线性回归模型参数的最小二乘估计回归方程的显著性检验预测及应用,什么是回归分析？（内容）,从一组样本数
5、据出发，确定变量之间的数学关系式；对这些关系式的可信程度进行各种统计检验，并从影响某一特定变量的诸多变量中找出哪些变量的影响显著，哪些不显著；利用所求的关系式，根据一个或几个变量的取值来预测或控制另一个特定变量的取值，并给出这种预测或控制的精确程度。,回归分析与相关分析的区别,相关分析中，变量 x 变量 y 处于平等的地位；回归分析中，变量 y 称为因变量，处在被解释的地位，x 称为自变量，用于预测因变量的变化；相关分析中所涉及的变量 x 和 y 都是随机变量；回归分析中，因变量 y 是随机变量，自变量 x 可以是随机变量，也可以是非随机的确定变量；相关分析主要是描述两个变量之间线性关系的密切
6、程度；回归分析不仅可以揭示变量 x 对变量 y 的影响大小，还可以由回归方程进行预测和控制。,回归模型的类型,回归模型与回归方程,回归模型,回答“变量之间是什么样的关系？”方程中运用1 个数字的因变量(响应变量)被预测的变量1 个或多个数字的或分类的自变量 (解释变量)用于预测的变量3.主要用于预测和估计,一元线性回归模型 （概念要点）,当只涉及一个自变量时称为一元回归，若因变量 y 与自变量 x 之间为线性关系时称为一元线性回归；对于具有线性关系的两个变量，可以用一条线性方程来表示它们之间的关系描述因变量 y 如何依赖于自变量 x 和误差项 的方程称为回归模型。,一元线性回归模型 （概念要点
7、）,对于只涉及一个自变量的简单线性回归模型可表示为： y = b0 + b1 x + e模型中，y 是 x 的线性函数(部分)加上误差项线性部分反映了由于 x 的变化而引起的 y 的变化误差项 是随机变量反映了除 x 和 y 之间的线性关系之外的随机因素对 y 的影响是不能由 x 和 y 之间的线性关系所解释的变异性0 和 1 称为模型的参数,一元线性回归模型（基本假定）,误差项是一个期望值为0的随机变量，即E()=0。对于一个给定的 x 值，y 的期望值为E ( y ) = 0+ 1 x对于所有的 x 值，的方差2 都相同误差项是一个服从正态分布的随机变量，且相互独立。即N( 0 ,2 )独
8、立性意味着对于一个特定的 x 值，它所对应的与其他 x 值所对应的不相关对于一个特定的 x 值，它所对应的 y 值与其他 x 所对应的 y 值也不相关,回归方程 （概念要点）,描述 y 的平均值或期望值如何依赖于 x 的方程称为回归方程简单线性回归方程的形式如下 E( y ) = 0+ 1 x,方程的图示是一条直线，因此也称为直线回归方程0是回归直线在 y 轴上的截距，是当 x=0 时 y 的期望值1是直线的斜率，称为回归系数，表示当 x 每变动一个单位时，y 的平均变动值,估计(经验)的回归方程,简单线性回归中估计的回归方程为,其中： 是估计的回归直线在 y 轴上的截距， 是直线的斜率，它表
9、示对于一个给定的 x 的值，是 y 的估计值，也表示 x 每变动一个单位时， y 的平均变动值,用样本统计量 和 代替回归方程中的未知参数 和 ，就得到了估计的回归方程,总体回归参数 和 是未知的，必需利用样本数据去估计,参数 0 和 1 的最小二乘估计,最小二乘法 （概念要点）,使因变量的观察值与估计值之间的离差平方和达到最小来求得 和 的方法。即,用最小二乘法拟合的直线来代表x与y之间的关系与实际数据的误差比其他任何直线都小,最小二乘法（图示）,最小二乘法 （ 和 的计算公式）,根据最小二乘法的要求，可得求解 和 的标准方程如下,估计方程的求法（实例）,根据前述例中的数据，元素A对元素B的
10、回归方程。 根据 和 的求解公式得：,估计(经验)方程,元素B对元素A的回归方程为：,y = 54.22286 + 0.52638 x,估计方程的求法（输出结果）,回归方程的显著性检验,离差平方和的分解,因变量 y 的取值是不同的，y 取值的这种波动称为变差。变差来源于两个方面由于自变量 x 的取值不同造成的除 x 以外的其他因素(如x对y的非线性影响、测量误差等)的影响对一个具体的观测值来说，变差的大小可以通过该实际观测值与其均值之差 来表示,离差平方和的分解（图示）,离差平方和的分解 （三个平方和的关系）,2. 两端平方后求和有,从图上看有,SST = SSR + SSE,离差平方和的分解
11、 （三个平方和的意义）,总平方和(SST)反映因变量的 n 个观察值与其均值的总离差回归平方和(SSR)反映自变量 x 的变化对因变量 y 取值变化的影响，或者说，是由于 x 与 y 之间的线性关系引起的 y 的取值变化，也称为可解释的平方和残差平方和(SSE)反映除 x 以外的其他因素对 y 取值的影响，也称为不可解释的平方和或剩余平方和,样本决定系数 （判定系数 r2 ）,回归平方和占总离差平方和的比例,反映回归直线的拟合程度取值范围在 0 , 1 之间 r2 1，说明回归方程拟合的越好；r20，说明回归方程拟合的越差判定系数等于相关系数的平方，即r2(r)2,回归方程的显著性检验 （线性
12、关系的检验 ）,检验自变量和因变量之间的线性关系是否显著具体方法是将回归离差平方和(SSR)同剩余离差平方和(SSE)加以比较，应用F检验来分析二者之间的差别是否显著如果是显著的，两个变量之间存在线性关系如果不显著，两个变量之间不存在线性关系,回归方程的显著性检验 （检验的步骤）,提出假设H0：线性关系不显著,2. 计算检验统计量F,确定显著性水平，并根据分子自由度1和分母自由度n-2找出临界值F 作出决策：若FF ,拒绝H0；若Ft，拒绝H0； tt=2.201，拒绝H0，表明元素A与元素B之间有线性关系,对前例的回归系数进行显著性检验(0.05),回归系数的显著性检验(输出的结果）,预测及
13、应用,利用回归方程进行估计和预测,根据自变量 x 的取值估计或预测因变量 y的取值估计或预测的类型点估计y 的平均值的点估计y 的个别值的点估计区间估计y 的平均值的置信区间估计y 的个别值的预测区间估计,利用回归方程进行估计和预测（点估计）,2. 点估计值有y 的平均值的点估计y 的个别值的点估计3. 在点估计条件下，平均值的点估计和个别值的的点估计是一样的，但在区间估计中则不同,对于自变量 x 的一个给定值x0 ，根据回归方程得到因变量 y 的一个估计值,利用回归方程进行估计和预测（点估计）,y 的平均值的点估计利用估计的回归方程，对于自变量 x 的一个给定值 x0 ，求出因变量 y 的平
14、均值的一个估计值E(y0) ，就是平均值的点估计；在前面的例子中，假如我们要估计元素A为2000时，所有样本的元素B的平均值，就是平均值的点估计。根据估计的回归方程得：,利用回归方程进行估计和预测（点估计）,y 的个别值的点估计,利用估计的回归方程，对于自变量 x 的一个给定值 x0 ，求出因变量 y 的一个个别值的估计值 ，就是个别值的点估计,2. 比如，如果我们只是想知道某样本的元素A为1250.7时的元素B是多少，则属于个别值的点估计。根据估计的回归方程得,利用回归方程进行估计和预测 （区间估计）,点估计不能给出估计的精度，点估计值与实际值之间是有误差的，因此需要进行区间估计对于自变量
15、x 的一个给定值 x0，根据回归方程得到因变量 y 的一个估计区间区间估计有两种类型置信区间估计预测区间估计,利用回归方程进行估计和预测（置信区间估计）,y 的平均值的置信区间估计 利用估计的回归方程，对于自变量 x 的一个给定值 x0 ，求出因变量 y 的平均值E(y0)的估计区间 ，这一估计区间称为置信区间 E(y0) 在1-置信水平下的置信区间为,式中：Sy为估计标准误差,利用回归方程进行估计和预测（置信区间估计:算例）,【例】根据前例，求出元素A为1250.7时，元素B的95%的置信区间解：根据前面的计算结果 置信区间为 712.57，Sy=14.95，t(13-2)2.201，n=1
16、3,712.5710.265,元素B的95%的置信区间为702.305722.835之间,利用回归方程进行估计和预测（预测区间估计）,y 的个别值的预测区间估计 利用估计的回归方程，对于自变量 x 的一个给定值 x0 ，求出因变量 y 的一个个别值的估计区间，这一区间称为预测区间 y0在1-置信水平下的预测区间为,利用回归方程进行估计和预测（置预测区间估计:算例）,【例】根据前例，求出某样本元素A为1250.7时，元素B的95%的预测区间 解：根据前面的计算结果有 712.57，Sy=14.95，t(13-2)2.201，n=13 置信区间为,712.5734.469,元素B的95%的预测区间
17、为678.101747.039之间,影响区间宽度的因素,1.置信水平 (1 - )区间宽度随置信水平的增大而增大2.数据的离散程度 (s)区间宽度随离散程度的增大而增大3.样本容量区间宽度随样本容量的增大而减小4.用于预测的 xp与x的差异程度区间宽度随 xp与x 的差异程度的增大而增大,置信区间、预测区间、回归方程,第三节 多元线性回归,一. 多元线性回归模型回归参数的估计回归方程的显著性检验回归系数的显著性检验多元线性回归的预测,多元线性回归模型,多元线性回归模型 （概念要点）,一个因变量与两个及两个以上自变量之间的回归描述因变量 y 如何依赖于自变量 x1 ， x2 ， xp 和误差项
18、的方程称为多元线性回归模型涉及 p 个自变量的多元线性回归模型可表示为,b0 ，b1，b2 ，bp是参数 是被称为误差项的随机变量 y 是x1,，x2 ， ，xp 的线性函数加上误差项 说明了包含在y里面但不能被p个自变量的线性关系所解释的变异性,多元线性回归模型 （概念要点）,对于 n 组实际观察数据(yi ; xi1,，xi2 ， ，xip )，(i=1,2,n)，多元线性回归模型可表示为：,y1 = b0 + b1 x11+ b2 x12 + bpx1p + e1,y2= b0 + b1 x21 + b2 x22 + bpx2p + e2,yn= b0 + b1 xn1 + b2 xn2
19、 + bpxnp + en,多元线性回归模型（基本假定）,自变量 x1，x2，xp是确定性变量，不是随机变量；随机误差项的期望值为0，且方差2 都相同；误差项是一个服从正态分布的随机变量，即N(0,2)，且相互独立。,多元线性回归方程 （概念要点）,描述 y 的平均值或期望值如何依赖于 x1， x1 ，xp的方程称为多元线性回归方程多元线性回归方程的形式为： E( y ) = 0+ 1 x1 + 2 x2 + p xp,b1，b2，bp称为偏回归系数 bi 表示假定其他变量不变，当 xi 每变动一个单位时，y 的平均平均变动值,多元线性回归方方程的直观解释,多元线性回归的估计(经验)方程,总体
20、回归参数 是未知的，利用样本数据去估计,用样本统计量 代替回归方程中的 未知参数 即得到估计的回归方程,是 的估计值 是 y 的估计值,参数的最小二乘估计,参数的最小二乘法 （要点）,根据最小二乘法的要求，可得求解各回归参数 的标准方程如下：,使因变量的观察值与估计值之间的离差平方和达到最小来求得 。即：,回归方程的显著性检验,多重样本决定系数 （多重判定系数 R2 ）,回归平方和占总离差平方和的比例,反映回归直线的拟合程度取值范围在 0 , 1 之间 R2 1，说明回归方程拟合的越好； R20，说明回归方程拟合的越差等于多重相关系数的平方，即R2=(R)2,修正的多重样本决定系数 （修正的多
21、重判定系数 R2 ）,由于增加自变量将影响到因变量中被估计的回归方程所解释的变异性的数量，为避免高估这一影响，需要用自变量的数目去修正R2的值；用n表示观察值的数目，p表示自变量的数目，修正的多元判定系数的计算公式可表示为：,回归方程的显著性检验 （线性关系的检验 ）,检验因变量与所有的自变量和之间的是否存在一个显著的线性关系，也被称为总体的显著性检验检验方法是将回归离差平方和(SSR)同剩余离差平方和(SSE)加以比较，应用 F 检验来分析二者之间的差别是否显著如果是显著的，因变量与自变量之间存在线性关系如果不显著，因变量与自变量之间不存在线性关系,回归方程的显著性检验 （步骤）,提出假设H
22、0：12p=0 线性关系不显著H1：1，2，p至少有一个不等于0,2. 计算检验统计量F,3. 确定显著性水平和分子自由度p、分母自由度n-p-1找出临界值F 4. 作出决策：若FF ，拒绝H0；若FF，接受H0,回归系数的显著性检验（要点）,如果F检验已经表明了回归模型总体上是显著的，那么回归系数的检验就是用来确定每一个单个的自变量 xi 对因变量 y 的影响是否显著；对每一个自变量都要单独进行检验；应用 t 检验；在多元线性回归中，回归方程的显著性检验不再等价于回归系数的显著性检验。,回归系数的显著性检验 （步骤）,提出假设H0： bi = 0 (自变量 xi 与 因变量 y 没有线性关系
23、) H1： bi 0 (自变量 xi 与 因变量 y有线性关系) 计算检验的统计量 t,确定显著性水平，并进行决策 tt，拒绝H0； tF0.05(2,7)=4.74，回归方程显著 回归系数的显著性检验t= 9.3548t=0.3646，； t2 = 4.7962 t=2.3646；两个回归系数均显著,第三节 可化为线性回归的线回归,基本概念非线性模型及其线性化方法,非线性回归,1.因变量 y 与 x 之间不是线性关系2.可通过变量代换转换成线性关系用最小二乘法求出参数的估计值并非所有的非线性模型都可以化为线性模型,几种常见的非线性模型,指数函数,线性化方法两端取对数得：lny = ln +
24、x令：y = lny，则有y = ln + x,基本形式：,图像,几种常见的非线性模型, 幂函数,线性化方法两端取对数得：lg y = lg + lg x令：y = lgy，x= lg x，则y = lg + x,基本形式：,图像,几种常见的非线性模型, 双曲线函数,线性化方法令：y = 1/y，x= 1/x, 则有y = + x,基本形式：,图像,几种常见的非线性模型, 对数函数,线性化方法x= lgx , 则有y = + x,基本形式：,图像,几种常见的非线性模型, S 型曲线,线性化方法令：y = 1/y，x= e-x, 则有y = + x,基本形式：,图像,非线性回归（实例）,用线性模型：y =01x+ ，有： y = 2.671+0.0018x用指数模型：y = x ，有： y =4.05(1.0002)x比较： 直线的残差平方和5.3371指数模型的残差平方和6.11。直线模型略好于指数模型。,本章小结,相关系数与相关分析一元线性回归模型、回归方程与估计的回归方程多元线性回归模型、回归方程与估计的回归方程回归方程与回归系数的显著性检验非线性回归的线性化,结 束,