《多元线性回归分析研讲稿.ppt》由会员分享，可在线阅读，更多相关《多元线性回归分析研讲稿.ppt（42页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、多元线性回归分析研1第一页，讲稿共四十二页哦表表1 271 27名糖尿病人的血糖及有关变量的测量结果名糖尿病人的血糖及有关变量的测量结果 2第二页，讲稿共四十二页哦人的体重与身高、胸围有关人的体重与身高、胸围有关人的心率与年龄、体重、肺活量有关人的心率与年龄、体重、肺活量有关人的血压值与年龄、性别、劳动强度、饮人的血压值与年龄、性别、劳动强度、饮食习惯、吸烟状况、家族史等有关食习惯、吸烟状况、家族史等有关射频治疗仪定向治疗脑肿瘤过程中，脑皮射频治疗仪定向治疗脑肿瘤过程中，脑皮质的毁损半径与辐射的温度、照射的时间质的毁损半径与辐射的温度、照射的时间有关有关 3第三页，讲稿共四十二页哦多元线性回归
2、多元线性回归：简称为多元回归，分析一：简称为多元回归，分析一个应变量与多个自变量间的线性关系。个应变量与多个自变量间的线性关系。4第四页，讲稿共四十二页哦表表2 2 多元回归分析数据格式多元回归分析数据格式例号例号X X1 1X X2 2X Xm mY Y1 1X X1111X X1212X X1m1mY Y1 12 2X X2121X X2222X X2m2mY Y2 2 n nX Xn1n1X Xn2n2X XnmnmY Yn n5第五页，讲稿共四十二页哦一、多元线性回归模型一、多元线性回归模型一般形式为：Y=Y=0 01 1X X1 1 2 2X X2 2 m mX Xm m 0 0 ：
3、常数项：常数项,又称为又称为截距截距1 1,2 2,m m:偏偏回回归归系系数数(Partial(Partial regression regression coefficient)coefficient)简简称称回回归归系系数数，在在其其它它自自变变量量保保持持不不变变时时X Xi i(i=1,2,(i=1,2,m),m)每每改改变变一一个个单位时，应变量单位时，应变量Y Y的平均变化量的平均变化量:去除去除m m个自变量对个自变量对Y Y的影响后的随机误差，又称的影响后的随机误差，又称残差残差6第六页，讲稿共四十二页哦多元线性回归模型的应用条件：多元线性回归模型的应用条件：1.线性趋势：Y
4、与Xi间具有线性关系2.独立性：应变量Y的取值相互独立3.正态性：对任意一组自变量取值，因变量Y服从正态分布4.方差齐性：对任意一组自变量取值，因变量y的方差相同 后两个条件等价于：残差后两个条件等价于：残差服从均数为服从均数为0 0、方差为方差为2 2的正态分布的正态分布7第七页，讲稿共四十二页哦多元线性回归的分析步骤：多元线性回归的分析步骤：1.根据样本数据求得模型参数的估计值，得到根据样本数据求得模型参数的估计值，得到应变量与自变量数量关系的表达式：应变量与自变量数量关系的表达式：2.对回归方程及各自变量作假设检验，并对方程的拟对回归方程及各自变量作假设检验，并对方程的拟和效果及各自变量
5、的作用大小作出评价和效果及各自变量的作用大小作出评价此公式称为多元线性回归方程此公式称为多元线性回归方程8第八页，讲稿共四十二页哦多元线性回归方程的建立：多元线性回归方程的建立：利用最小二乘法原理估计模型的参数：（使残差平方和最小）9第九页，讲稿共四十二页哦方程的求解过程复杂，可借助于SPSS、SAS等统计软件来完成SPSS：AnalyzeRegressionLinear regressiondependent：y independent：x1-x5SAS程序：PROC REG DATA=mr15-1;MODEL y=x1-x5;RUN;10第十页，讲稿共四十二页哦例例15.1：P210SPS
6、S的分析结果的分析结果11第十一页，讲稿共四十二页哦二、多元回归方程的假设检验二、多元回归方程的假设检验回归方程是否成立？回归方程是否成立？各偏回归系数是否等于各偏回归系数是否等于0 0？12第十二页，讲稿共四十二页哦1.1.多元线性回归方程的假设检验：多元线性回归方程的假设检验：方差分析法：SSSS总总 =SS=SS回回 +SS+SS残残13第十三页，讲稿共四十二页哦14第十四页，讲稿共四十二页哦2.2.偏回归系数的假设检验偏回归系数的假设检验 方差分析法、t检验法方差分析法：SS(XSS(Xi)为第为第i i个自变量的偏回归平方和个自变量的偏回归平方和15第十五页，讲稿共四十二页哦偏回归平
7、方和偏回归平方和:SS(X:SS(Xi),),表示模型中含有其它表示模型中含有其它m-1m-1个个自变量的条件下该自变量对自变量的条件下该自变量对Y Y的回归贡献，相当的回归贡献，相当于从回归方程中剔除该自变量后回归平方和的减于从回归方程中剔除该自变量后回归平方和的减少量，或者在少量，或者在m-1m-1个自变量的基础上增加一个自个自变量的基础上增加一个自变量后回归平方和的增加量。变量后回归平方和的增加量。注意：注意：m-1m-1个自变量对个自变量对y y的回归平方和由的回归平方和由m-1m-1个自变量个自变量对对y y重新建立回归方程后计算得到，而不能简单的在重新建立回归方程后计算得到，而不能
8、简单的在整个方程的基础上把整个方程的基础上把b bi il liyiy去掉后得到。去掉后得到。16第十六页，讲稿共四十二页哦各偏回归平方和各偏回归平方和SS（Xi i）及残差的计算）及残差的计算回归方程中包含的自回归方程中包含的自变量变量SSSS回回SSSS（X Xi i）X X1 1 X X2 2 X X3 3 X X4 4 X X5 5SS总X X2 2 X X3 3 X X4 4 X X5 5SS-1SS总 SS-1X X1 1 X X3 3 X X4 4 X X5 5SS-2SS总 SS-2X X1 1 X X2 2 X X4 4 X X5 5SS-3SS总 SS3X X1 1 X X
9、2 2 X X3 3 X X5 5SS-4SS总 SS4X X1 1 X X2 2 X X3 3 X X4 4SS-5SS总 SS517第十七页，讲稿共四十二页哦2.2.偏回归系数的假设检验偏回归系数的假设检验 t检验法：18第十八页，讲稿共四十二页哦SPSS的结果的结果19第十九页，讲稿共四十二页哦3.3.标准化偏回归系数标准化偏回归系数对各数据进行标准化后求得的回归方程即标准对各数据进行标准化后求得的回归方程即标准化回归方程，其相应的偏回归系数即标准化偏化回归方程，其相应的偏回归系数即标准化偏回归系数。回归系数。标准化偏回归系数和偏回归系数的关系：标准化偏回归系数和偏回归系数的关系：在有统
10、计学意义的前提下，在有统计学意义的前提下，标准化偏回归系数绝对值的大绝对值的大小可直接进行比较，以衡量自变量对应变量的作用大小小可直接进行比较，以衡量自变量对应变量的作用大小例：见例：见P21320第二十页，讲稿共四十二页哦4.4.复相关系数复相关系数复相关系数：multiple correlation coefficient衡量因变量y与回归方程内所有自变量线性组合间相关关系的密切程度，也即Y与 之间的相关系数。R 其值在0与1之间如果只有一个自变量，此时21第二十一页，讲稿共四十二页哦 R2称为称为决定系数决定系数表明回归平方和在总平方表明回归平方和在总平方和中所占的比重。和中所占的比重。
11、R2越接近于越接近于1，说明引入方，说明引入方程的自变量与因变量的相关程度越高，程的自变量与因变量的相关程度越高，Xi与与y的回归效果越好。的回归效果越好。R2受自变量个数的影响，由此又提出受自变量个数的影响，由此又提出校正校正决定系数决定系数，既反映模型的拟和优度，又同时考，既反映模型的拟和优度，又同时考虑了模型中的自变量个数。虑了模型中的自变量个数。22第二十二页，讲稿共四十二页哦23第二十三页，讲稿共四十二页哦三、选择最优回归方程的方法三、选择最优回归方程的方法1.1.最优回归方程最优回归方程:1）对y的作用有统计学意义的自变量，全部选入回归方程 2）对y的作用没有统计学意义的自变量，一
12、个也不引入回归方程 24第二十四页，讲稿共四十二页哦2.2.方法：方法：1)最优子集回归法：又称全局择优法，全局择优法，求出所有可能的回归模型（共有2m1个）选取最优者2)向后剔除法（backward selection）3)向前引入法（forward selection）4)逐步回归法（stepwise regression）25第二十五页，讲稿共四十二页哦逐步回归法逐步回归法自变量回归平方和最大的自变量回归平方和最大的X Xi i首先进入方程，在首先进入方程，在X Xi i进入方程的基础上计算其余进入方程的基础上计算其余m-1m-1个自变量分别个自变量分别进入回归方程时的偏回归平方和，其中
13、最大者进入回归方程时的偏回归平方和，其中最大者记为记为SSSSj j，对，对X Xj j进行检验，若有意义则进入方程，进行检验，若有意义则进入方程，并重新对并重新对X Xi i进行检验。若进行检验。若X Xi i退化为无意义，则退化为无意义，则剔除剔除X Xi i，同时再对，同时再对X Xj j进行检验。若进行检验。若X Xj j依然有意依然有意义则继续选择下一个偏回归平方和最大者并进义则继续选择下一个偏回归平方和最大者并进行检验。重复此过程。行检验。重复此过程。26第二十六页，讲稿共四十二页哦逐步回归法逐步回归法每每引入或剔除一个自变量后都要引入或剔除一个自变量后都要重新重新对已进对已进入方
14、程中的自变量进行检验，直到方程外没入方程中的自变量进行检验，直到方程外没有有意义的自变量可引入、方程内也没有无有有意义的自变量可引入、方程内也没有无意义的自变量可剔除为止意义的自变量可剔除为止 。27第二十七页，讲稿共四十二页哦逐步回归法逐步回归法双向筛选；引入一个有意义变量（前进法）的同时，剔除无意义的变量（后退法）“先剔除后选入”原则 入和出可等可不等 注意，引入变量的检验水准要小于或等于剔除变量的检验水准。28第二十八页，讲稿共四十二页哦29第二十九页，讲稿共四十二页哦30第三十页，讲稿共四十二页哦31第三十一页，讲稿共四十二页哦32第三十二页，讲稿共四十二页哦四、多元线性回归的应用四、
15、多元线性回归的应用1.1.影响因素分析影响因素分析:年龄年龄(X1)饮食习惯饮食习惯(X2)吸烟状况吸烟状况(X3)工作紧张度工作紧张度(X4)家族史家族史(X5)高血压高血压(Y)33第三十三页，讲稿共四十二页哦2.2.估计与预测估计与预测:心脏表面积心脏表面积(Y)=b(Y)=b0 0+b+b1 1心脏横径心脏横径(X(X1 1)+b)+b2 2心脏纵心脏纵径径(X(X2 2)+b)+b3 3心脏宽径心脏宽径(X(X3 3)新生儿体重新生儿体重(Y)=b(Y)=b0 0+b+b1 1胎儿孕龄胎儿孕龄(X(X1 1)+b)+b2 2 胎儿胎儿头径头径(X(X2 2)+b)+b3 3胎儿胸径胎
16、儿胸径(X(X3 3)+b)+b4 4胎儿腹径胎儿腹径(X(X4 4)34第三十四页，讲稿共四十二页哦3.3.统计控制统计控制:利用回归方程进行逆估计，确定利用回归方程进行逆估计，确定Y Y后控制后控制X X。采用射频治疗仪治疗脑肿瘤：采用射频治疗仪治疗脑肿瘤：脑皮质毁损半径脑皮质毁损半径(Y)=b0+b1射频温度射频温度(X1)+b2照射时间照射时间(X2)35第三十五页，讲稿共四十二页哦五、多元线性回归应用的注意事项五、多元线性回归应用的注意事项1.1.指标的数量化指标的数量化 应变量应变量Y Y为连续变量为连续变量自变量自变量X X可为连续、有序分类或无序分类变量可为连续、有序分类或无序
17、分类变量 (1)(1)连续变量：连续变量：X X (2)(2)有序分类变量：有序分类变量：1 1 轻轻 X=2 X=2 中中 3 3 重重36第三十六页，讲稿共四十二页哦(3)(3)无序分类变量无序分类变量自变量为二分类变量自变量为二分类变量:自变量为多分类变量：假定有自变量为多分类变量：假定有n n类，则用类，则用n n1 1个个取值为取值为0 0或或1 1的哑变量（的哑变量（dummy variables)dummy variables)来来表示这些类别。表示这些类别。X=0 男1 女37第三十七页，讲稿共四十二页哦2.2.样本含量：样本含量：n n至少是至少是X X个数个数mm的的5 5
18、1010倍倍3.3.关于逐步回归：关于逐步回归：不要盲目信任，结合专业知识。不要盲目信任，结合专业知识。4.4.多重共线性：多重共线性：指自变量之间存在较强的线性关系指自变量之间存在较强的线性关系 使偏回归系数方差加大，系数估计不稳，使偏回归系数方差加大，系数估计不稳，难以有合乎专业知识的解释。难以有合乎专业知识的解释。38第三十八页，讲稿共四十二页哦提示可能存在多重共线性的情况：提示可能存在多重共线性的情况：整个模型的检验结果为整个模型的检验结果为PPP。专业上认为应该有统计学意义的自变量检验结专业上认为应该有统计学意义的自变量检验结果却无统计学意义。果却无统计学意义。自变量的偏回归系数取值
19、大小甚至符号明显与自变量的偏回归系数取值大小甚至符号明显与实际情况相违背，难以解释。实际情况相违背，难以解释。增加或删除一个自变量或一条记录，自变量回增加或删除一个自变量或一条记录，自变量回归系数发生较大变化。归系数发生较大变化。39第三十九页，讲稿共四十二页哦容忍度容忍度:若某变量的容忍度若某变量的容忍度0.10.1时，说明该变量时，说明该变量与其它变量存在严重的多重共线性。与其它变量存在严重的多重共线性。方差膨胀因子（方差膨胀因子（VIFVIF）:为容忍度的倒数。为容忍度的倒数。VIF10VIF10时，存在严重的多重共线性时，存在严重的多重共线性Rj为第j个自变量与其它自变量间的相关系数多多重重共共线线性性的的判判断断指指标标40第四十页，讲稿共四十二页哦条件指数条件指数:条件指数条件指数1010，则提示存在多重共线性。，则提示存在多重共线性。方差比方差比:如两个或多个变量的方差比均如两个或多个变量的方差比均0.50.5，说明这几个，说明这几个自变量之间存在多重共线性自变量之间存在多重共线性多多重重共共线线性性的的判判断断指指标标41第四十一页，讲稿共四十二页哦5.变量间的交互作用：是否考虑交互作用主要靠专业知识6.残差分析检查资料是否符合模型条件消除共线性的方法：剔除、定义新变量、逐步回归42第四十二页，讲稿共四十二页哦