《多元回归(补充).ppt》由会员分享，可在线阅读，更多相关《多元回归(补充).ppt（40页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第十章第十章 多元线性回归多元线性回归多元线性回归的基本思想是什么？多元线性回归的基本思想是什么？多元线性回归的模型与一元线性回归多元线性回归的模型与一元线性回归 有什么异同？有什么异同？与一元线性回归相比，多元线性回归与一元线性回归相比，多元线性回归 的检验有何特殊之处？的检验有何特殊之处？第十章多元线性回归第十章多元线性回归多元线性回归分析：研究因变量（被解释变量）与两个多元线性回归分析：研究因变量（被解释变量）与两个或两个以上自变量（解释变量）之间的回归问题，称为或两个以上自变量（解释变量）之间的回归问题，称为多元回归分析。多元回归分析。多元线性回归分析的定义多元线性回归分析的定义线性回
2、归线性回归自变量个数自变量个数大于等于大于等于2 2多元多元线性线性回归回归第十章多元线性回归第十章多元线性回归10.110.1多元线性回归模型多元线性回归模型 b b0 0为常数项为常数项,b,b1 1,b bk k为偏回归系数，表示在其它为偏回归系数，表示在其它自变量保持不变时，增加或减少一个单位时自变量保持不变时，增加或减少一个单位时Y Y的平均的平均变化量，变化量，u u是去除是去除m m个自变量对个自变量对Y Y影响后的随机误差影响后的随机误差（残差）。（残差）。多元线性回归的基本理论多元线性回归的基本理论第十章多元线性回归第十章多元线性回归10.110.1多元线性回归模型多元线性回
3、归模型将将n n个观察数据代入上述模型，则问题转化为：个观察数据代入上述模型，则问题转化为：多元线性回归的基本理论多元线性回归的基本理论(10-1)(10-1)第十章多元线性回归第十章多元线性回归10.110.1多元线性回归模型多元线性回归模型多元线性回归的基本理论多元线性回归的基本理论写为矩阵形式：写为矩阵形式：(10-2)(10-2)第十章多元线性回归第十章多元线性回归10.110.1多元线性回归模型多元线性回归模型多元线性回归的基本理论多元线性回归的基本理论即：即：(10-3)(10-3)其中，其中，Y,uY,u是是n n维向量，维向量，b b是是k k维向量，维向量，x x是是mkmk
4、矩阵矩阵第十章多元线性回归第十章多元线性回归10.110.1多元线性回归模型多元线性回归模型多元线性回归的基本理论多元线性回归的基本理论基本假定：基本假定：第十章多元线性回归第十章多元线性回归10.110.1多元线性回归模型多元线性回归模型多元线性回归的基本理论多元线性回归的基本理论 第十章多元线性回归第十章多元线性回归10.2 10.2 参数的最小二乘估计参数的最小二乘估计采用最小二乘估计回归系数采用最小二乘估计回归系数b b令：令：取最小值取最小值 第十章多元线性回归第十章多元线性回归10.2 10.2 参数的最小二乘估计参数的最小二乘估计Q Q在最小值处偏导数为在最小值处偏导数为0 0，
5、得：，得：（10-410-4）采用最小二乘估计回归系数采用最小二乘估计回归系数b b第十章多元线性回归第十章多元线性回归10.2 10.2 参数的最小二乘估计参数的最小二乘估计采用最小二乘估计回归系数采用最小二乘估计回归系数b b（10-510-5）整理得：整理得：求解该联立方程组即可得求解该联立方程组即可得 第十章多元线性回归第十章多元线性回归第十章多元线性回归第十章多元线性回归10.3 10.3 回归方程的显著性检验回归方程的显著性检验假设假设 求得的回归方程为：求得的回归方程为：10.3.1 10.3.1 总离差平方和分解总离差平方和分解第十章多元线性回归第十章多元线性回归10.3.1
6、10.3.1 总离差平方和分解总离差平方和分解同一元回归，可得：同一元回归，可得：并且：并且：（10-610-6）第十章多元线性回归第十章多元线性回归10.3.1 10.3.1 总离差平方和分解总离差平方和分解总离差平方和：总离差平方和：即是：即是：回归平方和：回归平方和：残差平方和：残差平方和：第十章多元线性回归第十章多元线性回归10.3.2 10.3.2 样本决定系数对回归方程样本决定系数对回归方程“拟合优度拟合优度”的检验的检验 样本决定系数样本决定系数，又称复决定系数，或多重决定，又称复决定系数，或多重决定系数。系数。定义：定义：样本决定系数样本决定系数第十章多元线性回归第十章多元线性
7、回归10.3.2 10.3.2 样本决定系数对回归方程样本决定系数对回归方程“拟合优度拟合优度”的检验的检验样本容量增大样本容量增大(n)(n)R R2 2也随之增大也随之增大(R(R2 2)R R2 2的大小的大小很难说明问题很难说明问题存在的问题存在的问题第十章多元线性回归第十章多元线性回归10.3.2 10.3.2 样本决定系数对回归方程样本决定系数对回归方程“拟合优度拟合优度”的检验的检验R R2 2的改进的改进当当n n为小样本，解为小样本，解释变量数很大时，释变量数很大时，上式可能为负数，上式可能为负数，这时取其值为这时取其值为0 0。R R2 2与与 均反映在给定样本下，回归方程
8、与样本均反映在给定样本下，回归方程与样本观测值拟合优度，但不能据此进行总体模型的推断。观测值拟合优度，但不能据此进行总体模型的推断。改进改进第十章多元线性回归第十章多元线性回归10.3.3 10.3.3 回归方程的显著性检验回归方程的显著性检验第十章多元线性回归第十章多元线性回归10.3.3 10.3.3 回归方程的显著性检验回归方程的显著性检验 检验的目的：检验检验的目的：检验Y Y与解释变量与解释变量x x1 1，x x2 2，x xk k之之间的线性关系是否显著。间的线性关系是否显著。检验的目的检验的目的第十章多元线性回归第十章多元线性回归10.3.3 10.3.3 回归方程的显著性检验
9、回归方程的显著性检验检验的步骤检验的步骤第一步，提出假设：第一步，提出假设：原假设：原假设：H H0 0：b b1 1=b=b2 2=b bk k=0=0备择假设：备择假设：H H1 1：b bi i不全为不全为0 0 （i=1i=1，k k）第十章多元线性回归第十章多元线性回归10.3.3 10.3.3 回归方程的显著性检验回归方程的显著性检验检验的步骤检验的步骤第二步，计算统计量：第二步，计算统计量：或：或：（10-810-8）第十章多元线性回归第十章多元线性回归10.3.3 10.3.3 回归方程的显著性检验回归方程的显著性检验第三步，查表，得：第三步，查表，得：检验的步骤检验的步骤第十
10、章多元线性回归第十章多元线性回归10.3.3 10.3.3 回归方程的显著性检验回归方程的显著性检验检验的步骤检验的步骤第四步，做检验：第四步，做检验：拒绝拒绝H H0 0，回归方程显著回归方程显著接受接受H H0 0，回归方程不显著回归方程不显著检验检验法则法则第十章多元线性回归第十章多元线性回归10.4 10.4 回归系数的显著性检验回归系数的显著性检验 回归方程显著，并不意味着每个解释变量对因回归方程显著，并不意味着每个解释变量对因变量变量Y Y的影响都重要的影响都重要,因此需要进行检验：因此需要进行检验：回归系数检验的必要性回归系数检验的必要性回归方程显著回归方程显著每个回归系数每个回
11、归系数都显著都显著第十章多元线性回归第十章多元线性回归10.4 10.4 回归系数的显著性检验回归系数的显著性检验 回归系数检验的步骤回归系数检验的步骤第一步，提出假设：第一步，提出假设：原假设：原假设：H H0 0：b bi i=0 (i=1=0 (i=1，2 2，k)k)备择假设：备择假设：H H1 1：b bi i0 (i=10 (i=1，2 2，k)k)第十章多元线性回归第十章多元线性回归10.4 10.4 回归系数的显著性检验回归系数的显著性检验 回归系数检验的步骤回归系数检验的步骤第二步，构造并计算统计量第二步，构造并计算统计量 ：第十章多元线性回归第十章多元线性回归10.4 10
12、.4 回归系数的显著性检验回归系数的显著性检验 回归系数检验的步骤回归系数检验的步骤第三步，查表得第三步，查表得 ：第十章多元线性回归第十章多元线性回归10.4 10.4 回归系数的显著性检验回归系数的显著性检验 回归系数检验的步骤回归系数检验的步骤第四步，做检验：第四步，做检验：接受接受H H0 0 检验检验法则法则拒绝拒绝H0H0 第十章多元线性回归第十章多元线性回归回归分析自变量选择的四种方法:向前选择法向后剔除法逐步回归法强迫进入法第十章多元线性回归第十章多元线性回归1.前进法，回归方程中的自变量从无到有、从少到多逐个引入回归方程。此法已基本淘汰。后退法，先将全部自变量选入方程，然后逐
13、步剔除无统计学意义的自变量。剔除自变量的方法是在方程中选一个偏回归平方和最小的变量，作F检验决定它是否剔除，若无统计学意义则将其剔除，然后对剩余的自变量建立新的回归方程。重复这一过程，直至方程中所有的自变量都不能剔除为止。理论上最好，建议使用采用此法。逐步回归法，逐步回归法是在前述两种方法的基础上，进行双向筛选的一种方法。该方法本质上是前进法。第十章多元线性回归第十章多元线性回归强迫进入法根据事先的对变量之间关系的理论假设，将研究变量按一定顺序投入到回归方程中，而不管其显著还是不显著。这种方法常用于路径分析中。后面的内容会讲到这点。第十章多元线性回归第十章多元线性回归第十章多元线性回归第十章多
14、元线性回归 消除多重共线性：剔除某个造成共线性的自变量，重建回归方程；合并自变量；采用逐步回归方法。多重共线性是由于一个自变量与其它所有或某些自变量间的相关太高，以致它可以由其它自变量来线性表示。多重共线性会导致估计值不准确，估计误差增大，甚至无法计算。自变量的多重共线性第十章多元线性回归第十章多元线性回归多重共线性的识别指标第十章多元线性回归第十章多元线性回归虚变量的回归方程建立方法如果自变量是离散型变量，那么就要使该自变量变成多个虚变量，虚变量的个数等于自变量水平数减1。如果自变量有两个水平，如性别，那么我们只需要建立一个虚变量，用1表示男（女），用0表示女生。如果自变量是三个水平，如家庭
15、状况，它包括单亲家庭组、双亲家庭组和他人照顾组三个水平，我们只需要建立两个虚变量就可以。如下图。第十章多元线性回归第十章多元线性回归注意虚变量的取值一般只是1和0两个。第十章多元线性回归第十章多元线性回归第十章多元线性回归第十章多元线性回归多元回归分析步骤根据理论假设，建立回归方程式：在SPSS中就是分别选择因变量和自变量。考察是否存在离散型变量，如果存在，要转化为虚变量。检验自变量是否存在多重共线性：在SPSS是点击statistics对话框中的Collinearity diagnostics。检验指标有：Tolerance、VIF和CI。选择回归分析的方法：一般采用Stepwise方法和E
16、nter法。前者还要在Option对话框中选择进入和删除的标准（一般采用默认标准）。估计回归系数和标准化回归系数：点击statistics对话框中的Estimates。第十章多元线性回归第十章多元线性回归检验回归方程的有效性：点击statistics对话框中的Model fit。比较不同模型有效性的高低：点击statistics对话框中的R squared change。检验模型的误差方差是否相等和是否呈正态分布：点击statistics对话框中的Dubin-Watson和Casewise diagnostics。点击plots对话框中的Histogram和Normal probability plot。