《第二章多元回归分析精选文档.ppt》由会员分享，可在线阅读，更多相关《第二章多元回归分析精选文档.ppt（53页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第二章多元回归分析本讲稿第一页，共五十三页3.1 多元线性回归模型 一、多元回归模型与回归方程 二、估计的多元回归方程 三、参数的最小二乘估计本讲稿第二页，共五十三页一、多元回归模型与回归方程1.多元回归模型(multiple regression model)称为多元线性回归模型1）.多元线性回归模型包含一个因变量与两个或两个以上自变量.2）.误差项 为随机变量3）.为模型的参数，称偏回归系数.本讲稿第三页，共五十三页多元线性回归模型误差项的基本假定 1.误差项是一个期望值为0的随机变量，即E()=0.2.误差项的方差都相等，即 3.误差项服从正态分布，即本讲稿第四页，共五十三页2.多元回归
2、方程(multiple regression equation)称(3.2)为总体多元线性回归方程.表示当其他变量不变，而 每变动一个单位时，E(y)相应的变动值.本讲稿第五页，共五十三页多元线性回归方程的直观解释1.表示 保持不变时，每变动一个单位时的相应变化量.2.表示 保持不变时，每变动一个单位时的相应变化量.考虑二元线性回归模型本讲稿第六页，共五十三页二、估计的多元回归的方程 是未知参数，可以根据样本数据作估计.记的估计为，则称为估计的多元回归方程(estimated multiple regression equation)或样本多元回归方程.本讲稿第七页，共五十三页三、参数的最小二
3、乘估计使因变量的观察值 y 与估计值 之间的离差平方和达到最小来求，即使达到最小.称 为 的最小二乘估计.本讲稿第八页，共五十三页续 根据微积分中求极值的原理，应是下列正规方程组的解本讲稿第九页，共五十三页例3.1 一家大型商业银行在多个地区设有分行，为弄清楚不良贷款形成的原因，抽取了该银行所属的25家分行2002年的有关业务数据(表2-1).试建立不良贷款(y)与贷款余额(x1)、累计应收贷款(x2)、贷款项目个数(x3)和固定资产投资额(x4)的线性回归方程，并解释各回归系数的含义.解：由 Excel 给出的多元回归结果见表12-2.得不良贷款(y)与贷款余额(x1)、累计应收贷款(x2)
4、、贷款项目个数(x3)和固定资产投资额(x4)的线性回归方程如下本讲稿第十页，共五十三页表3-1某商业银行2002年的有关业务数据本讲稿第十一页，共五十三页用Excel进行回归分析的步骤本讲稿第十二页，共五十三页表3-2Excel输出的回归分析结果本讲稿第十三页，共五十三页3.2 回归方程的拟合优度 一、多重判定系数 二、估计标准误差本讲稿第十四页，共五十三页一、多重判定系数(multiple coefficient of determination)对多元回归同样可分解成如下形式则多重判定系数为本讲稿第十五页，共五十三页续 多重判定系数反映样本回归方程的拟合好坏程度，R 愈大，说明样本回归方
5、程拟合得愈好。显然，.而称 y 关于 的样本复相关系数，R 的大小可以反映作为一个整体的与 y 的线性相关的密切程度.本讲稿第十六页，共五十三页修正多重判定系数(adjusted multiple coefficient of determination)由于样本多重判定系数的分母 SST 对给定的样本数据是不变的，而 SSR 与引进回归方程的自变量个数有关.因此，应对 R 作调整，调整的样本多重判定系数为本讲稿第十七页，共五十三页例 根据例12.1的数据，计算多重判定系数.解：根据(13.7)式，得而根据(13.8)式，则本讲稿第十八页，共五十三页二、估计标准误差(standard erro
6、r of estimate)误差项的标准差的估计称为估计标准误差，或称为估计量的标准差.根据例13.1的数据，得(13.9)本讲稿第十九页，共五十三页3.3 显著性检验 一、线性关系检验 二、回归系数检验和推断本讲稿第二十页，共五十三页一、线性关系检验 线性关系检验，即回归方程的显著性检验，具体步骤为 1.提出原假设和备择假设对规定的显著性水平，若则拒绝，认为 y 对 存在线性关系，称回归方程显著.否则，认为 y 对 之间不存在线性关系，称回归方程不显著.2.计算检验统计量至少有一个不为0本讲稿第二十一页，共五十三页方差分析表前面的这些计算结果可以列成表格的形式，称为方差分析表.方差分析表方差
7、来源平方和自由度均方F 值回归SSRpSSR/p残差SSEn-p-1SSE/(n-p-1)总和SSTn-1本讲稿第二十二页，共五十三页 根据例 3.1 建立的回归方程，检验线性关系的显著性.解：提出假设例3.2根据式查F 分布表得 ，从而拒绝原假设.至少有一个不为0本讲稿第二十三页，共五十三页二、回归系数检验和推断1.当回归方程显著时，仅表示 中至少有一个不为 0，即并不表示每一个自变量对因变量的影响一定都是显著的.2.回归系数的显著性则是对每一个自变量都要检验，从而确定每一个自变量对因变量的影响是否显著.3.采用 t 检验4.对于多元线性回归，回归系数的显著性检验与回归方程的显著性检验是两种
8、不同的检验方法.本讲稿第二十四页，共五十三页回归系数的显著性检验步骤 1.提出原假设和备择假设2.计算检验统计量其中而 是 角线上第 个元素.(13.11)本讲稿第二十五页，共五十三页续 3.对规定的显著性水平，若则拒绝，称 对 y 的影响显著，即认为.否则，接受，称 对 y 的影响不显著，即认为.本讲稿第二十六页，共五十三页例3.3 根据例 3.1 建立的回归方程，检验每一个自变量对因变量的影响是否显著.解：根据表3-2，得查 t 分布表得 从而只有 对因变量的影响显著.并可得 的0.95置信区间本讲稿第二十七页，共五十三页回归系数的置信区间 当回归系数通过检验后，还可以给出回归系数的置信区
9、间.的 的置信区间为根据例13.13，并可得 的0.95置信区间本讲稿第二十八页，共五十三页3.4 多重共线性 一、多重共线性及其所产生的问题 二、多重共线性的判别 三、多重共线性问题的处理本讲稿第二十九页，共五十三页一、多重共线性及其所产生的问题 1.当自变量之间线性相关时，称自变量存在多重共线性.2.自变量存在多重共线性时，使的方差增大，从而使的取值变动大，甚至会出现反常值.1.当自变量之间线性相关时，称自变量存在多重共线性.2.自变量存在多重共线性时，使 的方差增大，从而使 的取值变动大，甚至会出现反常值.本讲稿第三十页，共五十三页二、多重共线性的判别 检测多重共线性的最简单的一种办法是
10、计算自变量之间的相关系数并进行显著性检验.若有一个或多个相关系数显著，则表明自变量之间线性相关，即存在着多重共线性.本讲稿第三十一页，共五十三页例3.4 根据例 3.1 的数据，检验自变量是否存在多重共线性.表3-3 自变量之间的相关矩阵 本讲稿第三十二页，共五十三页表3-4相关系数的 t 检验统计量本讲稿第三十三页，共五十三页三、多重共线性问题的处理 剔除紧密相关且不重要的自变量，从而尽可能使自变量之间线性无关.本讲稿第三十四页，共五十三页例3.5 根据例 3.1 的数据，对多重共线性进行处理.解：由于 最小，首先剔除 ，建立 y 与 的回归方程.又由于这时 最小，且 不显著.从而再剔除 ，
11、建立 y 与 的回归方程.这时,都是显著.本讲稿第三十五页，共五十三页包含x1、x2和 x4 的回归方程本讲稿第三十六页，共五十三页表 35包含x1和 x4 的回归方程本讲稿第三十七页，共五十三页3.5 利用回归方程进行估计和预测对自变量 的一组取值根据样本回归方程用作为 或 的估计，称为点估计或点预测.本讲稿第三十八页，共五十三页区间预测对于自变量的一组取值 根据样本回归方程给出 或 的一个估计区间，称为置信区间.由于置信区间和预测区间的计算较复杂，这里我们直接给出结果：本讲稿第三十九页，共五十三页例3.6 根据例 3.1 的数据，贷款余额 x1=100、累计应收贷款x2=10、贷款项目个数
12、 x3=15 和固定资产投额 x4=60，试给出不良贷款的0.95置信区间和预测区间.解：可以计算 点估计为2.929.置信区间：2.04，3.80 置信区间：【-0.88，6.72】本讲稿第四十页，共五十三页3.6 虚拟自变量的回归 一、含有一个虚拟自变量的回归 二、用虚拟自变量回归解决方差分析问题本讲稿第四十一页，共五十三页一、含有一个虚拟自变量的回归 如果一个定性的自变量只划分为两个类别，并分别用 0 和 1 表示，这种定性变量称为虚拟自变量.回归模型中使用虚拟自变量时，称为虚拟自变量的回归.当一个定性的自变量划分为 k(2)个类别时，则可转化为 k 个虚拟自变量，但只能引进 k-1 个
13、虚拟自变量.本讲稿第四十二页，共五十三页例3.7 为研究考试成绩与性别之间的关系，从某大学商学院随机抽取男女学生各8名，得到他们的市场营销学课程的考试成绩列于表3-8.试建立考试成绩与性别的线性回归方程.解：学生性别是一个定性变量，分别用 0 和 1 表示男性和女性，即由 Excel 给出的结果如表2-9所示.，男性，女性本讲稿第四十三页，共五十三页表3-816名学生的市场营销学课程考试成绩本讲稿第四十四页，共五十三页用Excel进行虚拟自变量的回归分析的步骤本讲稿第四十五页，共五十三页表3-9Excel 给出的回归分析结果本讲稿第四十六页，共五十三页例3.8 为研究工资水平与工作年限和性别之
14、间的关系，在某行业随机抽取10名职工，所得数据如下.表3-10 10名职工的工资水平、工作年限和性别的数据 本讲稿第四十七页，共五十三页表3-11月工资收入(y)与工作年限(x1)的回归结果本讲稿第四十八页，共五十三页续 首先，考虑只有数值型自变量(工作年限)的一元回归.由Excel 给出的回归结果如表 3-11 所示.回归方程显著，R2=0.5342.再引进虚拟自变量(性别)，即，男性，女性得包含虚拟自变量的数据表3-12如下.本讲稿第四十九页，共五十三页表3-1210名职工的工资水平、工作年限和性别的数据本讲稿第五十页，共五十三页续 根据表3-12的数据，由Excel 给出的回归结果如表3-13所示.回归方程和回归系数都显著，且表明应该引入虚拟自变量(性别).根据表3-13，回归方程为于是对男性职工 ,回归方程为而对女性职工 ，回归方程为本讲稿第五十一页，共五十三页表3-13 月工资收入(y)与工作年限 、性别 的回归结果本讲稿第五十二页，共五十三页作业与思考：n1、对于线性统计模型n假设，最小化误差平方和得到如下线性方程组（1）把这个方程组写成矩阵的形式，并利用矩阵方法求最小二乘估计量b的值。（2）如果 的无偏估计量s2的值。（3）求b的协方差矩阵。(4)分别写出能够检验 的t统计量（k=1，2，3）。（5）写出能够检验 的t 统计量和F统计量。本讲稿第五十三页，共五十三页