《多元线性回归模型 (2)优秀课件.ppt》由会员分享，可在线阅读，更多相关《多元线性回归模型 (2)优秀课件.ppt（77页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、多元线性回归模型多元线性回归模型第1页，本讲稿共77页3.1 模型的建立及其假定条件模型的建立及其假定条件3.2 最小二乘法最小二乘法3.3 最小二乘估计量的特性最小二乘估计量的特性3.4 可决系数可决系数3.5 显著性检验与置信区间显著性检验与置信区间3.6 预测预测3.7 案例分析案例分析第2页，本讲稿共77页3.1 模型的建立及其假定条件模型的建立及其假定条件 1 基本的概念基本的概念 在在许许多多实实际际问问题题中中，我我们们所所研研究究的的因因变变量量的的变变动动可可能能不不仅仅与与一一个个解解释释变变量量有有关关。因因此此，有有必必要要考考虑虑线线性性模型的更一般形式，即模型的更一
2、般形式，即多元线性回归模型多元线性回归模型：t=1,2,n 在在这这个个模模型型中中，Y由由X1,X2,X3,XK所所解解释释，有有K+1个未知参数个未知参数0 0、1 1、2 2、K K。这这里里，“斜斜率率”j j的的含含义义是是其其它它变变量量不不变变的的情情况况下，下，X Xj j改变一个单位对因变量所产生的影响改变一个单位对因变量所产生的影响。第3页，本讲稿共77页 例1：其中，Y=在食品上的总支出 X=个人可支配收入 P=食品价格指数 用美国1959-1983年的数据，得到如下回归结果（括号中数字为标准误差）：Y和X的计量单位为10亿美元(按1972不变价格计算).第4页，本讲稿共
3、77页多元线性回归模型中斜率系数的含义上例中斜率系数的含义说明如下：价格不变的情况下，个人可支配收入每上升10亿美元（1个billion），食品消费支出平均增加1.12亿元（0.112个 billion）。收入不变的情况下，价格指数每上升一个点，食 品 消 费 支 出 平 均 减 少 7.39亿 元（0.739个billion）第5页，本讲稿共77页问题：问题：一元线性回归模型斜率系数的经济含义与多元线性一元线性回归模型斜率系数的经济含义与多元线性回归模型斜率系数的经济含义的区别？回归模型斜率系数的经济含义的区别？第6页，本讲稿共77页回到一般模型回到一般模型 描描 述述 被被 解解 释释 变
4、变 量量 Y的的 期期 望望 值值 与与 解解 释释 变变 量量X1,X2,XK线性关系的方程为线性关系的方程为这个式子为多元线性回归方程这个式子为多元线性回归方程,简称简称总体回归方程总体回归方程第7页，本讲稿共77页对于n组观测值，有第8页，本讲稿共77页其矩阵形式为：其中 第9页，本讲稿共77页由于总体回归模型的参数由于总体回归模型的参数 都是未知的都是未知的,我们可我们可以利用样本观测值对它们进行估计以利用样本观测值对它们进行估计,得到相应的估计的得到相应的估计的回归方程回归方程 上式为多元线性回归方程上式为多元线性回归方程,简称简称样本回归方程样本回归方程.估计的回归方程的矩阵表达形
5、式为估计的回归方程的矩阵表达形式为第10页，本讲稿共77页问题：一元线性回归模型的假定条件包括哪些？问题：一元线性回归模型的假定条件包括哪些？第11页，本讲稿共77页2模型的假定模型的假定（1）E(ui)=0,i=1,2,n 其矩阵表达形式为其矩阵表达形式为:E(U)=0(2)随机误差项有相同的方差随机误差项有相同的方差第12页，本讲稿共77页(3)随机误差项彼此之间不相关随机误差项彼此之间不相关 ij将条件将条件(2)和和(3)结合起来结合起来,其相应的矩阵表达形式为其相应的矩阵表达形式为(4)解释变量与随机误差项彼此不相关解释变量与随机误差项彼此不相关 i=1,2k j=1,2,.,n 第
6、13页，本讲稿共77页(5)解释变量解释变量X1,X2,Xk之间不存在精确的之间不存在精确的(完全的完全的)线性关系线性关系,即即rank(X)=k+1n 观测值的数目要大于待估计的参数的个数观测值的数目要大于待估计的参数的个数 （要有足够数量的数据来拟合回归线）。（要有足够数量的数据来拟合回归线）。(6)随机误差项服从正态分布随机误差项服从正态分布,即即 i=1,2,n第14页，本讲稿共77页问题：问题：1、一元线性回归模型的假定条件与多元线性回归、一元线性回归模型的假定条件与多元线性回归模型的假定条件有什么区别？模型的假定条件有什么区别？2、一元线性回归模型的参数是怎样估计的？、一元线性回
7、归模型的参数是怎样估计的？第15页，本讲稿共77页 3.2最小二乘法最小二乘法1 我们的多元线性回归模型是：我们的多元线性回归模型是：t=1,2,n问问题题是是选选择择 ，使使得得残残差差平平方方和最小。和最小。残差为残差为：第16页，本讲稿共77页要使残差平方和 为最小，则应有：我们得到如下K+1个方程（即正规方程）：第17页，本讲稿共77页按矩阵形式，上述方程组可表示为：第18页，本讲稿共77页=即第19页，本讲稿共77页 上述结果，亦可从矩阵表示的模型 出发，完全用矩阵代数推导出来。残差可用矩阵表示为：其中：第20页，本讲稿共77页残差平方和残差平方和 第21页，本讲稿共77页注意到上式
8、中所有项都是标量，且 故令用矩阵微分法，我们可得到 与采用标量式推导所得结果相同。由上述结果，我们有 第22页，本讲稿共77页2离差形式的最小二乘估计量离差形式的最小二乘估计量多元线性回归模型的样本容量为多元线性回归模型的样本容量为n的样本观测的样本观测值的均值为值的均值为：得到多元线性回归模型的离差形式：得到多元线性回归模型的离差形式：第23页，本讲稿共77页其相应的矩阵表达形式为：其相应的矩阵表达形式为：得到其正规方程组：得到其正规方程组：并得到的最小二乘估计量：并得到的最小二乘估计量：第24页，本讲稿共77页3、随机误差项的方差、随机误差项的方差 的估计量的估计量 的无偏估计量是的无偏估
9、计量是这是因为我们在估计这是因为我们在估计 的过程中，的过程中，失去了（失去了（K+1）个自由度。）个自由度。2022/10/23中山学院经济与管理系25第25页，本讲稿共77页3.3最小二乘估计量的特性最小二乘估计量的特性1 线性性线性性2 无偏性无偏性3 最小方差性（有效性）最小方差性（有效性）高斯高斯-马尔科夫（马尔科夫（Gauss-Markov）定理）定理：对于对于 以及标准假设条件（以及标准假设条件（1）-（5），普通最小二乘估计量是最佳线性无偏估计量），普通最小二乘估计量是最佳线性无偏估计量（BLUE）2022/10/23中山学院经济与管理系26第26页，本讲稿共77页问题：一元线
10、性回归模型的可决系数是怎么样定义问题：一元线性回归模型的可决系数是怎么样定义的？它的含义是什么？的？它的含义是什么？第27页，本讲稿共77页283.4 可决系数一可决系数 对于一元线性回归模型 我们有其中，=残差平方和第28页，本讲稿共77页29对于多元线性模型 我们可用同样的方法定义可决系数：为方便计算，我们也可以用矩阵形式表示第29页，本讲稿共77页30我们有：残差 ，其中，残差平方和：第30页，本讲稿共77页31而将上述结果代入 的公式，得到：这就是决定系数 的矩阵形式。第31页，本讲稿共77页32二修正决定系数：残差平方和的一个特点是，每当模型增加一个解释变量，并用改变后的模型重新进行
11、估计，残差平方和的值会减小。由此可以推论，决定系数是一个与解释变量的个数有关的量：解释变量个数增加 减小 增大 也就是说，人们总是可以通过增加模型中解释变量的方法来增大 的值。因此，用 来作为拟合优度的测度，不是十分令人满意的。为此，我们定义修正决定系数 （Adjusted ）如下：第32页，本讲稿共77页33 是经过自由度调整的可决系数，称为修正可决系数我们有：（1）（2）仅当K=0时，等号成立。即 （3）当K增大时，二者的差异也随之增大。（4）可能出现负值。第33页，本讲稿共77页2022/10/23中山学院经济与管理系34例1.设 n=20,k=3,=0.70 求 。当n=10、n=5时
12、，分别等于多少第34页，本讲稿共77页35解：下面改变n的值，看一看 的值如何变化。我们有 若n=10，则 =0.55 若n=5，则 =-0.20由本例可看出，有可能为负值。这与 不同 （）。第35页，本讲稿共77页 3.5 3.5 显著性检验与置信区间显著性检验与置信区间 方程的方程的F F 检验，旨在对模型中被解释变量与检验，旨在对模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立解释变量之间的线性关系在总体上是否显著成立作出推断。作出推断。1、方程显著性的、方程显著性的F检验检验 即检验模型即检验模型 Yi=0+1X1i+2X2i+kXki+i i=1,2,n中的参数中的参数
13、j是否显著不为是否显著不为0。可提出如下原假设与备择假设：可提出如下原假设与备择假设：H0：1=2=k=0 H1：j不全为不全为0第36页，本讲稿共77页 根据数理统计学中的知识，在原假设H0成立的条件下，统计量 服从自由度为(k,n-k-1)的F分布 给定显著性水平给定显著性水平，可得到临界值，可得到临界值F(k,n-k-1)，由样本求出统计量由样本求出统计量F的数值，通过的数值，通过 F F F(k,n-k-1)或或 F F F(k,n-k-1)来拒绝或接受原假设来拒绝或接受原假设H0，以判定原方程总体上的，以判定原方程总体上的线性关系是否显著成立。线性关系是否显著成立。第37页，本讲稿共
14、77页2022/10/23中山学院经济与管理系38F(k,n-k-1)第38页，本讲稿共77页2022/10/23中山学院经济与管理系39方差来源平方和自由度均方回归RSSk RSS/(k)误差ESSn-k-1ESS/(n-k-1)总离差TSSn-1第39页，本讲稿共77页2022/10/23中山学院经济与管理系40下表给出了三变量模型的回归的结果：方差来源平方和(S S)自由度(d.f.)平方和的均值(M S S)来自回归(R S S)500来自残差(E S S)总离差(T S S)6001 4回答以下问题：1）样本容量是多少？2）求ES S？3）E S S与R S S的自由度各是多少？4）
15、求R-square与Adjusted R-square？5)在5%的显著性水平下检验方程的显著性。第40页，本讲稿共77页问题：如果回归方程经过检验是显著的，是不是表问题：如果回归方程经过检验是显著的，是不是表示方程的每一个回归参数都是显著的呢？示方程的每一个回归参数都是显著的呢？第41页，本讲稿共77页 2 2、t检验（变量的显著性检验）检验（变量的显著性检验）方程的方程的总体线性总体线性关系显著关系显著 每个解释变量每个解释变量对对被解释变量的影响都是显著的被解释变量的影响都是显著的 因此，必须对每个解释变量进行显著性检验，以决定是否作为解释变量被保留在模型中。这一检验是由对变量的 t 检
16、验完成的。第42页，本讲稿共77页 t检验 1、设计原假设与备择假设：H1：i0 H0：i=0=0 i=1,2k）2、构造t统计量：其中：=（i=1,2k）第43页，本讲稿共77页 3 3、给定显著性水平给定显著性水平，可得到临界值，可得到临界值t/2(n-k-1)，由样本，由样本求出统计量求出统计量t的数值。的数值。4 4、做出判断：、做出判断：通过通过|t|t|t/2(n-k-1)或或|t|t|t/2(n-k-1)来拒绝或接受原假设来拒绝或接受原假设H0，从而，从而判定对应的解释变量是否应包括在判定对应的解释变量是否应包括在模型中。模型中。第44页，本讲稿共77页2022/10/23中山学
17、院经济与管理系45-t/2(n-k-1)t/2(n-k-1)第45页，本讲稿共77页模型中的一些特殊解释变量模型中的一些特殊解释变量2022/10/23中山学院经济与管理系46第46页，本讲稿共77页 在很多情况下，人们用时间序列的观测时期在很多情况下，人们用时间序列的观测时期所代表的时间作为模型的解释变量，用来表示被所代表的时间作为模型的解释变量，用来表示被解释变量随时间推移的自发解释变量随时间推移的自发 变化趋势。这种变量变化趋势。这种变量称为称为时间变量时间变量，也叫做，也叫做趋势变量趋势变量。一般。一般用T来表示时间变量表示时间变量.一般取一般取T=1，2，3，N 时间变量可以单独作一
18、元线性回归模型中时间变量可以单独作一元线性回归模型中的解释变量，也可以的解释变量，也可以 作多元线性回归模型中作多元线性回归模型中的一个解释变量，其对应的回归系数表示被的一个解释变量，其对应的回归系数表示被解释变量随时间变化的变化趋势解释变量随时间变化的变化趋势 时间变量时间变量2022/10/23中山学院经济与管理系47第47页，本讲稿共77页48虚拟变量（Dummy variables）一虚拟变量的概念 在回归分析中，常常碰到这样一种情况，即因变量的波动不仅依赖于那种能够很容易按某种尺度定量化的变量（如收入、产出、价格、身高、体重等），而且依赖于某些定性的变量（如性别、地区、季节）。这些变
19、量只表示某种特征的存在与不存在，所以称为定性变量。第48页，本讲稿共77页2022/10/23中山学院经济与管理系49 怎样才能把定性变量包括在模型中呢？怎样才能把定性变量包括在模型中呢？一个很好的方法是将它们一个很好的方法是将它们量化量化。由由于于定定性性变变量量通通常常是是表表明明某某种种特特征征或或属属性性是是否否存存在在，所所以以量量化化的的方方法法是是取取值值0或或1，用用1表表示示具具有有某某一一“品品质质”或或属属性性，用用0表表示示不不具具有有该该“品品质质”或或属属性性。这这种种变变量量在在计计量量经经济济学学中中称称为为“虚虚拟拟变变量量”。比如比如第49页，本讲稿共77页
20、50如：如：城镇居民农村居民销售旺季销售淡季政策紧缩政策宽松本科以上学历本科以下学历第50页，本讲稿共77页2022/10/23中山学院经济与管理系51 虚拟变量使得我们可以将那些无法定量化的变量引入回归模型中。下面给出几个可以引入虚拟变量的例子第51页，本讲稿共77页52例例1：你你在在研研究究学学历历和和收收入入之之间间的的关关系系，在在你你的的样样本本中中，既既有有女女性性又又有有男男性性，你你打打算算研研究究在在此此关关系系中中，性别是否会导致差别。性别是否会导致差别。例例2：你你在在研研究究某某省省家家庭庭收收入入和和支支出出的的关关系系，采采集集的的样样本本中中既既包包括括农农村村
21、家家庭庭，又又包包括括城城镇镇家家庭庭，你你打打算算研究二者的差别。研究二者的差别。上上述述各各例例都都可可以以用用两两种种方方法法来来解解决决，一一种种解解决决方方法法是是分分别别进进行行两两类类情情况况的的回回归归，然然后后看看参参数数是是否否不不同同。另另一一种种方方法法是是用用全全部部观观测测值值作作单单一一回回归归，将将定定性性因因素素的影响用虚拟变量引入模型。的影响用虚拟变量引入模型。第52页，本讲稿共77页2022/10/23中山学院经济与管理系53第53页，本讲稿共77页2022/10/23中山学院经济与管理系545.回归模型可以只用虚拟变量作解释变量，也可以用定量变量和虚拟变
22、量一起作解释变量 第54页，本讲稿共77页第55页，本讲稿共77页2022/10/23中山学院经济与管理系56第56页，本讲稿共77页第57页，本讲稿共77页2022/10/23中山学院经济与管理系58第58页，本讲稿共77页第59页，本讲稿共77页第60页，本讲稿共77页2022/10/23中山学院经济与管理系61第61页，本讲稿共77页2022/10/23中山学院经济与管理系62第62页，本讲稿共77页第63页，本讲稿共77页3.7预测预测一点预测一点预测点预测就是将解释变量点预测就是将解释变量 的一组特定值，的一组特定值，比如比如代入估计的多元线性回归方程代入估计的多元线性回归方程得到被
23、解释变量得到被解释变量 的点预测值的点预测值它可以是总体均值它可以是总体均值 或个值或个值Y0的预测的预测 2022/10/23中山学院经济与管理系64第64页，本讲稿共77页二、区间预测1、个别值Y0的区间预测 如果已经知道实际的预测值Y0，那么预测误差为：容易证明E(e0)=0第65页，本讲稿共77页e0服从正态分布，即 构造t统计量 第66页，本讲稿共77页2、平均值E(Y0)的区间预测 容易证明 于是，得到(1-)的置信水平下E(Y0)的置信区间：第67页，本讲稿共77页某地区通过一个样本容量为某地区通过一个样本容量为722的调查数据得到劳动力受教育的一的调查数据得到劳动力受教育的一个
24、回归方程为个回归方程为 R2=0.214式中，式中，edu为劳动力受教育年数，为劳动力受教育年数，sibs为该劳动力家庭中兄弟姐妹为该劳动力家庭中兄弟姐妹的个数，的个数，medu与与fedu分别为母亲与父亲受到教育的年数。分别为母亲与父亲受到教育的年数。问问（1）sibs是否具有预期的影响？为什么？若是否具有预期的影响？为什么？若medu与与fedu保持不保持不变，为了使预测的受教育水平减少一年，需要变，为了使预测的受教育水平减少一年，需要sibs增加多少？增加多少？（2）请对）请对medu的系数给予适当的解释。的系数给予适当的解释。（3）如果两个劳动力都没有兄弟姐妹，但其中一个的父母受教育的
25、年）如果两个劳动力都没有兄弟姐妹，但其中一个的父母受教育的年数为数为12年，另一个的父母受教育的年数为年，另一个的父母受教育的年数为16年，则两人受教育年，则两人受教育的年数预期相差多少？的年数预期相差多少？第68页，本讲稿共77页（1）预期）预期sibs对劳动者受教育的年数有影响。对劳动者受教育的年数有影响。因此在收入及支出预算约束一定的条件下，因此在收入及支出预算约束一定的条件下，子女越多的家庭，每个孩子接受教育的时间子女越多的家庭，每个孩子接受教育的时间会越短。会越短。根据多元回归模型偏回归系数的含义，根据多元回归模型偏回归系数的含义，sibs前的参前的参数估计值数估计值-0.094表明
26、，在其他条件不变的情况表明，在其他条件不变的情况下，每增加下，每增加1个兄弟姐妹，受教育年数会减少个兄弟姐妹，受教育年数会减少0.094年，因此，要减少年，因此，要减少1年受教育的时间，兄年受教育的时间，兄弟姐妹需增加弟姐妹需增加1/0.094=10.6个个。第69页，本讲稿共77页（2）medu的系数表示当兄弟姐妹数与父亲受教的系数表示当兄弟姐妹数与父亲受教育的年数保持不变时，母亲每增加育的年数保持不变时，母亲每增加1年受教育的年受教育的机会，其子女作为劳动者就会预期增加机会，其子女作为劳动者就会预期增加0.131年年的教育机会。的教育机会。（3）首先计算两人受教育的年数分别为）首先计算两人
27、受教育的年数分别为10.36+0.131 12+0.210 12=14.45210.36+0.131 16+0.210 16=15.816因此，两人的受教育年限的差别为因此，两人的受教育年限的差别为15.816-14.452=1.36第70页，本讲稿共77页假设要求你建立一个计量经济模型来说明在学校跑道上慢跑一假设要求你建立一个计量经济模型来说明在学校跑道上慢跑一英里或一英里以上的人数，以便决定是否修建第二条跑道以英里或一英里以上的人数，以便决定是否修建第二条跑道以满足所有的锻炼者。你通过整个学年收集数据，得到两个可满足所有的锻炼者。你通过整个学年收集数据，得到两个可能的解释性方程：能的解释性
28、方程：方程方程A：方程方程B：其中：其中：某天慢跑者的人数某天慢跑者的人数 该天降雨的英寸数该天降雨的英寸数 该天日照的小时数该天日照的小时数 该天的最高温度（按华氏温度）该天的最高温度（按华氏温度）第二天需交学期论文的班级数第二天需交学期论文的班级数第71页，本讲稿共77页请回答下列问题：请回答下列问题：（1）这两个方程你认为哪个更合理些，为什）这两个方程你认为哪个更合理些，为什么？么？（2）为什么用相同的数据去估计相同变量的系数）为什么用相同的数据去估计相同变量的系数得到不同的符号得到不同的符号 第72页，本讲稿共77页方程方程B更合理些。原因是：方程更合理些。原因是：方程B中的参数中的参
29、数估计值的符号与现实更接近些，如与日照的估计值的符号与现实更接近些，如与日照的小时数同向变化，天长则慢跑的人会多些；小时数同向变化，天长则慢跑的人会多些；与第二天需交学期论文的班级数成反向变化与第二天需交学期论文的班级数成反向变化，这一点在学校的跑道模型中是一个合理的，这一点在学校的跑道模型中是一个合理的解释变量。解释变量。第73页，本讲稿共77页解释变量的系数表明该变量的单位变化在解释变量的系数表明该变量的单位变化在方程中其他解释变量不变的条件下对被解释方程中其他解释变量不变的条件下对被解释变量的影响，在方程变量的影响，在方程A和方程和方程B中由于选择了中由于选择了不同的解释变量，如方程不同
30、的解释变量，如方程A选择的是选择的是“该天的该天的最高温度最高温度”而方程而方程B选择的是选择的是“第二天需交学第二天需交学期论文的班级数期论文的班级数”，由此造成，由此造成 与这两个变与这两个变量之间的关系不同，所以用相同的数据估计量之间的关系不同，所以用相同的数据估计相同的变量得到不同的符号。相同的变量得到不同的符号。第74页，本讲稿共77页假定以校园内食堂每天卖出的盒饭数量作为被解释假定以校园内食堂每天卖出的盒饭数量作为被解释变量，盒饭价格、气温、附近餐厅的盒饭价格、变量，盒饭价格、气温、附近餐厅的盒饭价格、学校当日的学生数量（单位：千人）作为解释变学校当日的学生数量（单位：千人）作为解
31、释变量，进行回归分析；假设不管是否有假期，食堂量，进行回归分析；假设不管是否有假期，食堂都营业。不幸的是，食堂内的计算机被一次病毒都营业。不幸的是，食堂内的计算机被一次病毒侵犯，所有的存储丢失，无法恢复，你不能说出侵犯，所有的存储丢失，无法恢复，你不能说出独立变量分别代表着哪一项！下面是回归结果独立变量分别代表着哪一项！下面是回归结果（括号内为标准差）：（括号内为标准差）：（2.6）(6.3)(0.61)(5.9)第75页，本讲稿共77页（1）试判定每项结果对应着哪一个变量？）试判定每项结果对应着哪一个变量？（2）对你的判定结论做出说明。）对你的判定结论做出说明。第76页，本讲稿共77页（1）为学生数量，为学生数量，为附近餐厅的盒饭价格，为附近餐厅的盒饭价格，为气温，为气温，为校园内食堂的盒饭价格；为校园内食堂的盒饭价格；理由是被解释变量应与学生数量成正比，理由是被解释变量应与学生数量成正比，并且应该影响显著；与本食堂盒饭价格成反并且应该影响显著；与本食堂盒饭价格成反比，这与需求理论相吻合；与附近餐厅的盒比，这与需求理论相吻合；与附近餐厅的盒饭价格成正比，因为彼此是替代品；与气温饭价格成正比，因为彼此是替代品；与气温的变化关系不是十分显著，因为大多数学生的变化关系不是十分显著，因为大多数学生不会因为气温升高不吃饭。不会因为气温升高不吃饭。第77页，本讲稿共77页