双变量回归模型估计问题讲稿.ppt

《双变量回归模型估计问题讲稿.ppt》由会员分享，可在线阅读，更多相关《双变量回归模型估计问题讲稿.ppt（80页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、双变量回归模型估计问题第一页，讲稿共八十页哦暨南大学经济学院统计系 陈文静2本章知识要点：o1 普通最小二乘估计（OLS）o2 最小二乘法（OLS）的10个基本假定o3 最小二乘法估计的精度或标准误差o4 最小二乘法估计量的性质o5 判定系数和相关系数第二页，讲稿共八十页哦暨南大学经济学院统计系 陈文静3问题的提出问题的提出o回归分析的目的：是运用样本数据估计回归分析的目的：是运用样本数据估计SRLSRL，使，使SRLSRL能最能最大限度逼近于大限度逼近于PRLPRL。o由此而提出的问题是，由此而提出的问题是，在什么假定下，运用何种方法在什么假定下，运用何种方法形成形成SRLSRL，使，使SR

2、LSRL尽可能逼近尽可能逼近PRLPRL？o注意：总体回归函数或直线是：固定的、唯一的且是未知的。而我们每抽取一个样本，就可以得出一条样本回归直线，所以样本回归直线不是固定的，会随着样本的不同而不同，且是已知的，估计思路就是用已知的或者可以获得的信息来估计未知的总体信息。第三页，讲稿共八十页哦暨南大学经济学院统计系 陈文静4第四页，讲稿共八十页哦第五页，讲稿共八十页哦暨南大学经济学院统计系 陈文静6第六页，讲稿共八十页哦暨南大学经济学院统计系 陈文静7最小二乘估计的提出第七页，讲稿共八十页哦暨南大学经济学院统计系 陈文静8最小二乘估计1.1.德国科学家德国科学家Karl Gauss(1777K

3、arl Gauss(17771855)1855)提出用最小提出用最小化图中垂直方向的误差平方和来估计参数化图中垂直方向的误差平方和来估计参数2.2.使因变量的观察值与估计值之间的离差平方和达到使因变量的观察值与估计值之间的离差平方和达到最小来求得最小来求得和和的方法。即的方法。即3.用最小二乘法拟合的直线来代表x与y y之间的的关关系系与实际数据的误差比其他任何直线都小与实际数据的误差比其他任何直线都小第八页，讲稿共八十页哦暨南大学经济学院统计系 陈文静9KarlGauss的最小化图的最小化图x xy y(x xn n,y yn n)(x x1 1,y y1 1)(x x2 2,y y2 2)

4、(xi,yi)(xi,yi)e ei i=y yi i-y yi i第九页，讲稿共八十页哦暨南大学经济学院统计系 陈文静10最小二乘估计第十页，讲稿共八十页哦第十一页，讲稿共八十页哦第十二页，讲稿共八十页哦第十三页，讲稿共八十页哦第十四页，讲稿共八十页哦暨南大学经济学院统计系 陈文静15第十五页，讲稿共八十页哦暨南大学经济学院统计系 陈文静16一个说明o 分别为样本的均值，所以 为样本点对样本均值的离差，度量第 个观测值 和 对其均值的偏离。上述推导中，N为样本点个数或样本长度，为方便，以后以小写的 表示。第十六页，讲稿共八十页哦暨南大学经济学院统计系 陈文静17样本回归直线的估计第十七页，讲

5、稿共八十页哦暨南大学经济学院统计系 陈文静18第十八页，讲稿共八十页哦暨南大学经济学院统计系 陈文静19估计的样本回归线估计的样本回归线(SRL)具有如下性质：具有如下性质：（1）SRL通过样本均值点(由 ,即样本均值满足样本回归直线,所以通过样本均值点),如图.第十九页，讲稿共八十页哦第二十页，讲稿共八十页哦第二十一页，讲稿共八十页哦第二十二页，讲稿共八十页哦第二十三页，讲稿共八十页哦o一个注释暨南大学经济学院统计系 陈文静24第二十四页，讲稿共八十页哦以上我们仅得到了估计量以及相应的样本回归直线，尽管从估计的角度看，运用OLS已经能求出参数的估计。但没有对残差的分布和变量X作出任何假定，因

6、此我们无法对这种估计或SRL作出评价和推断，而回归分析的目的不仅要求出参数的估计，还需对总体作出推断，即对于PRL通过上述OLS方法，得到了SRL第二十五页，讲稿共八十页哦暨南大学经济学院统计系 陈文静26基本假定的提出o问题：SRL是否为PRL的一个无偏估计？如何定义无偏？这一问题归结为估计量 在期望的意义下是否与总体参数 有偏差？也就是说，从SRL能否推断PRL的真值？o解决这一问题的途径是对总体的残差作出分布假定，然后讨论估计量的分布性质，基于此讨论估计量是否有偏等一系列问题。另一方面，从PRL可知，Y 依赖于X和扰动，只有对X和扰动作出相应的假定，才可能对Y 和参数作出统计推断，亦即对

7、模型作出评价。第二十六页，讲稿共八十页哦暨南大学经济学院统计系 陈文静273.2.OLS的基本假定的基本假定 经典线性回归模型（CLRM）或称为高斯或标准直线回归模型具有10大假设，构成了计量经济学理论基础。在这10大假设下，SRL具有对总体无偏等性质。这些假定有下述10条。第二十七页，讲稿共八十页哦暨南大学经济学院统计系 陈文静281.线性回归模型线性回归模型即即模型对参数而言是线性的（参数只能以模型对参数而言是线性的（参数只能以1次次方出现）方出现）。这一假定强调的是对。这一假定强调的是对参数参数，而，而不不是变量是变量。如。如 Yb b1 1+b+b2 2X+u Yb b1 1+b+b2

8、 2X1+b b3 3X2+u为线性模型为线性模型(对参数而言对参数而言)，但但 Yb b1 1+b+b2 2X1+b b1 1b b2 2X2+u对对参参数数而而言言就就是是非非线线性性模模型型，如如果果设设定定这这样样的的非非线线性性模模型型，则违反了性线回归模型的假设。则违反了性线回归模型的假设。.第二十八页，讲稿共八十页哦暨南大学经济学院统计系 陈文静29这一假定不难理解，对于上面所假定的总体，对于这一假定不难理解，对于上面所假定的总体，对于X80，随机抽取一个家庭，其，随机抽取一个家庭，其Y70，直至，直至X=260,随随机机抽抽取取Y=150,在在第第二二次次抽抽样样时时，仍仍将将

9、X固固定定在在X80，再再次抽取一个样本次抽取一个样本Y55，直至，直至X=260，随机抽取随机抽取Y=175。这种重复抽样的过程是将这种重复抽样的过程是将X固定在固定在X80直至直至X=260。在在重重复复抽抽样样过过程程中中，将将X固固定定或或不不变变，从从这这个个意意义义上上说说，X是是非随机的非随机的，X固定后，随机抽取相应的固定后，随机抽取相应的Y。注：注：条件回条件回归归分析分析（X X固定的条件下固定的条件下讨论讨论Y Y的平均的平均变变化）化）2.在重复抽样中在重复抽样中X是固定的，或是固定的，或X是非随机的。是非随机的。第二十九页，讲稿共八十页哦暨南大学经济学院统计系 陈文静

10、303.干扰项的均值为干扰项的均值为0这这一一假假定定是是对对于于固固定定的的X，如如X80，指指偏偏离离总总体体条条件件均均值值的的和和为为0，无无论论个个别别的的偏偏差差有有多多大大（小小），是是正正还还是是负负，其其和和为为0。回回到到上上例例，X80，总总体体为为5户户家家庭庭，Y的的均均值值为为65，第第一一个个家家庭庭的的Y为为55，偏偏差差为为10，第第二二个个为为60，偏偏差差为为5，等等等等，这这些些偏偏差差相相加加应应为为0，也也就就是是说说，正正和和负负的的偏偏差差相相互互抵消抵消。由上述性质由上述性质2和和3，回归是建立在条件回归的基础上回归是建立在条件回归的基础上。第

11、三十页，讲稿共八十页哦暨南大学经济学院统计系 陈文静31第三十一页，讲稿共八十页哦暨南大学经济学院统计系 陈文静32补充说明o当考虑随机误差项的所有可能值的全部（即总体）时，总体均值应该为0。o对于小样本，误差项的均值不可能正好为0，为了弥补这一缺陷，在方程中加上常数项可以迫使任何回归中的扰动项的均值为0.o本质上，常数项等于Y中不能被解释变量解释的固定部分，而误差项则等于Y中不能被X解释的随机部分。第三十二页，讲稿共八十页哦暨南大学经济学院统计系 陈文静334.4.同方差性或扰动的方差相同。同方差性或扰动的方差相同。即即第三十三页，讲稿共八十页哦暨南大学经济学院统计系 陈文静34与之不同的是

12、异方差，如下图所示与之不同的是异方差，如下图所示第三十四页，讲稿共八十页哦暨南大学经济学院统计系 陈文静35这是因为由假定这是因为由假定3即扰动的均值为即扰动的均值为0实际上，随机干扰项的同方差假定也就意味着对应于不同的X，Y也有同样的方差。该假定意味着对应于不同的X值的全部Y值都有同样的重要性。第三十五页，讲稿共八十页哦暨南大学经济学院统计系 陈文静365 扰动之间无（自）相关。扰动之间无（自）相关。即即给给定定任任意意的的X 的的两两个个值值，对对应应的的扰扰动动没没有有自自相相关关。基基于于相相关和协方差的定义，不相关与协方差为关和协方差的定义，不相关与协方差为0等价。等价。第三十六页，

13、讲稿共八十页哦o如X80和X100两个不同的水平，与总体均值的偏差不相关。协方差正是针对不同水平之间而定义的。这一性质所强调的是，所有的与总体均值的偏差（误差）之间不相关，而不仅仅是对给定某一水平（如X80）之下的误差而言。第三十七页，讲稿共八十页哦暨南大学经济学院统计系 陈文静386.扰动项与扰动项与X不相关，或它们之间的协方差为不相关，或它们之间的协方差为0。这一假定的表示中，这一假定的表示中，非随机是因为它已经是一个数。非随机是因为它已经是一个数。第三十八页，讲稿共八十页哦如果一个解如果一个解释变释变量与量与误误差差项项相关，相关，OLS估估计计量量很可能把一些很可能把一些实际实际由由误

14、误差差项项所引起的所引起的的变异归因的变异归因于由解释变量于由解释变量所引起。所引起。例如，如果解例如，如果解释变释变量与量与误误差差项项正相关，估正相关，估计计的回的回归归系数可能大于（向上偏系数可能大于（向上偏误误）没有正相关）没有正相关时时的系数的系数估估计计。因。因为为OLS估估计计程序会程序会错误错误地把由地把由引起的引起的Y的的变变异异归归因于因于X，因此，确保解，因此，确保解释变释变量与量与误误差相不相差相不相关很重要。关很重要。第三十九页，讲稿共八十页哦o为理解为什么，让我们看一个例子。在一个简为理解为什么，让我们看一个例子。在一个简单的凯恩斯宏观经济模型中，消费的增加（也单的

15、凯恩斯宏观经济模型中，消费的增加（也许是由于未预期到的偏好变化所引起）将增加许是由于未预期到的偏好变化所引起）将增加总需求，于是导致总收入的增加。然而，收入总需求，于是导致总收入的增加。然而，收入的增加也会引起消费的增加，因此，消费与收的增加也会引起消费的增加，因此，消费与收入是相互依赖的。注意，消费函数中的误差项入是相互依赖的。注意，消费函数中的误差项（这个误差项是由未预期到的偏好变化所引起（这个误差项是由未预期到的偏好变化所引起的）和消费函数中的解释变量现在一起变动。的）和消费函数中的解释变量现在一起变动。其结果是违背了经典假定，误差项不再与所有其结果是违背了经典假定，误差项不再与所有解释

16、变量不相关。解释变量不相关。第四十页，讲稿共八十页哦7.观测次数或样本的长度大于待估参数的个数。观测次数或样本的长度大于待估参数的个数。8.X值值要要有有变变异异性性，即即对对于于一一个个给给定定的的样样本本，X的的值值不不能能全全部部相相同同，也也就就是是说说，X的的方方差差必必须须是是一一个个有有限限的的正正数数。反反之之，若若X在在一一个个样样本本中中取取相相同同的的值值(无无变变异异性性)，方方差差就就为为0,无无法法估估计计参参数数。变量必须在变！变量必须在变！9.正正确确设设定定回回归归模模型型，或或者者说说，所所用用的的模模型型不不存存在在设设定定误误差差。所所谓谓设设定定问问题

17、题，在在本本书书中中包包括括：（1）模模型型应应包包括括哪哪些些变变量量，（2）模模型型的的函函数数形形式式（如如线线性性还还是是非非线线性性），（3）对对模模型型的的变变量量和和扰扰动动应应有有哪哪些些假假定定等等。以以后后我我们们还还应应看看到到，设设定定问问题题还还有有更更多多的的内容。内容。第四十一页，讲稿共八十页哦暨南大学经济学院统计系 陈文静4210.解释变量之间没有完全的线性关系。解释变量之间没有完全的线性关系。第四十二页，讲稿共八十页哦暨南大学经济学院统计系 陈文静43一个说明 我我们们特特别别说说明明，这这些些假假定定并并不不全全部部成成立立，在在这这些些假假定定之之下下，所

18、所得得到到的的回回归归和和SRL，为为以以后后的的分分析析建建立立了了一一个个框框架架，或或镜镜子子，违违反反这这些些假假定定的的任任何何一一条条，将将得得不不到到这这些些假假定定之之下下的的估估计计量量的的性性质质。因因此此，计计量量经经济济学学正正是是对对这这些些假假定定的的逐逐步步取取消消或或在在某某些些假假定定之之下下能能导导出出仍仍然然有有效效的的估估计计或或统统计计推推断断而而不不断断将将研研究的问题深入和逼近现实。究的问题深入和逼近现实。第四十三页，讲稿共八十页哦暨南大学经济学院统计系 陈文静443.3 OLS的精度：标准误差o我们在前面有关异方差的讨论中已说明，方差越小，与总体

19、的偏离就越小，对这一问题的正式分析即为标准差。o从OLS可知，估计量均为样本数据的函数，如何评价估计量的可信度或精度？工具就是所谓标准差。第四十四页，讲稿共八十页哦暨南大学经济学院统计系 陈文静45第四十五页，讲稿共八十页哦暨南大学经济学院统计系 陈文静46第四十六页，讲稿共八十页哦暨南大学经济学院统计系 陈文静47第四十七页，讲稿共八十页哦第四十八页，讲稿共八十页哦以上的参数估计的方差和标准差都含总体扰动的以上的参数估计的方差和标准差都含总体扰动的方差和标准差，而总体扰动一般是不可观测的，方差和标准差，而总体扰动一般是不可观测的，即总体方差即总体方差 和标准差和标准差 是未知的，故需要用是未

20、知的，故需要用样本予以估计，我们给出结果，推导详见样本予以估计，我们给出结果，推导详见p85p85。第四十九页，讲稿共八十页哦暨南大学经济学院统计系 陈文静50第五十页，讲稿共八十页哦第五十一页，讲稿共八十页哦第五十二页，讲稿共八十页哦暨南大学经济学院统计系 陈文静533.3.OLS估计量的性质：估计量的性质：高斯马尔可夫定理高斯马尔可夫定理在 给定上述假定条件，由给定上述假定条件，由OLS所得到的估计量所具有的性质：所得到的估计量所具有的性质：1.估估计计量量关关于于Yi是是线线性性的的。即即 是是关关于于 的的线线性性组组合合，由由于于 为为随随机机变变量量的的一一个个样样本本，所所以以估

21、估计计量量也也是是一一个随机变量。作为例子，个随机变量。作为例子，第五十三页，讲稿共八十页哦暨南大学经济学院统计系 陈文静542.2.估计量是无偏的估计量是无偏的例子例子第五十四页，讲稿共八十页哦暨南大学经济学院统计系 陈文静553 在所有线性无偏估计量中具有在所有线性无偏估计量中具有 最小方差最小方差 具有最小方差的估计量称为有效估计量具有最小方差的估计量称为有效估计量.注注意意：有有效效估估计计量量强强调调最最小小方方差差，即即对对所所有有线线性性和和非非线线性性估估计计量量，只只要要是是最最小小方方差差，就就称称为为有有效效估估计计量量。一一般般而而言言，这这一一定定义对于大样本而定义的

22、。义对于大样本而定义的。第五十五页，讲稿共八十页哦暨南大学经济学院统计系 陈文静56第五十六页，讲稿共八十页哦暨南大学经济学院统计系 陈文静57第五十七页，讲稿共八十页哦暨南大学经济学院统计系 陈文静58第五十八页，讲稿共八十页哦高斯马尔可夫定理高斯马尔可夫定理暨南大学经济学院统计系 陈文静59 在给定经典线性回归模型的假定下，在给定经典线性回归模型的假定下，OLS 估估计量，在无偏线性估计量中，具有最小方差，即计量，在无偏线性估计量中，具有最小方差，即OLS估计量是最优线性无偏估计量（估计量是最优线性无偏估计量（BLUE）第五十九页，讲稿共八十页哦暨南大学经济学院统计系 陈文静603.5.判

23、定系数：拟合优度的一个度量判定系数：拟合优度的一个度量 o以上所讨论的是关于估计量的性质，即线性无偏且方差最小，因此，样本回归直线是总体的一个无偏且具有高精度(方差最小)的估计，但由于总体一般是未知的，所以以下的分析针对样本回归直线。但对于所谓尽可能逼近还没有正式定义和度量，所谓尽可能逼近，其定义和度量之一是，围绕样本回归直线的偏差（残差）尽可能小，即样本数据尽可能拟合SRL，度量这种拟合程度即为判定系数，或拟合优度，记为 。第六十页，讲稿共八十页哦暨南大学经济学院统计系 陈文静61拟合优度o拟合优度（goodness of fit）：回归直线与各观测点的接近程度称为回归直线对样本数据的拟合优

24、度，通常用判定系数(coefficient of determination)来判断。o若各观测数据的散点都落在回归直线上，那么这条回归直线就是对数据的完全拟合。o各观测点越是紧密围绕直线，说明直线对观测数据的拟合程度越好，反之就越差。第六十一页，讲稿共八十页哦暨南大学经济学院统计系 陈文静62 变差（离差）1.因变量 y 的取值是不同的，y 取值的这种波动称为变差。变差来源于两个方面n由于自变量 x 的取值不同造成的n除 x 以外的其他因素(如x对y的非线性影响、测量误差等)的影响2.对一个具体的观测值来说，变差的大小可以通过该实际观测值与其均值之差 来表示第六十二页，讲稿共八十页哦我们以下

25、导出拟合优度的公式：我们以下导出拟合优度的公式：定义：定义：上式所度量的是所有观测值（样本点）与其均值上式所度量的是所有观测值（样本点）与其均值（或总体均值，因为（或总体均值，因为 ）的总变异（）的总变异（），），故称为故称为总变异总变异或或总平方和，记为总平方和，记为TSS。第六十三页，讲稿共八十页哦解释平方和解释平方和ESS定义为：定义为：由于在由于在ESS中，中，表示回归直线上的点与表示回归直线上的点与样本均值（等于总体均值）的总离差，因此它样本均值（等于总体均值）的总离差，因此它度量了回归直线与总体均值的度量了回归直线与总体均值的“逼近逼近”程度，故程度，故称为解释平方和，或由回归解释

26、的平方和，称为解释平方和，或由回归解释的平方和，即在即在TSS（总变异）中，由回归所解释的变异。（总变异）中，由回归所解释的变异。第六十四页，讲稿共八十页哦而残差平方和而残差平方和RSS定义为残差（或剩余）或未被解释定义为残差（或剩余）或未被解释的部分围绕回归线的的部分围绕回归线的Y Y值的变异：值的变异：TSSESSRSS 这些分解的意义见下图。这表明这些分解的意义见下图。这表明Y的观测值围绕其均的观测值围绕其均值的总变异可以分解成两个部分：一部分来自回归直线，值的总变异可以分解成两个部分：一部分来自回归直线，用自变量用自变量x可以解释的部分；另一部分来自随机的非系统因素可以解释的部分；另一

27、部分来自随机的非系统因素导致的变异，因为并不是所有的实际观测值都落在所拟合的直导致的变异，因为并不是所有的实际观测值都落在所拟合的直线上。线上。这样这样TSS就分解为就分解为第六十五页，讲稿共八十页哦暨南大学经济学院统计系 陈文静66第六十六页，讲稿共八十页哦暨南大学经济学院统计系 陈文静67离差平方和的分解(三个平方和的关系)TSS=ESS+RSS总平方和总平方和总平方和总平方和(TSSTSS)回归平方和回归平方和回归平方和回归平方和(ESSESS)残差平方和残差平方和残差平方和残差平方和(RSSRSS)第六十七页，讲稿共八十页哦暨南大学经济学院统计系 陈文静68离差平方和的分解(三个平方和

28、的意义)1.总平方和总平方和(SST)n反映因变量的 n 个观察值与其均值的总离差2.回归平方和回归平方和(SSR)n反映自变量 x 的变化对因变量 y 取值变化的影响，或者说，是由于 x 与 y 之间的线性关系引起的 y 的取值变化，由回归直线来解释的y 变差部分。3.残差平方和残差平方和(SSE)n反映除 x 以外的其他因素对 y 取值的影响，是不能由回归直线来解释的y 变差部分，也称为残差平方和或误差平方和总平方和总平方和(SST)=回归平方和回归平方和(SSR)+残差平方和残差平方和(SSE)第六十八页，讲稿共八十页哦暨南大学经济学院统计系 陈文静69总离差分解图总离差分解图第六十九页

29、，讲稿共八十页哦拟合优度的定义即是在总变异中，由回归所产生的变异占的拟合优度的定义即是在总变异中，由回归所产生的变异占的比重。比重。显然，有显然，有 ，经简单推导，经简单推导,可表示为可表示为第七十页，讲稿共八十页哦暨南大学经济学院统计系 陈文静71判定系数R2(coefficientofdetermination)1.判定系数：回归平方和占总离差平方和的比例2.2.判定系数反映回归直线的拟合程度判定系数反映回归直线的拟合程度3.3.取值范围在取值范围在 0,10,1之间之间4.4.R R2 2 1 1，表明回归平方和占总平方和的比例越大，回归直线与各观，表明回归平方和占总平方和的比例越大，回

30、归直线与各观测点越接近，用测点越接近，用x x的变化解释的变化解释y y值变差的部分就越多，这说明回值变差的部分就越多，这说明回归方程拟合的越好；归方程拟合的越好；R R2 20 0，说明回归方程拟合的越差，说明回归方程拟合的越差第七十一页，讲稿共八十页哦暨南大学经济学院统计系 陈文静72第七十二页，讲稿共八十页哦第七十三页，讲稿共八十页哦第七十四页，讲稿共八十页哦暨南大学经济学院统计系 陈文静75相关系数(correlationcoefficient)1.相关系数：根据样本数据计算的度量两个变 量之间线性关系程度的统计量。2.若相关系数是根据总体全部数据计算的，称为总体相关系数，记为 3.若

31、是根据样本数据计算的，则称为样本相关系数，记为 r第七十五页，讲稿共八十页哦暨南大学经济学院统计系 陈文静76相关系数(计算公式)第七十六页，讲稿共八十页哦相关系数的性质1.r 的取值范围是-1,1，即-1 r1。-1r0：为负线性相关关系 0r1：为正线性相关关系 n|r|=1，为完全相关 r=1，为完全正线性相关；r=-1，为完全负线性相关nr=0，不存在线性线性相关关系 n|r|越趋于1表示关系越密切；|r|越趋于0表示关系越不密切 2.r 具有对称性，rxy=ryx3.r数值大小与x和y的原点和尺度没有关系or仅仅是x与y之间线性关系的度量，不能描述非线性关系。or度量来两个变量之间的线性关系，但不一定意味着有因果关系o两个变量独立，则相关系数为0，反之不成立。第七十七页，讲稿共八十页哦暨南大学经济学院统计系 陈文静78相关系数(取值及其意义)-1.0+1.00-0.5+0.5完全负相关完全负相关无线性相关无线性相关完全正相关完全正相关负相关程度增加负相关程度增加r正相关程度增加正相关程度增加第七十八页，讲稿共八十页哦暨南大学经济学院统计系 陈文静79第七十九页，讲稿共八十页哦暨南大学经济学院统计系 陈文静80第八十页，讲稿共八十页哦