《2021-2022年收藏的精品资料计量经济学讲义4第二章 单变量回归.doc》由会员分享，可在线阅读，更多相关《2021-2022年收藏的精品资料计量经济学讲义4第二章 单变量回归.doc（67页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第三部 线性分析第二章 单变量回归第二章 单变量回归所谓回归分析(regression analysis)，就是弄清楚两个或两个以上变量之间的因果关系的统计手法，是计量经济学中经常应用的方法。我们也可以认为计量经济学的目的就是为了改进回归分析。本章的对象：单变量的回归模型主要内容：古典正规线性回归模型的假定； 最小二乘回归模型(Ordinary least-squares regression model, OLS)的重要结果；1. 古典正规线性回归模型1-1 回归分析(1) 现在把两个变量和之间的关系，用一次函数的形式表示。具体，这样的模型称为单变量回归模型。其中，是代表原因(cause)的
2、变量，我们称之为说明变量(explanatory variable),或者称之为独立变量(independent variable); 是代表结果(result)的变量，我们称之为被说明变量(explained variable)，或从属变量(dependent variable); 是误差项(error term),或叫作搅乱项(disturbance term)，代表不能用的变化来反应出的的变化的那个部分。也就是现实的与理论的之间的差异。为什么需要加入误差项呢？因为精确的数学模型能解释的现象很少；现在能解释经济现象的手法大家更喜欢用随机变量来表示经济变量的不确性； (2) 回归分析的目的主
3、要目的是估计参数和以及以及对估计值进行显著性检验。 最常用的方法是最小2乘法(Ordinary Least Square method, OLS)1-2 5个基本假定A. 古典正规线性回归模型有以下五个假设：(1) 误差项的平均为0,即；(2) 误差项之间不相关，即，或；(3) 误差项具有相同的方差，其中是未知；(4) 说明变量是可以指定的，也就是说不是确率变量；(5) 误差项服从正规分布。B. 下面我们详细说明上述的五个假定。B-1假定(1)误差项代表说明变量以外其他的对被说明变量产生影响因素的总和。其中的任何一个构成因素都不可能对被说明变量产生连续的影响，而它们总体有时候对被说明变量产生正
4、的影响，有时候产生负的影响，但是就平均程度而言是0。这种假定意味着被说明变量的平均是由的大小决定，而误差项不会对被解释变量产生一种系统的影响，也就是与误差项无关。把说明变量分成两个部分：和。其中，是可以人为指定的，称为系统部分；误差项是个确率变量，称为非系统部分；就是不可预知部分，它决定被说明变量也是个随机变量。被说明变量和误差项具同样的分布。如果这种假设不成立，也就是说，有一个系统因素，本应该出现在系统部分里，却人为地把它放在非系统部分中，那样会带来什么样的后果呢？先看看原来的误差项。如前面所述的那样，依旧假设是一个平均为0的随机变量。现在，犯了定义上的错误，把应该放在系统说明部分中的说明变
5、量，归类到误差项中，即，其中是一个均值为0的随机变量。这时，就不再是一个均值为0的随机变量。被说明变量的平均也不再只由的大小决定，还要受到中的大小的影响。这种错误是在建模阶段发生的错误。不能简单地从检验假说(1)的成立与否来判断这类错误的有无。原因是无论模型的建立是否正确，最小二乘残差的总和永远为0，即，所以从作为误差项的估计值的的平均，是不能判断假说(1)的正确与否。B-2. 假设(2) - 各期的误差项之间不相关，即 先介绍一下什么是自己相关。假如代表任何时点，相应的误差项。如果是正的时候，更倾向于得到正的值，这种情况，称之间存在正的相关；反之，当为正的时候，倾向于小于0的情况，称为负相关
6、。假设(4)阐述那样，说明变量不是随机变量，所以误差项是一个随机变量，被说明变量因此也成为一个随机变量。如果是一个自己相关的随机变量的话，相应的也成为一个自己相关的随机变量。虽然自己不相关这一假说是一个非常强的假设，在现实中很难得到满足，但是在理论研究上具有很好的性质，比如使用方便等，同时也可以把结果发展到自己相关的状况下，所以这个假设还是很重要的。对于自己相关的处理方法，将在自己相关那一章中作具体介绍。B-3. 假设(3) - 误差项具有相同的方差，其中是未知。首先介绍一下均一方差。对于所有的误差项来说，它们都具有相同的方差的时候，服从均一方差分布；当各时点误差项的方差不相同的时候，服从异方
7、差分布。被说明变量与误差项具有相同的随机性质，所以当服从于均一方差分布的时候，被说明变量也服从于均一方差分布；反之，当不服从于均一方差分布的时候，被说明变量也服从于异方差分布。关于这一假设部成立的情况，会在异方差中详细说明。B-4假设(4) - 说明变量是可以指定的，也就是说不是随机变量。所谓指定变量，就是意味着可以人为地给定一个的水平，可以观察相应的的水平。虽然说明变量是可以控制的，但是其他不可以控制的影响被说明变量的因素是随机变动的，所以被说明变量是确率变量。这里反复强调说明变量是指定变量，宗旨无非是想表明说明变量不是确率变量，也就是说不是随机变动的，的决定机制和误差项的决定机制是完全不同
8、的，它们是独立的，这就是这条假设的目的。在自然科学领域，说明变量的水平是可以控制的，例如，肥料的投入量与收成关系的研究中，肥料的投入量是可以人为控制的。但是在经济学领域里，这种人为的控制是不可能的。例如给出不同的收入水平，也不可能策划出家庭消费，因为从被调查家庭这个母集团中，随机抽取家庭样本时，导致家庭的收入水平这一说明变量就变得不可以控制。还可以把假设（4）放松到说明变量是确率变量，但是要与误差项独立。这种情况下，在本章中所展开的讨论仍然是有效的，只是可以把确率说明变量理解为一种条件观察值。B-5 假设(5) 误差项服从正规分布。这里定义误差项是影响被说明变量的系统因素以外非系统因素的总和。
9、即，当k是一个比较大的数字，相互独立，而且每一个对误差项的影响是非常微小的。这种情况下，根据中心极限定理可以假定误差项服从正规分布。误差项服从正规分布与否，和假说（1）同样，是在建立理论模型的时候需要慎重考虑的。2。最小二乘法的几个重要结果2.1 最小二乘回归有以下四个重要结果：(1). (2). (3). (4). 2.2 结果的意义结果(1). 这个结果说明最小二乘残差的总和一定是0。这个结果同理论模型的好与坏，前面提及的假说（1）正确与否都无关，永远成立。对每一个残差项而言，一般来说它不一定是0，我们由（因为残差项使不可观察的，这里我们为了强调特意写成代表残差项的推导过程），当过大地估计
10、的时候，残差项就是负的；当过小地估计的时候，残差项就大于0。但是总和永远为0。表明被说明变量的观察值的总和与估计值的总和永远是相等的，即，也就是说它们的样本平均值也是一致的，。有时候会出现，那更多的是因为计算中的误差所至，而不是否认这一结果。结果(2). 由结果，很容易地得到，从而得到，很显然，当的时候，就有。而残差项与说明变量的样本相关系数当，意味着与之间是线性无关，即。同样的道理，可以有得出与之间是线性无关，即。结果(3). ，称为全变动，反映被说明变量在样本平均周围的变化程度，称为回归模型可以说明的变动，反映被说明变量的估计值在样本平均周围的变化程度，称为回归模型不能说明的变化部分。结果
11、(4). 我们利用这个结果，可以简单地求出。2.3 结果的证明证明(1). 证明(2). 证明(3). 证明(4). 最小二乘估计量的性质一的均值是无偏估计 ， ； 两边取均值，有 ， 这表明是的无偏估计量。 对于，。二的方差做的五个假设中假设服从于正态分布，所以只要知道，的均值，方差和协方差，就完全知道的所有统计特性。 根据方差的定义，把代入，得到；对于，有；再计算协方差，。三 Gauss-Markov高斯-马尔可夫定理对于古典线性回归模型，普通最小二乘估计量是最佳线性无偏估计量(BLUE)。,是样本的线性函数，所以是线性估计量。下面证明的方差最小。设的任一线性估计量为，则只有当的时候，才是
12、的无偏估计量。；作个变换， 第三节 拟合优度的测度一 概念拟合优度是指两个变量之间关系强度的测度。二 Y的变差的组成 三拟合优度的测度3.1 决定系数在全变动中，只有是回归模型可以说明，所以判断一个理论模型具有多少说明力，用决定系数的，（ESS: explained sum of squares；TSS: total sum of squares; RSS：residural sum of squares）来度量，或者用相关系数；来度量。的取值范围在-1到+1之间，其绝对值越接近于1，表明被说明变量与说明变量的线性相关程度越强，当的时候，称被说明变量与说明变量之间是完全负的相关，当的时候，称被
13、说明变量与说明变量之间是完全正的相关，当的时候，称被说明变量与说明变量之间是完全不相关。第四节 区间估计和假设检验一的置信区间 最小二乘法的五个假设都成立的情况下，. if is given, then we can estimate as ; 1的估计 We will prove is a unbiased estimator for . ; as , and then we havewhere , and We will estimate by the following , alike. ,and there is ,and then we have , then , ,and then
14、 we instead with . ; As,and ,and then we have .2. conditional on the un-known , we estimate the interval value for by using t-value. , as there two parameters .The interval values for parameter is .The method of looking for t-table in the behind of the text, P186.The question : why the t-value of es
15、timator must equal to 1.96 at least ? For example: in the text P53.三 Testing for hypothesis 参考书：1 金融数量方法陈工孟，陈守东译，上海人民出版社。？ 为什么要进行检验呢？概率模型仅仅能够提供回归系数的估计，因此有必要对这些古迹在多大的程度上能够代表着真实的系数进行检验。可以通过加演回归系数的统计显著性和所顾忌的回归直线的数据的拟合优度来进行这项检验。1. The method for testing 建立原假设和备择假设；计算检验统计量；看是否出现小概率事件；得出结论。 Example 3.3 We
16、 must remember that We see the table on P186, we can find the value is -1.86. If we want to find out the value for , then the value is -.1.397;If we want to know the value for ,then the two-hand value is 3.355.2 系数的显著性检验 所谓显著性检验就是检验参数是否为0。也就是检验每一个估计系数是由于偶然性而落在分布的尾部，还是落在分布的主体范围内。即判断与否。 系数的统计显著性可以用估计值
17、的离散程度来衡量。由于误差或残差被假定服从正态分布，误差的标准偏差就可以用来衡量这种分散程度，这种标准偏差被称为系数的标准误差。我们用t统计量来度量系数的显著性程度。为了得到这些度量，我们首先需要知道：系数的抽样分布；系数的方差以及标准误差的估计；这样，我们就可以检验关于系数的假设，或对期建立置信区间。 原假设：是指在统计检验中没有证据能够拒绝它时将会被接受的假说。 备择假设：拒绝原假设，就会接受备择假设。 真实的情况 原假设为真的and 接受原假设 原来假设有误and accepted判 接受原假设 对 第二类错误断结 拒绝原假设 第一类错误 对果我们最想避免的是第一类错误。因此我们设置相应
18、的显著性水平，使得发生这种错误的概率小一些。检验的步骤：step-1 确定显著性水平. 显著性水平意味着偶然性的概率。例如95%，就意味着95%的概率不是出于偶然。step-2 设置原假设中的大小step-3 查表找出临界值step-4 判断出现小概率时间的话，则表明在显著性水平下，原假设不成立。单边检验：右边：大于右侧的临界值，表明样本太大了，他成为总体的代表的概率小于我们所设定的显著性水平。p-valuep-value是原假设成立的情况下，标准化的检验统计量取值得概率。Example 3.4 P55进一步阅读文献：Bowers,D.,1991,Statistics for Economic
19、s and Business, Macmillam，London.Silver,M.,1992,Business Statistics, McGraw-Hill,London四 回归结果的提供和分析1 回归结果提供的格式 two types2. 回归结果的分析 2-1 系数的说明。符号，大小，意义等。 2-2 拟合情况。 2-3 系数的显著性。 2-4 误差项是否存在自相关。第五节 利用回归进行预测 (forcasting) P56一 预测的概念 P56 通过说明变量来推测被说明变量的大小。二 预测的隐含条件： 对于新的观测值来说，回归模型也成立。三 预测的误差 P57 预测有点预测值和区间预
20、测值。 提供点预测值的同时，必须提供预测值的预测误差。预测误差的来源：一是预测期间的扰动项假设为0；二是样本估计值不一定就是总体值。 他是一个无偏估计； 表明的时候，预测误差达到最小；其他的时候，预测误差向两侧非线性递增。四 预测的置信区间 or 3 系数的显著性检验 所谓显著性检验就是检验参数是否为0。也就是检验每一个估计系数是由于偶然性而落在分布的尾部，还是落在分布的主体范围内。即判断与否。 系数的统计显著性可以用估计值的离散程度来衡量。由于误差或残差被假定服从正态分布，误差的标准偏差就可以用来衡量这种分散程度，这种标准偏差被称为系数的标准误差。我们用t统计量来度量系数的显著性程度。为了得
21、到这些度量，我们首先需要知道：系数的抽样分布；系数的方差以及标准误差的估计；这样，我们就可以检验关于系数的假设，或对期建立置信区间。 原假设：是指在统计检验中没有证据能够拒绝它时将会被接受的假说。 备择假设：拒绝原假设，就会接受备择假设。 真实的情况 原假设为真的and 接受原假设 原来假设有误and accepted判 接受原假设 对 第二类错误断结 拒绝原假设 第一类错误 对果我们最想避免的是第一类错误。因此我们设置相应的显著性水平，使得发生这种错误的概率小一些。检验的步骤：step-1 确定显著性水平. 显著性水平意味着偶然性的概率。例如95%，就意味着95%的概率不是出于偶然。step
22、-2 设置原假设中的大小step-3 查表找出临界值step-4 判断出现小概率时间的话，则表明在显著性水平下，原假设不成立。单边检验：右边：大于右侧的临界值，表明样本太大了，他成为总体的代表的概率小于我们所设定的显著性水平。p-valuep-value是原假设成立的情况下，标准化的检验统计量取值得概率。Example 3.4 P55进一步阅读文献：Bowers,D.,1991,Statistics for Economics and Business, Macmillam，London.Silver,M.,1992,Business Statistics, McGraw-Hill,Londo
23、n五 回归结果的提供和分析1 回归结果提供的格式 two types2. 回归结果的分析 2-1 系数的说明。符号，大小，意义等。 2-2 拟合情况。 2-3 系数的显著性。 2-4 误差项是否存在自相关。第六节 利用回归进行预测 (forcasting) P56一 预测的概念 P56 通过说明变量来推测被说明变量的大小。二 预测的隐含条件： 对于新的观测值来说，回归模型也成立。三 预测的误差 P57 预测有点预测值和区间预测值。 提供点预测值的同时，必须提供预测值的预测误差。预测误差的来源：一是预测期间的扰动项假设为0；二是样本估计值不一定就是总体值。 他是一个无偏估计； 表明的时候，预测误
24、差达到最小；其他的时候，预测误差向两侧非线性递增。四 预测的置信区间 or 五 例题 Example 3.5 , 3.6 , 3.7例题3.5 P59 区间估计：（1） 显著性水平 （2） 查表 （3） 例题3.6 P60 思路：是否来自于同一总体，有两种方法一是检验均值和方差是否显著地不同于总体的均值和方差；二是检验预测误差是否显著地不同于0。（1） 计算预测误差 ；（2） 建立原假设和备择假设： （3） 检验统计量： ；（4） 查表： （5） 比较： 小结 P65 五 例题 Example 3.5 , 3.6 , 3.74 参数估计的样本分布以及的估计5最小二乘估计量的特性6 的区间估计与检验7 去除时间趋势8 预测9 没有常数项的最小二乘法10练习题确定性模型和概率模型：确定性模型，是指一旦说明变量的值是已知的，那么被说明变量的值就可以准确地知道。同方差性（homoscedastic）,与说明变量的大小无关，误差性的波动幅度是一个常数。