《一元线性回归模型参数估计精选PPT.ppt》由会员分享，可在线阅读，更多相关《一元线性回归模型参数估计精选PPT.ppt（39页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、一元线性回归模型参数估一元线性回归模型参数估计计第1页，此课件共39页哦一、一、线性回归模型的特征线性回归模型的特征 一个例子一个例子凯恩斯绝对收入假设凯恩斯绝对收入假设消费理论：消费消费理论：消费C是由收入是由收入Y唯一唯一决定的，是收入的线性函数：决定的，是收入的线性函数：但实际上上述等式不能准确实现。但实际上上述等式不能准确实现。原因原因(1)(1)消费除了受收入影响外还受其他因素因影响。消费除了受收入影响外还受其他因素因影响。(2)(2)线性关系是一个近似，收入变量的观察值是近似的，线性关系是一个近似，收入变量的观察值是近似的，数据本身并不绝对准确地反映收入水平。数据本身并不绝对准确地
2、反映收入水平。第2页，此课件共39页哦因此，一个更符合实际的数学描述是：因此，一个更符合实际的数学描述是：线性回归模型的特征线性回归模型的特征：是通过引入随机误差项将变量之间的关系用线性随是通过引入随机误差项将变量之间的关系用线性随机方程来描述，并用随机数学的方法来估计方程中的机方程来描述，并用随机数学的方法来估计方程中的参数。参数。在线性回归模型中，在线性回归模型中，被解释变量的特征由解释变量被解释变量的特征由解释变量和随机误差项共同决定。和随机误差项共同决定。第3页，此课件共39页哦计量经济学中计量经济学中“线性线性”回归模型的含义回归模型的含义对参数为线性、对变量非线性的函数：对参数为线
3、性、对变量非线性的函数：对参数非线性对参数非线性、对变量线性的函数、对变量线性的函数：对参数非线性对参数非线性、对变量非线性的函数、对变量非线性的函数：对参数不可化为线性的函数对参数不可化为线性的函数对参数可化为线性的函数对参数可化为线性的函数(1)(2)(3)(4)(5)第4页，此课件共39页哦 对可化为线性的非线性模型的处理方法对可化为线性的非线性模型的处理方法(1)(1)变量置换变量置换例如，描述税收与税率之间关系的例如，描述税收与税率之间关系的拉弗曲线拉弗曲线：s=a+br+cr2 (c 0)s：税收，：税收，r：税率：税率设，设，X1=r,X2=r2，则原方程变为，则原方程变为s=a
4、+bX1+cX2(2)(2)对数变换对数变换 例如，例如，Cobb-Dauglas生产函数：幂函数生产函数：幂函数 Q:产出量，产出量，K：投入的资本，：投入的资本，L：投入的劳动：投入的劳动方程两边取对数：方程两边取对数：第5页，此课件共39页哦三个版本的三个版本的C-D生产函数模型：生产函数模型：注意模型线性化后注意模型线性化后 的前提假设的前提假设第6页，此课件共39页哦线性模型与非线性模型线性模型与非线性模型(1)(2)(3)(4)(5)(7)(6)第7页，此课件共39页哦结论结论：l实际经济活动中的许多问题，变量之间的非线性关实际经济活动中的许多问题，变量之间的非线性关系都可以最终化
5、为线性关系。所以，线性回归模型系都可以最终化为线性关系。所以，线性回归模型具有普遍意义。具有普遍意义。l即使对于无法采取任何变换方法使之变成线性的即使对于无法采取任何变换方法使之变成线性的非线性模型，目前适用较多的参数估计方法非线非线性模型，目前适用较多的参数估计方法非线性最小二乘法，其原理仍然是以线性估计方法为性最小二乘法，其原理仍然是以线性估计方法为基础。基础。l线性模型理论方法在计量经济学理论方法中占据线性模型理论方法在计量经济学理论方法中占据重要地位。重要地位。第8页，此课件共39页哦其他条件不变的概念其他条件不变的概念(ceteris paribus)l包括经济学在内的许多社会科学中
6、的假设都具有包括经济学在内的许多社会科学中的假设都具有“其其他条件不变他条件不变”的特点：在研究两个变量之间关系时，的特点：在研究两个变量之间关系时，所有其他相关因素都必须固定不变。所有其他相关因素都必须固定不变。例如，经济学中在分析消费需求时，想知道之中例如，经济学中在分析消费需求时，想知道之中商品价格的变化对其需求量的影响，而让所有其他因商品价格的变化对其需求量的影响，而让所有其他因素素收入、其他商品的价格和个人偏好等收入、其他商品的价格和个人偏好等都保都保持不变。持不变。l计量经济分析中的其他条件不变意味着计量经济分析中的其他条件不变意味着“其他其他(相关相关)因因素保持不变，这一概念在
7、因果分析中有重要作用。素保持不变，这一概念在因果分析中有重要作用。第9页，此课件共39页哦二、线性回归模型的基本假设二、线性回归模型的基本假设技术路线：技术路线：l由于由于回归分析的主要目的回归分析的主要目的是要通过样本回归函数（模是要通过样本回归函数（模型）型）SRF尽可能尽可能准确地估计总体回归函数（模型）准确地估计总体回归函数（模型）PRF。即通过：即通过：l采用最小二乘或最大似然方法。采用最小二乘或最大似然方法。第10页，此课件共39页哦 一元线性回归模型一元线性回归模型：只有一个解释变量：只有一个解释变量 i=1,2,nY 为被解释变量，为被解释变量，X为为 解释变量，解释变量，0
8、与与 1为为待待估参数估参数，为为随机干扰项。随机干扰项。估计方法估计方法有多种，其中最广泛使用的是有多种，其中最广泛使用的是普通最小普通最小二乘法二乘法（ordinary least squares,OLS）。）。为保证参数估计量具有良好的性质，通常对为保证参数估计量具有良好的性质，通常对模型提出若干基本假设。模型提出若干基本假设。注：注：这些假设与所采用的估计方法紧密相关。这些假设与所采用的估计方法紧密相关。第11页，此课件共39页哦一元线性回归模型的基本假设一元线性回归模型的基本假设 假设假设1：解释变量：解释变量X是确定性变量，不是随机变量；是确定性变量，不是随机变量；假假设设2：随随
9、机机误误差差项项 具具有有零零均均值值、同同方方差差和和不不序序列列相相关关性：性：E(i|Xi)=E(i)=0 i=1,2,n Var(i|Xi)=2 i=1,2,n Cov(i,j)=0 ij i,j=1,2,n 假设假设3：随机误差项：随机误差项 与解释变量与解释变量X之间不相关：之间不相关：Cov(Xi,i)=0 i=1,2,n 假设假设4：服从零均值、同方差、零协方差的正态分布服从零均值、同方差、零协方差的正态分布 i N(0,2)i=1,2,n第12页，此课件共39页哦如果假设如果假设1和和2满足，则假设满足，则假设3也满足；也满足；如果假设如果假设4 满足，则假设满足，则假设2
10、也满足。也满足。注意：注意：假设假设1-4假设也称为线性回归模型的假设也称为线性回归模型的经典假设经典假设或或高斯高斯(Gauss)假设假设，满足该假设的线性回归模型，满足该假设的线性回归模型称为称为经典线性回归模型经典线性回归模型(Classical Linear Regression Model,CLRM)。假假设设5：随随着着样样本本容容量量的的无无限限增增加加，解解释释变变量量X的的样样本本方方差趋于一个有限常数，即：差趋于一个有限常数，即：假设假设6：回归模型是正确设定的。：回归模型是正确设定的。第13页，此课件共39页哦假设假设4：i N(0,2)i=1,2,n例：测度教育的回报问
11、题例：测度教育的回报问题问题提出：如果从总体中选择一个人，并让他或她多受一问题提出：如果从总体中选择一个人，并让他或她多受一年教育，那么，他或她的工资会提高多少？年教育，那么，他或她的工资会提高多少？工资水平与可测教育水平及其他非观测因素的关系：工资水平与可测教育水平及其他非观测因素的关系：工资：小时工资工资：小时工资(元元)，教育：受教育的年数。，教育：受教育的年数。其他非观测因素：工作经验、天生素质、职业道德等。其他非观测因素：工作经验、天生素质、职业道德等。E(i|Xi)=0假设假设是天生能力，这个假定就是要求，不论受教育的年数是是天生能力，这个假定就是要求，不论受教育的年数是多少，平均
12、能力水平都一样。例如，多少，平均能力水平都一样。例如，E(abil|8)=E(abil|6)；第14页，此课件共39页哦 Var(i|Xi)=2，Var(Yi|Xi)=2Var(wage|educ)=2，虽然平均工资，虽然平均工资E(wage|educ)可随着可随着教育水平的提高而增长，但工资相对于它的均值的教育水平的提高而增长，但工资相对于它的均值的变异变异却被假定为对所有的教育水平都不变。却被假定为对所有的教育水平都不变。i N(0,2)的理由：由于的理由：由于是影响是影响wage而又观测不到而又观测不到的许多因素之和，所以我们可以借助中心极限定理来断的许多因素之和，所以我们可以借助中心极
13、限定理来断定定具有具有近似正态分布近似正态分布。第15页，此课件共39页哦三、参数的普通最小二乘估计（三、参数的普通最小二乘估计（OLS）给定一组样本观测值（给定一组样本观测值（Xi,Yi）（）（i=1,2,n）要求）要求样本回归函数尽可能好地拟合这组值。样本回归函数尽可能好地拟合这组值。普通最小二乘法普通最小二乘法(Ordinary least squares,OLS)给出的给出的判断标准是：二者之差的平方和最小。判断标准是：二者之差的平方和最小。第16页，此课件共39页哦方程组（方程组（*）称为）称为正规方程组正规方程组（normal equations）。）。由于参数的估计结果是通过最小
14、二乘法得到的，故称由于参数的估计结果是通过最小二乘法得到的，故称为为普通最小二乘估计量普通最小二乘估计量（ordinary least squares estimators）。）。第17页，此课件共39页哦四、参数估计的最大似然法四、参数估计的最大似然法(ML)最大或然法最大或然法(Maximum Likelihood,简称简称ML)，也称，也称最大似然法最大似然法，是不同于最小二乘法，是不同于最小二乘法的另一种参数估计方法，是从最大似然原理的另一种参数估计方法，是从最大似然原理出发发展起来的其它估计方法的基础。出发发展起来的其它估计方法的基础。基本原理基本原理：对于对于最大似然法最大似然法，
15、当从模型总体随机抽取，当从模型总体随机抽取n 组样本观测值后，最合理的参数估计量应该组样本观测值后，最合理的参数估计量应该使得从模型中抽取该使得从模型中抽取该n 组样本观测值的联合概组样本观测值的联合概率最大。率最大。第18页，此课件共39页哦在满足基本假设条件下，对一元线性回归模型：在满足基本假设条件下，对一元线性回归模型：随机抽取随机抽取n组样本观测值（组样本观测值（Xi,Yi）（）（i=1,2,n）。）。那么那么Yi 服从如下的正态分布：服从如下的正态分布：于是，于是，Y 的概率密度函数为的概率密度函数为:（i=1,2,n）假如模型的参数估计量已经求得，为假如模型的参数估计量已经求得，为
16、第19页，此课件共39页哦因为因为Yi 是相互独立的，所以的所有样本观测值的联合概率，是相互独立的，所以的所有样本观测值的联合概率，也即似然函数也即似然函数(likelihood function)为：为：将将该该似似然然函函数数极极大大化化，即即可可求求得得到到模模型型参参数数的的极极大似然估计量。大似然估计量。第20页，此课件共39页哦 由由于于似似然然函函数数的的极极大大化化与与似似然然函函数数的的对对数数的的极极大大化化是是等价的，所以，取对数似然函数如下：等价的，所以，取对数似然函数如下：第21页，此课件共39页哦解得模型的参数估计量为：解得模型的参数估计量为：在在满满足足一一系系列
17、列基基本本假假设设的的情情况况下下，模模型型结结构构参参数数的的最最大大似似然然估估计计量量与与普普通通最最小小二二乘乘估估计计量量是是相同的。相同的。第22页，此课件共39页哦但是，随机误差项的方差的估计量是不同的。但是，随机误差项的方差的估计量是不同的。即可得到即可得到 的最大似然估计量为：的最大似然估计量为：解似然方程：解似然方程：第23页，此课件共39页哦记记上述参数估计量可以写成：上述参数估计量可以写成：称为称为OLS估计量的估计量的离差形式离差形式（deviation form）。）。关于参数估计量的离差形式关于参数估计量的离差形式(deviation form)：第24页，此课件
18、共39页哦记记则有则有 可得可得（*）式也称为）式也称为样本回归函数的样本回归函数的离差形式离差形式。（*）注意：注意：在计量经济学中，往往以小写字母表示对均值的离在计量经济学中，往往以小写字母表示对均值的离差。差。第25页，此课件共39页哦五、最小二乘估计量的统计性质五、最小二乘估计量的统计性质 （1）线性性线性性(linear)，即它是否是另一随机变量的，即它是否是另一随机变量的线性函数；线性函数；（2）无偏性无偏性(unbiased)，即它的均值或期望值是，即它的均值或期望值是否等于总体的真实值；否等于总体的真实值；（3）有效性有效性，即它是否在所有线性无偏估计量中，即它是否在所有线性无
19、偏估计量中具有最小方差。具有最小方差。第27页，此课件共39页哦高斯高斯马尔可夫定理马尔可夫定理(Gauss-Markov theorem)在在给给定定经经典典线线性性回回归归的的假假定定下下，最最小小二二乘乘估估计计量量是是具具有最小方差的线性无偏估计量。有最小方差的线性无偏估计量。第28页，此课件共39页哦证：易知故同样地，容易得出 第29页，此课件共39页哦第30页，此课件共39页哦（2）证明最小方差性）证明最小方差性其中，其中，ci=ki+di，di为不全为零的常数为不全为零的常数则容易证明则容易证明第31页，此课件共39页哦 显然这些优良的性质依赖于对模型的基本假设。显然这些优良的性
20、质依赖于对模型的基本假设。结论：结论：普通最小二乘估计量普通最小二乘估计量（ordinary least Squares Estimators）具有具有线性、无偏性、最小方差性线性、无偏性、最小方差性等优良性质。等优良性质。具有这些优良性质的估计量又称为具有这些优良性质的估计量又称为最佳线性无偏估最佳线性无偏估计量计量（best linear unbiased estimator,BLUE）全部估计量全部估计量线性无偏估计量线性无偏估计量最小方差估计量最小方差估计量第32页，此课件共39页哦六、参数估计量的概率分布及随机干扰项方六、参数估计量的概率分布及随机干扰项方差的估计差的估计 第33页，
21、此课件共39页哦第34页，此课件共39页哦2、随机误差项、随机误差项 的方差的方差 2的估计的估计 由于随机项由于随机项 i 不可观测，只能从不可观测，只能从 i的估计的估计残差残差ei出出发，对总体方差进行估计。发，对总体方差进行估计。2 2又称为又称为总体方差总体方差。可以证明可以证明，2 的无偏估计量无偏估计量为它是关于它是关于 2 2的无偏估计量。的无偏估计量。第35页，此课件共39页哦第36页，此课件共39页哦 例例2.22.2：在例：在例2.12.1家庭可支配收入家庭可支配收入-消费支出例中，消费支出例中，对于所抽出的一组样本数，参数估计的计算可通过对于所抽出的一组样本数，参数估计的计算可通过下面的表下面的表2.2.12.2.1进行。进行。第37页，此课件共39页哦由该样本估计的回归方程（样本回归函数）为：由该样本估计的回归方程（样本回归函数）为：第38页，此课件共39页哦复复 习习l单方程计量经济学模型的特征单方程计量经济学模型的特征l经典线性模型的基本假设经典线性模型的基本假设l最小二乘原理和最大似然原理最小二乘原理和最大似然原理l一元线性模型最小二乘估计量的统计性质一元线性模型最小二乘估计量的统计性质第39页，此课件共39页哦