《一元线性回归模型的参数估计.ppt》由会员分享，可在线阅读，更多相关《一元线性回归模型的参数估计.ppt（23页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、2.3 2.3 一元线性回归模型的参数估计一元线性回归模型的参数估计 一、参数的普通最小二乘估计（一、参数的普通最小二乘估计（OLSOLS）二、参数估计的最大或然法二、参数估计的最大或然法(ML)(ML)三、最小二乘估计量的性质三、最小二乘估计量的性质 四、参数估计量的概率分布及随机干四、参数估计量的概率分布及随机干 扰项方差的估计扰项方差的估计 二、参数的普通最小二乘估计（二、参数的普通最小二乘估计（OLSOLS）给定一组样本观测值（给定一组样本观测值（Xi,Yi）（）（i=1,2,n）要）要求样本回归函数尽可能好地拟合这组值。求样本回归函数尽可能好地拟合这组值。普通最小二乘法普通最小二乘法
2、（Ordinary least squares,OLS）给出的判断标准是：二者之差的平方和最小。给出的判断标准是：二者之差的平方和最小。方程组（*）称为正规方程组正规方程组（normal equations）。记上述参数估计量可以写成：称为OLS估计量的离差形式离差形式（deviation form）。）。由于参数的估计结果是通过最小二乘法得到 的，故称为普通普通最小二乘估计量最小二乘估计量（ordinary least squares estimators）。三、参数估计的最大或然法三、参数估计的最大或然法(ML)最大或然法最大或然法(Maximum Likelihood,简称简称ML)，也
3、称也称最大似然法最大似然法，是不同于最小二乘法的另一种，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来参数估计方法，是从最大或然原理出发发展起来的其它估计方法的基础。的其它估计方法的基础。基本原理基本原理：对于对于最大或然法最大或然法，当从模型总体随机抽取，当从模型总体随机抽取n个个样本观测值后，最合理的参数估计量应该使得从样本观测值后，最合理的参数估计量应该使得从模型中抽取该模型中抽取该n个样本观测值的概率最大。个样本观测值的概率最大。在满足基本假设条件下，对一元线性回归模型：在满足基本假设条件下，对一元线性回归模型：随机抽取一组样本观测值（随机抽取一组样本观测值（Xi
4、,Yi）（）（i=1,2,n）。）。那么那么Yi服从如下的正态分布：服从如下的正态分布：于是，于是，Y的概率函数为的概率函数为（i=1,2,n）假如模型的参数估计量已经求得，为假如模型的参数估计量已经求得，为因为因为Y Yi i是相互独立的，所以的所有样本观测值的联合是相互独立的，所以的所有样本观测值的联合概率，也即概率，也即或然函数或然函数(likelihood function)(likelihood function)为：为：将将该该或或然然函函数数极极大大化化，即即可可求求得得到到模模型型参参数数的极大或然估计量。的极大或然估计量。由由于于或或然然函函数数的的极极大大化化与与或或然然函
5、函数数的的对对数数的的极大化是等价的，所以，取对数或然函数如下：极大化是等价的，所以，取对数或然函数如下：解得模型的参数估计量为：解得模型的参数估计量为：可可见见，在在满满足足一一系系列列基基本本假假设设的的情情况况下下，模模型型结结构构参参数数的的最最大大或或然然估估计计量量与与普普通通最最小小二二乘乘估估计计量量是相同的。是相同的。例例：在上述家庭可支配收入可支配收入-消费支出消费支出例中，对于所抽出的一组样本数，参数估计的计算可通过下面的表进行。因此，由该样本估计的回归方程为：因此，由该样本估计的回归方程为：0.67049747501583-0.6702150=142.4142.4+0.
6、670 xi 四、最小二乘估计量的性质四、最小二乘估计量的性质 当模型参数估计出后，需考虑参数估计值的当模型参数估计出后，需考虑参数估计值的精度，即是否能代表总体参数的真值，或者说需精度，即是否能代表总体参数的真值，或者说需考察参数估计量的统计性质。考察参数估计量的统计性质。一个用于考察总体的估计量，可从如下几个一个用于考察总体的估计量，可从如下几个方面考察其优劣性：方面考察其优劣性：（1）线性性）线性性，即它是否是另一随机变量的线性，即它是否是另一随机变量的线性函数；函数；（2）无偏性）无偏性，即它的均值或期望值是否等于总体，即它的均值或期望值是否等于总体的真实值；的真实值；（3）有效性）有
7、效性，即它是否在所有线性无偏估计量中，即它是否在所有线性无偏估计量中具有最小方差。具有最小方差。拥有这类性质的估计量称为拥有这类性质的估计量称为最佳线性无偏估计量最佳线性无偏估计量（best liner unbiased estimator,BLUE）。）。高高斯斯马马尔尔可可夫夫定定理理(Gauss-Markov theorem)在在给给定定经经典典线线性性回回归归的的假假定定下下，最最小小二二乘乘估估计计量量是是具具有有最最小小方方差差的的线线性性无无偏偏估估计计量。量。证：证：易知故同样地，容易得出（2）证明最小方差性其中，ci=ki+di，di为不全为零的常数则容易证明 普通最小二乘估计量普通最小二乘估计量（ordinary least Squares Estimators）称为最佳线性无偏估计量最佳线性无偏估计量（best linear unbiased estimator,BLUE）五、参数估计量的概率分布及随机干扰五、参数估计量的概率分布及随机干扰项方差的估计项方差的估计 2、随机误差项、随机误差项 的方差的方差 2的估计的估计2又称为总体方差总体方差。由于随机项 i不可观测，只能从 i的估计残差ei出发，对总体方差进行估计。可以证明可以证明，2的最小二乘估计量最小二乘估计量为它是关于2的无偏估计量。