《第一节最大似然估计.ppt》由会员分享，可在线阅读，更多相关《第一节最大似然估计.ppt（57页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、非经典计量经济学模型估计方法 第一节 最大似然估计计量模型估计方法说明计量模型估计方法说明计计量量经经济济学学模模型型(参参数数模模型型、均均值值回回归归模模型型、基基于于样样本本信信息）息）的的3类估计方法类估计方法LS、ML、GMM经典模型的估计经典模型的估计LS非经典模型的估计非经典模型的估计ML、GMM综合样本信息和先验信息的贝叶斯估计综合样本信息和先验信息的贝叶斯估计分位数回归模型，分位数回归模型，Quantile Regression,QREG非参数模型的权函数估计、级数估计等非参数模型的权函数估计、级数估计等主要内容主要内容一、最大似然原理一、最大似然原理 二、线性模型的最大似然
2、估计二、线性模型的最大似然估计三、非线性模型的最大似然估计三、非线性模型的最大似然估计 四、异方差和序列相关的最大似然估计四、异方差和序列相关的最大似然估计 五、最大似然估计下的五、最大似然估计下的Wald、LM和和LR检验检验 一、最大似然原理一、最大似然原理内内在在机机理理：当当从从模模型型总总体体随随机机抽抽取取n组组样样本本观观测测值值后后，最最合合理理的的参参数数估估计计量量应应该该使使得得从从模模型型中中抽抽取取该该n组组样样本本观观测测值值的的概概率率最最大大。该该方方法法更更本本质质地地揭揭示示了了通通过过样样本本估估计计母母体体参参数数的的内内在在机机理理。在在微观计量模型尤
3、其适用。微观计量模型尤其适用。似似然然函函数数：将将样样本本观观测测值值联联合合概概率率函函数数称称为为样样本本观观测测值值的的似似然然函数。函数。极极大大似似然然法法：通通过过似似然然函函数数极极大大化化以以求求得得总总体体参参数数估估计计量量的的方方法被称为极大似然法。法被称为极大似然法。工工作作原原理理：在在已已经经取取得得样样本本观观测测值值的的情情况况下下，使使似似然然函函数数取取最最大大值值的的总总体体分分布布参参数数所所代代表表的的总总体体具具有有最最大大的的概概率率取取得得这这些些样样本观测值，该总体参数即是所要求的参数。本观测值，该总体参数即是所要求的参数。最最小小二二乘乘法
4、法：最最合合理理的的参参数数估估计计量量是是使使得得模模型型能能最最好好的的拟拟合合样样本数据；本数据；以以正正态态分分布布的的总总体体为为例例，每每个个总总体体都都有有自自己己的的分分布布参参数数期期望望和和方方差差，如如果果已已经经得得到到n n组组样样本本观观测测值值，在在可可供供选选择择总总体体中中，哪哪个个最最可可能能产产生生这这组组样样本本数数据据？取取得得n n组组样样本本观观测测值值的的联联合合概概率率，然然后选择参数使其最大，和该参数匹配的即为总体。后选择参数使其最大，和该参数匹配的即为总体。二、线性模型的最大似然估计二、线性模型的最大似然估计1、一元线性模型的最大似然估计、
5、一元线性模型的最大似然估计Yi的分布的分布Y Yi i的概率的概率密度函数密度函数 Y Y的所有样本的所有样本观测值的联合观测值的联合概率概率似然函似然函数数 随机抽取随机抽取n组样本观测值组样本观测值Yi。为什么是为什么是这个形式这个形式?对数似然对数似然函数函数 对数似然函数对数似然函数极大化的一阶极大化的一阶条件条件结构参数的结构参数的ML估计量估计量判断判断L L*为海塞矩阵负定，所以有极大值，一阶条件为：为海塞矩阵负定，所以有极大值，一阶条件为：分布参数的分布参数的ML估计量估计量注意：注意：ML估计必须已知估计必须已知Y的分布。的分布。只只有有在在正正态态分分布布时时，ML和和OL
6、S的的结结构构参参数数估估计计结果相同。结果相同。如如果果Y不不服服从从正正态态分分布布，不不能能采采用用OLS。例例如如：选选择择性性样样本本模模型型、计计数数数数据据模模型型等等。在在微微观观计计量量领域有重要应用。领域有重要应用。2、多元线性模型的最大似然估计、多元线性模型的最大似然估计i=1,2,n 结构参数估计结果与结构参数估计结果与OLS估计相同估计相同分布参数估计结果与分布参数估计结果与OLS不同不同3、最大似然估计量的性质、最大似然估计量的性质 4、信息矩阵、信息矩阵 三、非线性模型的最大似然估计三、非线性模型的最大似然估计 1、简单非线性模型的最大似然估计、简单非线性模型的最
7、大似然估计i=1,2,nY和和X是分是分离的离的面临面临NLSNLS（非线性最小二乘估计）同样的过程，得到（非线性最小二乘估计）同样的过程，得到相同的估计结果相同的估计结果。2.一般非线性模型的一般非线性模型的ML估计估计 以上是一般非线性模型的完整描述。以上是一般非线性模型的完整描述。随机项满足随机项满足经典假设经典假设模型参数的一种估计方法是最小二乘法模型参数的一种估计方法是最小二乘法，即最小化，即最小化 模型参数的另一种估计方法是最大似然法。得到广模型参数的另一种估计方法是最大似然法。得到广泛应用。泛应用。最大似然估计最大似然估计雅可比行列式雅可比行列式第第i个观测点的似然函数个观测点的
8、似然函数=雅可比行列式雅可比行列式密度函数密度函数总体的对数似然函数为：总体的对数似然函数为：样本的对数似然函数为样本的对数似然函数为：很很明明显显若若没没有有雅雅可可比比行行列列式式项项，参参数数的的非非线线性性最最小小二二乘乘估估计计将将是是最最大大似似然然估估计计；但但是是，如如果果雅雅可可比比行行列列式式包包括括，最最小小二二乘乘法法不是最大似然法。不是最大似然法。最大化对数似然函数的一阶条件为：最大化对数似然函数的一阶条件为：3、说明、说明非线性模型最大似然估计的性质非线性模型最大似然估计的性质 结结构构参参数数的的最最大大对对数数似似然然估估计计是是渐渐近近无无偏偏、一一致致估估计
9、计且且渐渐近近地服从正态分布；地服从正态分布；分布参数分布参数的最大对数似然估计是渐近无偏和一致估计。的最大对数似然估计是渐近无偏和一致估计。非非线线性性模模型型的的最最大大对对数数似似然然估估计计一一般般不不等等价价于于非非线线性性最小二乘估计，而是一个加权非线性最小二乘估计最小二乘估计，而是一个加权非线性最小二乘估计。在特殊情况下，雅克比行列式为在特殊情况下，雅克比行列式为1 1，最大对数似然估计才等，最大对数似然估计才等 价于非线性最小二乘估计，条件如下：价于非线性最小二乘估计，条件如下：四、异方差和序列相关的最大似然估计四、异方差和序列相关的最大似然估计 1、思路、思路经典模型异方差问
10、题或者序列相关问题的处理方法：经典模型异方差问题或者序列相关问题的处理方法：一一类类是是变变换换模模型型，使使之之成成为为不不再再具具有有异异方方差差性性或或者者序序列列相相关性的模型，然后采用关性的模型，然后采用OLSOLS进行估计，例如进行估计，例如WLSWLS、GLSGLS等；等；一一类类是是修修正正OLSOLS估估计计量量的的标标准准差差，纠纠正正模模型型具具有有异异方方差差性性或或者者序序列列相相关关性性时时OLSOLS估估计计量量的的非非有有效效性性，使使得得继继而而进进行行的的统统计计推推断断（例例如如显显著著性性检检验验、参参数数的的置置信信区区间间估估计计等等）仍然有效，例如
11、仍然有效，例如WhiteWhite修正、修正、Newey-WestNewey-West修正方法等。修正方法等。非线性非线性ML方法方法将将异异方方差差问问题题或或者者序序列列相相关关问问题题看看成成一一类类非非线线性性问问题题，采采用用MLML估估计计，比比较较简简单单，可可以以同同时时得得到到结结构构参参数数估估计计量量和和反反映映异异方差或者序列相关特征的分布参数估计量。方差或者序列相关特征的分布参数估计量。2、异方差的最大似然估计、异方差的最大似然估计 被解释变量样本的对数似然函数为：被解释变量样本的对数似然函数为：对异方差的结构给出假定，可以对模型的参数对异方差的结构给出假定，可以对模
12、型的参数和和的参数的参数进进行最大似然估计。行最大似然估计。3、例题、例题OLSML注：注：线性模型，截面样本，一般存在异方差。线性模型，截面样本，一般存在异方差。时时间序列也有可能有异方差，常见金融时间序列。间序列也有可能有异方差，常见金融时间序列。采采用用非非线线性性最最大大似似然然法法估估计计，可可以以得得到到关关于于异异方方差差结构的估计结果。结构的估计结果。在在某某些些情情况况下下，得得到到异异方方差差结结构构的的估估计计结结果果比比模模型型参参数数估估计计量量更更重重要要。这这就就是是异异方方差差性性的的非非线线性性方方法的意义所在。法的意义所在。4、序列相关的最大似然估计、序列相
13、关的最大似然估计 首首先先假假定定模模型型随随机机误误差差项项的的序序列列相相关关结结构构。一一般般以以AR(1)、MA(1)、ARMA(1,1)为常见。为常见。求求出出随随机机误误差差项项对对被被解解释释变变量量的的偏偏导导数数表表达达式式，即得到雅克比式。即得到雅克比式。构造最大似然函数。构造最大似然函数。同同时时得得到到模模型型参参数数和和随随机机误误差差项项的的序序列列相相关关结结构构的估计结果。的估计结果。假定模型随机误差项的序列相关结构为假定模型随机误差项的序列相关结构为AR(1)按照非线性模型按照非线性模型ML显示：显示：此时，此时，n变为变为T，且有，且有所以，对数似然函数为：
14、所以，对数似然函数为：中心化对数似然函数：中心化对数似然函数：模模型型随随机机误误差差项项的的序序列列相相关关结结构构为为MA(1)、ARMA(1,1)的的估估计计方法步骤相同，见教材。方法步骤相同，见教材。5、例题、例题五、最大似然估计下的五、最大似然估计下的Wald、LM和和LR检验检验 1、说明、说明在在采采用用最最小小二二乘乘估估计计的的经经典典模模型型的的检检验验中中，常常用用的的检检验验统统计计量量是是基基于于残残差差平平方方和和构构造造的的，例例如如F统统计计量、量、t统计量等。统计量等。在在采采用用最最大大似似然然估估计计的的非非经经典典模模型型的的检检验验中中，常常用用的的检
15、检验验统统计计量量是是基基于于最最大大似似然然函函数数值值构构造造的的，例例如如Wald统统计计量量、LR统统计计量量、LM统统计计量量等等。三三类类检检验在大样本下渐进等价。验在大样本下渐进等价。1、沃尔德检验（、沃尔德检验（Wald Test）通过研究通过研究 的无约束估计量与有约束的距离来检验，如果的无约束估计量与有约束的距离来检验，如果原假设正确，二者差值不应该很大。原假设正确，二者差值不应该很大。2、似然比检验（、似然比检验（WLR）通常来说，无约束的似然函数最大值通常来说，无约束的似然函数最大值 比有约束的似比有约束的似然函数最大值然函数最大值 更大，如果原假设正确，差值不应该很大
16、。更大，如果原假设正确，差值不应该很大。3、拉格朗日乘子检验（、拉格朗日乘子检验（LM）注：注：1.Wald仅仅利利用用无无约约束束估估计计的的信信息息，LM检检验验仅仅利利用用有有约约束束估估计的信息，而计的信息，而LR检验同时利用有约束与无约束信息。检验同时利用有约束与无约束信息。2.这三类检验在大样本情况下是等价的，小样本下性质不同。这三类检验在大样本情况下是等价的，小样本下性质不同。3.在在正正态态分分布布与与线线性性假假设设的的情情况况下下，可可以以证证明明统统计计量量WALDLRLM。4.在在不不对对模模型型的的具具体体概概率率分分布布做做出出假假设设的的情情况况下下，LR、LM检验无法进行，但是检验无法进行，但是Wald检验仍可以进行。检验仍可以进行。5.LR、LM检检验验具具有有不不变变性性，但但是是Wald则则不不具具备备，即即如如果果对对原假设进行参数变换可能得到不同的原假设进行参数变换可能得到不同的Wald。六六、对正态分布假设的检验、对正态分布假设的检验 对对非非线线性性模模型型使使用用ML时时，正正态态分分布布是是推推导导的的前前提提，所所以以检检验扰动项是否服从状态分布就比较重要。验扰动项是否服从状态分布就比较重要。常用方法：常用方法：直方图直方图核密度估计法核密度估计法QQ图图雅克雅克贝拉检验（贝拉检验（JB检验）检验）