《极大似然估计与据估计.ppt》由会员分享，可在线阅读，更多相关《极大似然估计与据估计.ppt（13页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、矩估计与极大似然估计矩估计与极大似然估计1、概论：、概论：统计推断统计推断:从观测数据推断未知变量或未知模型的有关信息的过程从观测数据推断未知变量或未知模型的有关信息的过程.（1）统计学中两种重要方法：贝叶斯统计推断和经典统计推断）统计学中两种重要方法：贝叶斯统计推断和经典统计推断（2）统计推断的主要内容：参数估计，假设检验和显著性检验）统计推断的主要内容：参数估计，假设检验和显著性检验（3）统计学中最重要的方法：最大后验概率准则，最小均方估）统计学中最重要的方法：最大后验概率准则，最小均方估计，最大似然估计，回归，似然比检验，等等计，最大似然估计，回归，似然比检验，等等2、点估计、点估计设总
2、体设总体X的分布函数的分布函数中的参数中的参数未知，未知，是来自总体的样本。我们用一个统计量是来自总体的样本。我们用一个统计量的取值的取值作为作为的估计值，统计量的估计值，统计量称为称为的的点估计点估计（量），简称估计（量），简称估计。如何构造统计量没有明确的规定，只要满足一定的合理性即可。如何构造统计量没有明确的规定，只要满足一定的合理性即可。问题一：如何给出估计，即估计方法问题。问题一：如何给出估计，即估计方法问题。问题二：对不同的估计进行评价，即估计好坏的判断标准问题二：对不同的估计进行评价，即估计好坏的判断标准极大似然估计极大似然估计例：设有外形完全相同的两个箱子，甲箱中有例：设有外形
3、完全相同的两个箱子，甲箱中有3个白球，个白球，1个黑球，个黑球，乙箱中有乙箱中有3个黑球个黑球1个白球。现随机的抽取一箱，并从中取出一球，个白球。现随机的抽取一箱，并从中取出一球，结果取得白球。问这球是从那一箱子中取出的？结果取得白球。问这球是从那一箱子中取出的？解：解：设设A表示表示“取出白球取出白球”，则：，则：即：如果取出的是甲箱，即：如果取出的是甲箱，A发生的概率为发生的概率为0.75即：如果取出的是乙箱，即：如果取出的是乙箱，A发生的概率为发生的概率为0.25于是我们判断：此球最像是从甲箱中取出的。于是我们判断：此球最像是从甲箱中取出的。这里这里“最像最像”就是就是“极大似然极大似然
4、”的意思。的意思。若抽取次数增加为若抽取次数增加为3次次(有放回有放回),白球和黑球的比例未白球和黑球的比例未知的情况（下例）：知的情况（下例）：p01/42/43/41p(X=2)09/6412/6427/640于是判断：于是判断：p=3/4例：设一个箱子中装有白球和黑球，共例：设一个箱子中装有白球和黑球，共4个，但不知道白球所占个，但不知道白球所占的比例。现有放回的取三个球，结果有两个白球。估计白球所占的比例。现有放回的取三个球，结果有两个白球。估计白球所占的比例是多少。的比例是多少。解：设白球所占的比例为解：设白球所占的比例为p，则，则p的取值为的取值为:0，1/4，2/4，3/4，1根
5、据二项分布，根据二项分布，得：得：如果箱子中的球的个数未知，且比较大，则如果箱子中的球的个数未知，且比较大，则p的范围：的范围：此时我们应该选择此时我们应该选择p，使得，使得尽可能大尽可能大令令当当p=2/3时，时，L(p)取最大值，取最大值，于是估计于是估计p=2/3更一般的情况：有放回的更一般的情况：有放回的n次取球：次取球：如果箱子中的白球的比例为如果箱子中的白球的比例为p，有放回的，有放回的n次取球，结果为：次取球，结果为：其中其中于是：于是：令令根据极大似然原理，应选择根据极大似然原理，应选择p，使，使L(p)尽可能大。尽可能大。由于：由于：求导得方程：求导得方程：解得：解得：定义：
6、设总体的概率函数为定义：设总体的概率函数为其中其中是未知参数，是未知参数，是参数是参数的可能取值空间，的可能取值空间，是来自该总体的样本，是来自该总体的样本，其联合概率函数看作是关于其联合概率函数看作是关于的函数：的函数：称为样本的似然函数。称为样本的似然函数。如果统计量满足：如果统计量满足：则称则称是是的极大似然估计量。的极大似然估计量。由于由于lnx单调上升，故单调上升，故与与有相同的极大值点。于是有相同的极大值点。于是是是的极大似然估计量的必要条件是：的极大似然估计量的必要条件是：此方程称为似然方程，它的解此方程称为似然方程，它的解为极大似然估计量为极大似然估计量例例2：已知总体：已知总
7、体X服从参数为服从参数为的泊松分布，概率函数为的泊松分布，概率函数为求参数求参数的极大似然估计量。的极大似然估计量。解：参数解：参数的似然函数为：的似然函数为：取对数：取对数：似然方程：似然方程：解得：解得：连续型随机变量的极大似然估计连续型随机变量的极大似然估计若总体若总体X是连续型随机变量，密度函数为是连续型随机变量，密度函数为为未知参数为未知参数又设又设为样本为样本的一个观测值，的一个观测值，那么样本那么样本落在点落在点的邻域里的的邻域里的概率为概率为极大似然原理就是选取使极大似然原理就是选取使达到最大的数值达到最大的数值作为参数作为参数的估计值。的估计值。此时，似然函数为：此时，似然函
8、数为：对数似然方程仍为：对数似然方程仍为：例例 设总体设总体X服从参数为服从参数为的指数分布，密度函数为的指数分布，密度函数为 0,x0,试求参数试求参数 的极大似然估计量。的极大似然估计量。解：似然函数为解：似然函数为取对数：取对数：似然方程为：似然方程为：解得：解得：多参数情形：多参数情形：例例:设总体设总体X服从正态分布：服从正态分布：试求试求及及 的极大似然估计的极大似然估计解：解：似然函数为似然函数为似然方程：似然方程：解得解得取对数：取对数：均匀分布均匀分布求求的极大似然估计量的极大似然估计量例例 设设XU0,q q，密度函数为密度函数为解解 似然函数似然函数为为由由似然方程：似然
9、方程：无解无解由于由于故故因而因而是是的极大似然估计量的极大似然估计量例例 设总体设总体XUa,b，密度函数为密度函数为求求a,b的最大似然估计量。的最大似然估计量。解解 似然函数为似然函数为由于由于故故于是于是a，b的极大似然估计量分别是：的极大似然估计量分别是：矩估计矩估计1.样本样本k阶原点矩阶原点矩2.样本样本k阶中心矩阶中心矩样本矩样本矩总体矩总体矩1.总体总体X的的k阶原点矩阶原点矩m mk=E(Xk)，k=1,2,k=1时，时，m m1=EX2.总体总体X的的k阶中心矩阶中心矩s sk=E(X-EX)k，k=1,2,k=2时，时，s s2=E(X-EX)2=DX矩估矩估计计的方法的方法用样本矩去估计相应的总体矩，进而求出参数的估用样本矩去估计相应的总体矩，进而求出参数的估计量。称为参数的矩估计量。计量。称为参数的矩估计量。例如：用例如：用样本样本1阶原点矩阶原点矩估计估计总体总体1阶原点矩阶原点矩即即例例1.设总体设总体X服从参数为服从参数为l l的指数分布，求的指数分布，求l l的的矩矩估计量估计量解解 由于由于EX=1/l l=m m，又，又即即例例2.设总体设总体XU0,qq，求，求q q的的矩估计量矩估计量解解 由由即即例例3.设总体设总体XUa,b ，求，求 a,b 的的矩估计量矩估计量解解 由由即即解出解出