《概率论与数理统计PPT课件第七章最大似然估计.ppt》由会员分享，可在线阅读，更多相关《概率论与数理统计PPT课件第七章最大似然估计.ppt（55页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、1 它首先是由德国数学家它首先是由德国数学家高斯高斯在在18211821年提出的年提出的 ,GaussFisher 然而，这个方法常归功于然而，这个方法常归功于英国统计学家英国统计学家费歇费歇(Fisher).费歇费歇在在19221922年重新发现了年重新发现了这一方法，并首先研究了这一方法，并首先研究了这种方法的一些性质这种方法的一些性质 .7.2 最大似然估计最大似然估计2 思想方法思想方法 一次试验就出现的事件一次试验就出现的事件有较大的概率有较大的概率 7-173 最大似然法的基本思想最大似然法的基本思想 先看一个简单例子：先看一个简单例子：一只野兔从前方窜过一只野兔从前方窜过 .是谁
2、打中的呢？是谁打中的呢？某位同学与一位猎人一某位同学与一位猎人一起外出打猎起外出打猎 .如果要你推测，如果要你推测，你会如何想呢你会如何想呢?只听只听一声枪响一声枪响，野兔，野兔应声倒下应声倒下 .4 因为因为只发一枪只发一枪便便打中打中,猎人命中的概率猎人命中的概率一般大于这位同学命中的概率一般大于这位同学命中的概率.看来这一看来这一枪是猎人射中的枪是猎人射中的 .其数学模型为其数学模型为 令令X为打一枪的中弹数为打一枪的中弹数，则则XB(1,p),p未知未知.设想事先知道设想事先知道p只有两种可能只有两种可能:p=0.9 或或 p=0.1 两人中有一人打枪两人中有一人打枪,估计这一枪是谁打
3、估计这一枪是谁打的的，即估计总体即估计总体X的参数的参数p的值的值5当兔子不中弹当兔子不中弹，即即X=0发生了发生了现有现有样本观测值样本观测值x=1,什么样的参数什么样的参数使使该样本该样本值出现值出现的可能性的可能性最大最大呢？呢？若若p=0.9，则则PX=1=0.9 若若p=0.1，则则PX=1=0.1 若若p=0.9，则，则PX=0=0.1 若若p=0.1，则则PX=0=0.9当兔子中弹当兔子中弹，即即X=1发生了发生了6引例引例 设总体设总体 X 服从服从0-1分布，且分布，且P(X=1)=p,用极大似然法求用极大似然法求 p 的估计值。的估计值。解解X 的概率分布可以写成的概率分布
4、可以写成设设 X1,X2,Xn为总体为总体 X 的样本的样本,设设 x1,x2,xn为总体为总体 X 的样本值的样本值,则则7对于不同的对于不同的 p,L(p)不同，见右下图不同，见右下图现经过一次试验，现经过一次试验，发生了，发生了，事件事件则则 p 的取值应使这个事件发生的取值应使这个事件发生的概率最大的概率最大。8在容许的范围内选择在容许的范围内选择 p，使，使L(p)最大最大 注意到，注意到，ln L(p)是是 L 的单调增函数，故若的单调增函数，故若某个某个p 使使ln L(p)最大，则这个最大，则这个p 必使必使L(p)最大。最大。7-20所以所以为所求为所求 p 的估计值的估计值
5、.9最大似然估计法的基本思想：最大似然估计法的基本思想：根据根据样本观测样本观测值值，选择参数选择参数p的估计的估计 ，使得样本在该样使得样本在该样本值附近出现的本值附近出现的可能性最大可能性最大10 一一 离散型随机变量的情况离散型随机变量的情况最大似然估计的求法最大似然估计的求法111213 定义定义2.1 设离散型随机变量设离散型随机变量X1,X2,.,Xn 有联合分布有联合分布其中其中 是未知参数，给定观测数据是未知参数，给定观测数据x1，x2，.，xn后，称后，称 的函数的函数为为基于基于x1，x2，.，xn的似然函数的似然函数(likelihood function)，称，称 的最
6、大值点的最大值点 为为 的的最最大似然估计大似然估计(maximum likelihood estimator缩写为缩写为MLE)其中其中 也可以是向量也可以是向量14 二二 连续型随机变量的情况连续型随机变量的情况1516 定义定义2.2 设随机向量设随机向量X=(X1,X2,.,Xn)有联有联合密度合密度其中其中 是未知参数，给定是未知参数，给定X的观测值的观测值x=(x1，x2，.，xn)后，称后，称 的函数的函数为为基于基于x=(x1，x2，.，xn)的似然函数的似然函数(likelihood function)，称，称 的最大值点的最大值点 为参数为参数 的的最大似然估计最大似然估计
7、(MLE)其中其中 也可以是向量也可以是向量17若总体中包含多个未知参数若总体中包含多个未知参数18(4)在最大值点的表达式中在最大值点的表达式中,用样本值代入用样本值代入 就得参数的极大似然估计值就得参数的极大似然估计值.求最大似然估计求最大似然估计(MLE)的一般步骤是：的一般步骤是：(1)由总体分布导出样本的联合分布列由总体分布导出样本的联合分布列 (或联合密度或联合密度);(2)把样本联合分布列把样本联合分布列(或联合密度或联合密度)中自变中自变 量看成已知常数量看成已知常数,而把参数而把参数 看作自变量看作自变量,得到得到似然函数似然函数L();(3)求似然函数求似然函数 的最大值点
8、的最大值点(常转化为求对常转化为求对数似然函数数似然函数 的最大值点的最大值点)即即 的的MLE;19未知参数的函数的最大似然估计未知参数的函数的最大似然估计 设设总总体体X的的分分布布类类型型已已知知,其其概概率率密密度度(或或概概率率函函数数)为为f(x;1,k),未未知知参参数数的的已知函数为已知函数为g(1,k).若若 分别为分别为 1,k的最大似然估计的最大似然估计,则则为为 g(1,k)的最大似然估计的最大似然估计.20解：解：X的分布列为的分布列为 例例1 1设设X1,X2,Xn独立同分布，都服从独立同分布，都服从Poisson分布分布 ，给定观测数据，给定观测数据x1,x2,x
9、n，试求参数，试求参数 的最大似然估计的最大似然估计.因此似然函数为因此似然函数为 21令令=0对数似然函数为：对数似然函数为：得得 的最大似然估计为的最大似然估计为 22 例例2 2设设X1,X2,Xn是取自总体是取自总体 XB(1,p)的的一个样本，求参数一个样本，求参数p的最大似然估计的最大似然估计.解：解：似然函数为似然函数为:对数似然函数为：对数似然函数为：23对对p求导并令其为求导并令其为0，=0p的最大似然估计为的最大似然估计为24似然函数为：似然函数为：25对数似然函数为：对数似然函数为：2627例例4 4 X 服从指数分布服从指数分布,其密度函数为其密度函数为 x1，x2，x
10、n 为观察值为观察值.试用最大似然估计法估计试用最大似然估计法估计28解：解：似然函数为似然函数为对数似然函数为对数似然函数为由由得得 的最大似然估计为的最大似然估计为 29解：解：似然函数为似然函数为对数似然函数为对数似然函数为例例5 5 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本求求 的最大似然估计的最大似然估计.其中其中 0,30求导并令其为求导并令其为0 0=0从中解得从中解得即为即为 的的MLE.对数似然函数为对数似然函数为31 例例6 设设X1,X2,Xn是取自总体是取自总体 XU(a,b)的一的一个样本，求参数个样本，求参数a,b的最大似然估计的最大似然估计.
11、解解 X 的密度函数为的密度函数为似然函数为似然函数为32不能求解。不能求解。33似然函数似然函数a 越大越大,b 越小越小,L 越大越大.令令x(1)=min x1,x2,xnx(n)=max x1,x2,xn34故故是是 a,b 的最大似然估计值的最大似然估计值.则对满足则对满足的一切的一切a，b,都有都有取取35 例例7 7 设总体设总体X的概率分布为的概率分布为 X012P 1-2 其中其中0 1/2为未知参数。今对为未知参数。今对X进行进行观测，观测，得如下样本值得如下样本值 0，1，2，0，2，1求求 的最大似然估计。的最大似然估计。36从而对数似然函数为从而对数似然函数为解：解：
12、似然函数为似然函数为令令得得37三三 估计量的评选标准估计量的评选标准 对于对于同一参数同一参数，用不同的估计方法求，用不同的估计方法求出的估计量可能不相同。出的估计量可能不相同。问题：问题：采用哪一个估计量好采用哪一个估计量好?X1,X2,Xn为来自该总体的样本。为来自该总体的样本。设总体设总体X F(x,),其中其中 为未知参数为未知参数。为为 的一个估计量。的一个估计量。38估计量估计量而当样本而当样本(X1,Xn)有观测值有观测值(y1,yn)时，时，估计值为估计值为 是一个随机变量，当是一个随机变量，当样本样本(X1,Xn)有观测值有观测值(x1,xn)时，估计时，估计值为值为 39
13、由由不同不同的的观测结果观测结果，就会求得，就会求得不同不同的的参数估参数估计值计值.因此评价一个估计量的好坏，不能仅因此评价一个估计量的好坏，不能仅仅依据一次试验的结果来判断，而必须根据仅依据一次试验的结果来判断，而必须根据估计量的分布从整体上来做评价。估计量的分布从整体上来做评价。当样本值取不同的观测值时，当样本值取不同的观测值时，我们希望相我们希望相应的估计值在未知参数真值附近摆动，应的估计值在未知参数真值附近摆动，而它而它的均值与未知参数的真值的偏差越小越好的均值与未知参数的真值的偏差越小越好.当这种偏差为当这种偏差为0 0时，就导致无偏性这个标准时，就导致无偏性这个标准 .401 1
14、无偏性无偏性则称则称 为为 的无偏估计的无偏估计 .设设是未知参数是未知参数 的估计量，若的估计量，若41例例1 1 样本均值样本均值 与样本方差与样本方差S2 分别是分别是 总体均值总体均值和总体方差和总体方差2的无偏估计量的无偏估计量.证：证：42样本样本k阶矩为阶矩为例例2 2 设总体设总体X的的k阶原点矩存在，记其为阶原点矩存在，记其为 k，X1,X2,Xn为来自总体的样本，问为来自总体的样本，问是否为总体是否为总体k阶矩阶矩 k的的无偏估计无偏估计.解：解：由于由于因此样本因此样本k阶矩是总体阶矩是总体k阶矩的无偏估计阶矩的无偏估计43例例3 3 设总体设总体X N(，2)，其中参数
15、其中参数，2 2未知，试用最大似然估计法求未知，试用最大似然估计法求，2 2的估计量，并问是否是无偏估计？的估计量，并问是否是无偏估计？4445例例4 4 设总体设总体X 服从参数为服从参数为 的指数分布的指数分布,概率密度为概率密度为其其中中,参参数数 0 为为未未知知,X1,Xn为为来来自自总总体体的的样样本本.试试证证,和和nZ=nmin(X1,Xn)都都是是 的的无无偏偏估计估计.解：解：因为因为故故是是 的无偏估计的无偏估计设设X的分布函数为的分布函数为46先求先求Z的分布函数的分布函数47对其求导数得到对其求导数得到Z的密度函数为：的密度函数为：指数分布指数分布即即Z的分布函数的分
16、布函数48故故因此因此,nZ是是 的无偏估计的无偏估计49 例例5 5 设设X1,X2,Xn是来自总体是来自总体X的样的样 本本，且且E(X)=。以以下下两两个个估估计计是是否否为为 的无偏估计的无偏估计（答：是）（答：是）（答：是）（答：是）50 无偏估计以方差小者为好无偏估计以方差小者为好,这就引进了这就引进了有效性这一概念有效性这一概念 .的大小来决定二者的大小来决定二者和和一个参数往往有不止一个无偏估计一个参数往往有不止一个无偏估计,若若和和都是参数都是参数 的无偏估计量的无偏估计量，比较比较我们可以我们可以谁更优谁更优 .512 2有效性有效性D()D()都是参数都是参数 的的无偏估
17、计量无偏估计量，若有，若有设设和和且存在且存在 的情形，的情形，则称则称 较较 有效有效 。52 例例6 6 设设X1,X2,Xn是是来来自自总总体体X的的样样本本，且且E(X)=。以下两个估计以下两个估计谁更有效？谁更有效？解：解：53 3.相合性相合性(一致性一致性)设设 为未知参数为未知参数 的的估计量，若对任意给定估计量，若对任意给定的的 0，任意任意，都有都有 则称则称为参数为参数 的相合估计的相合估计 设总体的设总体的k 阶矩存在，则样本的阶矩存在，则样本的k 阶矩是总体阶矩是总体k 阶阶矩的相合估计矩的相合估计即：当即：当 时时 以概率收敛到以概率收敛到 54 这两讲，我们介绍了参数点估计，这两讲，我们介绍了参数点估计，讨论了估计量的优良性准则讨论了估计量的优良性准则 .给出了给出了寻求估计量最常用的矩估计法和最大似寻求估计量最常用的矩估计法和最大似然估计法然估计法 .参数点估计是用一个确定的值去估参数点估计是用一个确定的值去估计未知的参数计未知的参数.看来似乎精确，实际看来似乎精确，实际上把握不大上把握不大.为了使估计的结论更可信，为了使估计的结论更可信，需要引入区间估计需要引入区间估计.55作业作业7.3;7.4;7.11 7.3;7.4;7.11 最大似然估计最大似然估计7.107.10；