《6.1参数的点估计.ppt》由会员分享，可在线阅读，更多相关《6.1参数的点估计.ppt（60页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、 引言引言 我们已介绍了总体、样本、简单随机我们已介绍了总体、样本、简单随机样本、统计量和抽样分布的概念，介绍了样本、统计量和抽样分布的概念，介绍了统计中常用的三大分布，给出了几个重要统计中常用的三大分布，给出了几个重要的抽样分布定理的抽样分布定理.它们是进一步学习统计它们是进一步学习统计推断的基础推断的基础.参数估计问题是利用从总体抽样得到的信息参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数来估计总体的某些参数或者参数的某些函数.参数估计参数估计估计废品率估计废品率估计新生儿的平均体重估计新生儿的平均体重估计湖中鱼数估计湖中鱼数 估计平均降雨量估计平均降雨量 在
2、参数估计问题中，假定总体分布在参数估计问题中，假定总体分布形式已知，未知的仅仅是一个或几个形式已知，未知的仅仅是一个或几个参数参数.这类问题称为参数估计这类问题称为参数估计.参数估计问题的一般提法参数估计问题的一般提法x1,x2,xn要依据该样本对参数要依据该样本对参数作出估计，或估计作出估计，或估计的某个已知函数的某个已知函数 .现从该总体抽样，得样本值现从该总体抽样，得样本值设有一个统计总体，总体的分布函数设有一个统计总体，总体的分布函数向量向量).为为 F(x,)，其中，其中 为未知参数为未知参数(可以是可以是参数估计参数估计点估计点估计区间估计区间估计（假定身高服从正态分布（假定身高服
3、从正态分布 ）设这设这5个数是个数是:1.65 1.67 1.68 1.78 1.69估计估计 为为1.68，这是点估计这是点估计.这是区间估计这是区间估计.估计估计 在区间在区间1.57,1.84内，内，假如我们要估计某队男生的平均身高假如我们要估计某队男生的平均身高.现从该总体选取容量为现从该总体选取容量为5的样本，我的样本，我们的任务是要根据选出的样本（们的任务是要根据选出的样本（5个数）个数）求出总体均值求出总体均值 的估计的估计.而全部信息就由而全部信息就由这这5个数组成个数组成.请注意，被估计的参数请注意，被估计的参数 是一个是一个未知常数，而估计量未知常数，而估计量 T(X1,X
4、2,Xn)是一个随机变量，是样本的函数是一个随机变量，是样本的函数,当当样本取定后，它是个已知的数值样本取定后，它是个已知的数值,这这个数常称为个数常称为 的估计值的估计值.6.1 参数的点估计参数的点估计6.1.1 矩估计法矩估计法 其基本思想是用样本矩估计总体矩其基本思想是用样本矩估计总体矩.理论依据理论依据:它是基于一种简单的它是基于一种简单的“替换替换”思想建立起来的一种估计方思想建立起来的一种估计方法法.是英国统计学家是英国统计学家K.皮尔逊最早提出的皮尔逊最早提出的.大数定律大数定律记总体记总体k阶原点矩为阶原点矩为样本样本k阶原点矩为阶原点矩为用相应的样本矩去估计总体矩的估计方法
5、用相应的样本矩去估计总体矩的估计方法就称为矩估计法就称为矩估计法.记总体记总体k阶中心矩为阶中心矩为样本样本k阶中心矩为阶中心矩为 设总体的分布函数中含有设总体的分布函数中含有k个未知参数个未知参数 都是这都是这k个参数的函数个参数的函数,记为：记为：,那么它的前那么它的前k阶原点矩阶原点矩一般一般i=1,2,k从这从这k个方程中解出个方程中解出j=1,2,k那么用诸那么用诸 的估计量的估计量 Ai分别代替上式分别代替上式中的诸中的诸 ,即可得诸即可得诸 的矩估计量的矩估计量：j=1,2,k解解:由矩法由矩法,样本矩样本矩总体矩总体矩从中解得从中解得的矩估计的矩估计.即为即为数学期望数学期望是
6、一阶是一阶原点矩原点矩 例例2 设总体设总体X的概率密度为的概率密度为是未知参数是未知参数,其中其中X1,X2,Xn是取自是取自X的样本的样本,求参数求参数 的矩估计的矩估计.例例6.1 一批产品次品率为一批产品次品率为p，p未知，现从这批产品未知，现从这批产品中抽取容量为中抽取容量为n的样本，经检验有的样本，经检验有m个次品，求这个次品，求这批产品的次品率批产品的次品率p的估计值。的估计值。解解设从总体中任意抽取一个样品进行检验，试验设从总体中任意抽取一个样品进行检验，试验结果可由下列随机变量结果可由下列随机变量X表示：表示：从而从而例例6.2解解由题设知，由题设知，X的密度函数为的密度函数
7、为总体总体X的一阶原点矩为的一阶原点矩为解解:由于总体由于总体XU(a,b)，则其密度函数为，则其密度函数为例例6.3 设总体设总体XU(a,b),a,b未知，未知，X1，X2，Xn是来自总体是来自总体X的样本，试求的样本，试求a,b的矩估计量。的矩估计量。先求总体分布的矩，得到先求总体分布的矩，得到列方程组列方程组解之得解之得其中其中例例6.4解解:解之得解之得 矩法的优点是简单易行矩法的优点是简单易行,并不需要并不需要事先知道总体是什么分布事先知道总体是什么分布.缺点是，当总体类型已知时，没有缺点是，当总体类型已知时，没有 充分利用分布提供的信息充分利用分布提供的信息.一般场合下一般场合下
8、,矩估计量不具有唯一性矩估计量不具有唯一性.其主要原因在于建立矩估计方程时，其主要原因在于建立矩估计方程时，选取哪些总体矩用相应样本矩代替带有选取哪些总体矩用相应样本矩代替带有一定的随意性一定的随意性.6.1.2 极大似然估计极大似然估计 是是在在总总体体类类型型已已知知条条件件下下使使用用的的一一种种参数估计方法参数估计方法.它首先是由德国数学家它首先是由德国数学家高斯在高斯在1821年提出的年提出的,GaussFisher然而，这个方法常归功于然而，这个方法常归功于英国统计学家费歇（英国统计学家费歇（Fisher）.费歇在费歇在1912年重新发现了年重新发现了 这一方法，并首先研究了这这一
9、方法，并首先研究了这 种方法的一些性质种方法的一些性质.极大似然法的极大似然法的基本思想基本思想是：一个事件若是：一个事件若已经发生，则在试验之前它一定具有较大的已经发生，则在试验之前它一定具有较大的概率。概率。基本方法基本方法是：先构造似然函数，然后求其是：先构造似然函数，然后求其极值。极值。极大似然估计（极大似然估计（离散型离散型）：）：1.设设X1,X2,Xn是取自总体是取自总体X(离离 散型散型)的一的一个样本，而个样本，而X的分布律含有未知参数的分布律含有未知参数当得到样本值当得到样本值x1,x2,xn时，定义似然函数时，定义似然函数为：为：极大似然估计（连续型）：极大似然估计（连续
10、型）：当给定样本当给定样本x1,x2,xn时，定义似然函数为：时，定义似然函数为：2.设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本,样样本的联合密度为本的联合密度为 看作参数看作参数的的k元函数，元函数，极大似然估计法就是用使极大似然估计法就是用使达到最达到最 大值的大值的去估计去估计称称 为为的极大似然估计。的极大似然估计。求极大似然估计求极大似然估计(MLE)时，一般采用多元时，一般采用多元函数求极值的方法进行（视函数求极值的方法进行（视为变量为变量而视而视x1,x2,xn为常数。为常数。例例6.5解解X X的概率密度为的概率密度为似然函数为似然函数为令令例例6.6解解X
11、的概率分布律为的概率分布律为似然函数为似然函数为L(p)=G(x1,x2,xn;p)例例6.7 设设X1,X2,Xn是取自总体是取自总体 XB(1,p)的的一个样本，求参数一个样本，求参数p的极大似然估计的极大似然估计.所以，似然函数为所以，似然函数为:解解因为因为对数似然函数为：对数似然函数为：对对p求导并令其为求导并令其为0，=0得得即为即为 p 的的MLE.解：似然函数为解：似然函数为对数似然函数为对数似然函数为例例6 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本求求 的极大似然估计的极大似然估计.其中其中 0,求导并令其为求导并令其为0=0从中解得从中解得即为即为 的
12、的MLE.对数似然函数为对数似然函数为解解：似然函数为：似然函数为 例例6.8 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本其中其中 0,求求 的极大似然估计的极大似然估计.i=1,2,n对数似然函数为对数似然函数为解解：似然函数为：似然函数为i=1,2,n=0 (2)由由(1)得得=0 (1)对对 分别求偏导并令其为分别求偏导并令其为0,对数似然函数为对数似然函数为用求导方法无法最终确定用求导方法无法最终确定用极大似然原则来求用极大似然原则来求.是是对对故使故使 达到最大的达到最大的 即即 的的MLE，于是于是 取其它值时，取其它值时，即即 为为 的的MLE.且是且是 的增
13、函数的增函数由于由于例例6.9 设设X1,X2,Xn是取自总体是取自总体X的一个样本，的一个样本，其概率密度函数为其概率密度函数为解解：设：设x1,x2,xn是取自总体是取自总体X的一个样本值，的一个样本值，似然函数为似然函数为无驻点。不能利用导数直接得到估计量。无驻点。不能利用导数直接得到估计量。6.2 估计量的优良性准则估计量的优良性准则 在在介介绍绍估估计计量量优优良良性性的的准准则则之之前前，我我们必须强调指出：们必须强调指出：评价一个估计量的好坏，不能仅仅依评价一个估计量的好坏，不能仅仅依据一次试验的结果，而必须由多次试验结据一次试验的结果，而必须由多次试验结果来衡量果来衡量.这是因
14、为估计量是样本的函数，是随机这是因为估计量是样本的函数，是随机变量变量.因此，由不同的观测结果，就会求得因此，由不同的观测结果，就会求得不同的参数估计值不同的参数估计值.因此一个好的估计，应因此一个好的估计，应在多次试验中体现出优良性在多次试验中体现出优良性.常用的几条标准是：常用的几条标准是：1无偏性无偏性2有效性有效性3相合性相合性这里我们重点介绍前面两个标准这里我们重点介绍前面两个标准.估计量是随机变量，对于不同的样本值估计量是随机变量，对于不同的样本值会得到不同的估计值会得到不同的估计值.我们希望估计值在未我们希望估计值在未知参数真值附近摆动，而它的期望值等于未知参数真值附近摆动，而它
15、的期望值等于未知参数的真值知参数的真值.这就导致无偏性这个标准这就导致无偏性这个标准.6.2.1无偏性无偏性则称则称 为为 的无偏估计的无偏估计.设设是未知参数是未知参数 的估计量，若的估计量，若.真值真值 例例如如，用用样样本本均均值值作作为为总总体体均均值值的的估估计计时时，虽虽无无法法说说明明一一次次估估计计所所产产生生的的偏偏差差，但但这这种种偏偏差差随随机机地地在在0的的周周围围波波动动，对对同同一一统统计问题大量重复使用不会产生系统偏差计问题大量重复使用不会产生系统偏差.无偏性是对估计量的一个常见而重要的要求无偏性是对估计量的一个常见而重要的要求.无偏性的实际意义是指没有系统性的偏
16、差无偏性的实际意义是指没有系统性的偏差.若若则称则称 为为 的渐进无偏估计的渐进无偏估计.例例6.10 设设X1,X2,Xn是取自总体是取自总体X的一个样本，的一个样本，证证几个预备知识：几个预备知识：但由于但由于例例6.11 设总体服从指数分布，其密度函数为设总体服从指数分布，其密度函数为证证（教材（教材P72）求导得求导得Z的密度函数为的密度函数为可见可见Z是具有参数是具有参数 q/q/n 的指数分布，的指数分布，所以所以例例6.12 设总体服从设总体服从0，q q上的均匀分布，由极大上的均匀分布，由极大似然估计法得到似然估计法得到q q的估计量为的估计量为（见（见133133页例页例6.96.9）证证于是于是因此因此所以无偏估计以方差小者为好所以无偏估计以方差小者为好,这就引进了这就引进了有效性这一概念有效性这一概念.的大小来决定二者的大小来决定二者和和一个参数往往有不止一个无偏估计一个参数往往有不止一个无偏估计,若若 和和都是参数都是参数 的无偏估计量，的无偏估计量，比较比较我们可以我们可以谁更优谁更优.由于由于6.2.2 有效性有效性D()0e0，有有