[数学]数理统计6.ppt

《[数学]数理统计6.ppt》由会员分享，可在线阅读，更多相关《[数学]数理统计6.ppt（68页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、数学数学数理统计数理统计6 参数估计是统计推断的基本问题之一，参数估计是统计推断的基本问题之一，问题中，问题中， 并不一定要求密度函数，并不一定要求密度函数， 而只要知道参数那么而只要知道参数那么在许多实际在许多实际分布就决定了。分布就决定了。考察灯泡厂生产的灯泡质量，考察灯泡厂生产的灯泡质量，由于种种随机由于种种随机易知灯泡使用寿命是随机变量，易知灯泡使用寿命是随机变量，记为记为X且且),(2NX 问题：问题：如何估计如何估计 和和2？引例引例1 1因素的影响，因素的影响，知道了参数知道了参数2 2的值，那么寿命的值，那么寿命X X的分布就完全的分布就完全确定了确定了. .参数估计要解决问题

2、参数估计要解决问题: :总体分布函数的形式为已知总体分布函数的形式为已知, ,需要确定未知参数。需要确定未知参数。但其中参数但其中参数未知时，未知时，这类问题称为参数估计问题。这类问题称为参数估计问题。只有当参数只有当参数 确定后，确定后，才能通过才能通过概率密度函数计算概率。概率密度函数计算概率。对于未知参数，对于未知参数，如何应用样本如何应用样本nXXX,21所提供的信息去对所提供的信息去对其一个或多个未知参数进行估计。其一个或多个未知参数进行估计。对未知参数估计的两种方法：对未知参数估计的两种方法：通过样本通过样本nXXX,211、 点估计点估计2、区间估计、区间估计1 点估计点估计是待

3、估参数。的形式为已知，的分布函数设总体);(xFX是相应的样本值。的一个样本，是nnxxXXX11点估计问题：点估计问题：。来估计未知参数，用它的观察值构造一个适当的统计量),(),(11nnxxXX。估计值为；称估计量的为我们称),(),(11nnxxXX 1. 1. 矩估计法矩估计法2. 2. 最大似然法最大似然法二、寻求估计量的方法二、寻求估计量的方法1. 矩估计法矩估计法),;(),;(11kkxPxXPXxfX分布列为为离散型随机变量，其概率密度为为连续型随机变量，其设的样本。为来自，是待估参数其中XXXnk,11存在。设., 2 , 1,klEXllnililXnA11klAll,

4、 1,令建立的一种估计方法建立的一种估计方法 . .基于基于 “ “替换替换”思想思想理论依据理论依据: kPkAPjj 这种估计量称为这种估计量称为矩估计量矩估计量；矩估计量的观察值；矩估计量的观察值称为称为矩估计值矩估计值。，从中解出方程组的解的联立方程组，个未知参数这里是包含kkk11。矩估计法估计量的方法称为的估计量，这种求，分别作为，用kk11klAll, 1,令例例 1 设某炸药厂一天中发生着火现象的次数设某炸药厂一天中发生着火现象的次数X服从服从 （用矩法）。试估计参数未知，有以下样本值；的泊松分布，参数为 250126225490756543210knkk次着火天数发生着火的次

5、数niiXXnAEX1111解：22. 1) 16901750(2501 ,xX则令。估计值所以22. 1,X例例2：设总体设总体在在上服从均匀分布，上服从均匀分布，X), 0(,未未知知的的矩矩估估计计量量的的样样本本，试试求求是是来来自自XXXXn,21解：解：2)(1XE由矩法由矩法,12XA221解得解得的矩估计量即为则X2是一个样本；未知；设总体例nXXbabaUX,. 31的矩估计量。求：ba,21baEX解：niiXnAba1112令niiXnAbaab1222214)(12)(4)(12)()( 22222baabEXDXEX)(12,22121AAabAba即niiniiXX

6、nXAAAbXXnXAAAa122121122122)(3)( 3 )(3)( 3解得：是一个样本；未知，又设，但都存在，且，方差的均值设总体例nXXX, , 0. 41222的矩估计量。求：2,222221)( ,EXDXEXEX解：,2211AA令,2221AA即,1XA 所以212122122)(11XXnXXnAAniinii21)(nkkXX)2(122nkkkXXXXnknKKkXnXXX12122nkkXnXXnX1222nkkXnX122未知；特别，若22, ),N(X niiXXnX122)(1,则解解)7 .143 .15(81x96.14)3 . 03 . 0(81150

7、549. 0)96.147 .14()96.143 .15(81222s234. 00549. 0s标准差标准差例例5 某厂生产螺母，某厂生产螺母， 从某日的产品中随机抽取从某日的产品中随机抽取 8 件，件，量得内径（毫米）如下：量得内径（毫米）如下：15.3 14.9 15.2 15.1 14.8 14.6 15.1 14.7试估计该日生产这些螺母内径的均值和标准差。试估计该日生产这些螺母内径的均值和标准差。解解:由密度函数知由密度函数知 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本为未知参数其它 , 0,1)()(xexfXx其中其中 0,求求 的矩估计量的矩估计量. ,

8、 X具有均值为具有均值为 的指数分布的指数分布 故故 E(X- )= 2 D(X- )=即即 E(X)= 2 D(X)=例例6 X niiXXn12)(1 解得解得niiXXn12)(1令令X niiXXn122)(1 即即 E(X)= 2 D(X)=., 的矩估计即为参数 是在总体类型已知条件下使用的一种是在总体类型已知条件下使用的一种参数估计方法参数估计方法 .2. 极大似然法极大似然法 极大似然法的基本思想极大似然法的基本思想 先看一个简单例子：先看一个简单例子：一只野兔从前方窜过一只野兔从前方窜过 .是谁打中的呢？是谁打中的呢？某位同学与一位猎人一某位同学与一位猎人一起外出打猎起外出打

9、猎 .如果要你推测，如果要你推测，你会如何想呢你会如何想呢?只听一声枪响，野兔应声倒下只听一声枪响，野兔应声倒下 . 你就会想，只发一枪便打中你就会想，只发一枪便打中,猎人命中的猎人命中的概率一般大于这位同学命中的概率概率一般大于这位同学命中的概率. 看来这看来这一枪是猎人射中的一枪是猎人射中的 . 这个例子所作的推断已经体现了极大似这个例子所作的推断已经体现了极大似然法的基本思想然法的基本思想 . 以上这种选择一个参数使得试验结以上这种选择一个参数使得试验结果具有最大概率的思想就是极大似然法果具有最大概率的思想就是极大似然法的基本思想的基本思想 .2. 极大似然估计法极大似然估计法可能取值的

10、范围。是为待估参数，的形式为已知，属离散型，其分布律若总体),;().1 (xpxXPX的联合分布律：的样本；则是来自设nnXXXXX,11niixp1);(的一个样本值；是又设nnXXxx,11发生的概率为：事件的概率，亦即取易知样本,1111nnnnxXxXxxXX) 1 . 1 (., );();,()(11niinxpxxLL。似然函数称为样本的的函数。它是)(L使得：即取的估计值，作为达到最大的参数挑选使概率定由极大似然估计法：固);,(;, 11nnxxLxx)2 . 1 ();,(max);,(11nnxxLxxL。极大似然估计值的称其为参数有关，记为与);,(,11nnxxxx

11、。极大似然估计量的称为参数),(1nXX;),;().2(为待估参数的形式已知，属连续型，其概率密度若总体xfX的联合密度：则nXX,1niixf1);(似为：维立方体）内的概率近的的邻域（边长分别为落在机点的一个样本值，则随是相应设ndxdxxxXXXXxxnnnnn,),(),(,11111)3 . 1 ( );(1iniidxxf取到最大值。，使概率的估计值我们取) 3 . 1 (而变，故只需考虑：不随但iidx)4 . 1 ( , );();,()(11niinxfxxLL。似然函数称为样本的的最大值，这里)(L);,(max);,( 11nnxxLxxL若。极大似然估计值的为则称),

12、(1nxx 。极大似然估计量的为称),(1nXX . 0)( );(),;(ddLxfxp可由下式求得：可微，故关于一般，(1.5) . 0)(ln )(ln)(LddLL也可从下述方程解得：大似然估计的极处取到极值，因此在同一与又因个参数，若母体的分布中包含多., 1, 0ln., 1, 0kiLkiLii或即可令的极大似然估计值。个方程组求得解kk,1 (4) 在最大值点的表达式中在最大值点的表达式中, 用样本值代入用样本值代入 就得参数的极大似然估计值就得参数的极大似然估计值 .(1) 由总体分布导出样本的联合分布律由总体分布导出样本的联合分布律 (或联合密度或联合密度);(2) 把样本

13、联合分布律把样本联合分布律(或联合密度或联合密度)中自变中自变 量看成已知常数量看成已知常数,而把参数而把参数 看作自变量看作自变量, 得到似然函数得到似然函数L( ); (3) 求似然函数求似然函数L( ) 的最大值点的最大值点(常常转化常常转化 为求为求ln L( )的最大值点的最大值点) ，即，即 的的MLE; 求极大似然估计求极大似然估计(MLE)的一般步骤是：的一般步骤是：(1.5) . 0)(ln )(ln)(LddLL也可从下述方程解得：大似然估计的极处取到极值，因此在同一与又因个参数，若母体的分布中包含多., 1, 0ln., 1, 0kiLkiLii或即可令的极大似然估计值。

14、个方程组求得解kk,1. 0)( );(),;(. 1ddLxfxp可由下式求得：可微，故关于一般，两点说明两点说明2、用上述求导方法求参数的、用上述求导方法求参数的MLE有时有时行不通，这时要用极大似然原则来求行不通，这时要用极大似然原则来求 . 下面举例说明如何求极大似然估计下面举例说明如何求极大似然估计L(p)= 设设X1,X2,Xn是取自总体是取自总体 Xb(1, p) 的一个样的一个样本，求参数本，求参数p的极大似然估计的极大似然估计.nixxiipp11)1 (解：似然函数为解：似然函数为: niiniixnxpp11)1 (ppXi110例例1)1ln()()ln()(ln11p

15、xnpxpLniinii对数似然函数为：对数似然函数为：niiniixnxpppL11)1 ()(对对p求导并令其为求导并令其为0，)(111)(ln11niiniixnpxpdppLd=0得得xxnpnii11即为即为 p 的的MLE .解：似然函数为解：似然函数为niixL11)( 11)( niinx) 10(ix对数似然函数为对数似然函数为niixnL1ln) 1(ln)(ln ni 1设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本其它, 010,)(1xxxfX 求求 的极大似然估计的极大似然估计. 其中其中 0,例例2niixndLd1ln)(ln求导并令其为求导并

16、令其为0 0=0=0从中解得从中解得niixn1ln即为即为 的的MLE .MLE . 对数似然函数为对数似然函数为niixnL1ln) 1(ln)(ln 的一个样本值，是来自为未知参数，设例XxxNXn,);,(. 3122的极大似然估计量。求：2,的概率密度为：解：X)(21exp21),;(222xxf似然函数为：似然函数为：niixL1222)(21exp21),(niixnnL1222)(21)ln(2)2ln(2ln0)()(212n-01 2122212niiniixnx即：niiniiXXnxxn1221)(1 1解得：-它与矩估计量是相同的。它与矩估计量是相同的。 0ln0l

17、n2LL令的极大似然估计。是则的极大似然估计；是具有单值反函数，的函数设性质：)()( ),( uuuuu的极大似然估计是例：2122)(1niiXXn)0( ,)(2222uuuu有单值反函数的极大似然估计是故 )(1122niiXXn极大似然估计不变性极大似然估计不变性解：似然函数为解：似然函数为 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本为未知参数其它 , 0,1)()(xexfXx其中其中 0,求求 的极大似然估计的极大似然估计. ,其它，, 01),(1)(niixxeLi i=1,2,n例例4其它, 0min,11)(1 ixnxenii对数似然函数为对数似然函

18、数为niixnL1)(1ln),(ln 解：似然函数为解：似然函数为其它，, 01),(1)(niixxeLi i=1,2,n求导方法无法求参数求导方法无法求参数 的的MLE.是是inix1*min 对对, 0),(,min Lxi故使故使 达到最大的达到最大的 即即 的的MLE， ),( L , 取其它值时，取其它值时，. 0),( L 且是且是 的增函数的增函数 其它, 0min,1),(1)(1ixnxeLnii由于由于这时要用极大似然原则来求这时要用极大似然原则来求 .niixn1*1 即即 为为 的的MLE .*, ,niixnL1)(1ln),(ln ，解得求导并为对0 由于估计量

19、作为样本的函数是一个随机变量由于估计量作为样本的函数是一个随机变量,对于不同的样本值对于不同的样本值, 估计值也不同估计值也不同, 因此评价一个因此评价一个估计量的优劣就不能仅由一个观测值来确定估计量的优劣就不能仅由一个观测值来确定, 而要而要根据估计量的统计性质来评价根据估计量的统计性质来评价. 通常一个好的估计通常一个好的估计量其观测值应在待估计参数的真值附近波动量其观测值应在待估计参数的真值附近波动, 且波且波动的幅度越小越好动的幅度越小越好, 即要使估计量与待估计参数在即要使估计量与待估计参数在某种统计意义下非常某种统计意义下非常“接近接近”. 常用的几条标准是：常用的几条标准是：1无

20、偏性无偏性2有效性有效性3相合性相合性这里我们重点介绍前面两个标准这里我们重点介绍前面两个标准 .第第2节节 估计量的评选标准估计量的评选标准而它的期望值等于未知参数的真值而它的期望值等于未知参数的真值. . )(E则称则称 为为 的无偏估计的无偏估计 . . ),(1nXX 设设是未知参数是未知参数 的估计量，若的估计量，若 . .真值真值 1 1无偏性无偏性估计量是随机变量，估计量是随机变量， 对于不同的样本值会得到不同的对于不同的样本值会得到不同的估计值估计值 . .我们希望估计值在未知参数真值附近摆动，我们希望估计值在未知参数真值附近摆动，这个标准这个标准 . .这就导致无偏性这就导致

21、无偏性定义定义无偏性的意义是：用无偏性的意义是：用 来估计来估计 时无系统偏差。时无系统偏差。 例如例如 设总体设总体X X的数学期望的数学期望 存在，存在，nXXX,21是是X的样本，求证的样本，求证knkkaXX121. 1均为均为的无偏估计。的无偏估计。为为2 2 的无偏估计量的无偏估计量21)(11nkkXXn22nS21)(1nkkXXn不是不是2 2 的无偏估计量的无偏估计量22. 2S11其中nkka证证nnXEnXEEnkk111)(1)(. 1)()()(112knkknkkkaXEaXEEnkkkEXa1nkkEXa1EXaEXnkk121)(. 2nkkXXnkkXnX1

22、222()E S)(1121nkkXXnE)(11122nkkXnXEn)()(11122nkkXnEXEn)()(11122nkkkXEXDnEXDXn22222)(11nnnnn22S是的无偏估计用用Sn n2 2来估计来估计2 2有系统偏差。有系统偏差。221nnSSn2()nE S21()nESn21nn22222,nnnSSSS当 很大时，以后要区别和例例2 设设nXXX,21),(2NX是总体是总体的样本的样本. k11212)(niiiXXk2使使为为的无偏估计量的无偏估计量; 求求11122122)(niiiiiXXXXEkE22)(E121nk故当故当时时, 2112) 1(

23、22knkni的样本，证明，都是总体)(X,1nXX 为任意常数）（统计量22)1 (,XSXS的无偏估计。都是参数)()(XEXE)()(2XDSE)1 (2SXE)()1 ()(2SEXE)1 (一个未知数可以有不同的无偏估计量。的无偏估计。所以都是参数解解例例3的估计量为参数一致性：若),(. 211nXX 的一致估计。是则称. pn时，当若对于任意也是一致估计量22*221)(,SnnSEXXEBEXASEXXkPkkPkPP例：由大数定律知例：由大数定律知一致性说明：对于大子样，由一次抽样得到的估一致性说明：对于大子样，由一次抽样得到的估计量计量 的值可作的值可作的近似值的近似值3

24、3有效性有效性),(11nXX ),(122nXX 1 设设和和都是参数都是参数 的无偏估计量，若有的无偏估计量，若有 定义定义3则称则称 较较 有效有效 . .2 1 21DD若若 的所有二阶矩存在无偏估计量中有一个估计量的所有二阶矩存在无偏估计量中有一个估计量 ，使对任意无偏估计量使对任意无偏估计量 有有 00DD的最小方差无偏估计是则称 0X321,XXX6323211XXX4423212XXX3333213XXX)(XE例例4 设总体设总体的数学期望和方差都存在的数学期望和方差都存在, , 是是 X 的样本的样本, 证明统计量证明统计量都是总体均值都是总体均值的无偏估计量的无偏估计量,

25、 , 并确定哪个估计量更有效并确定哪个估计量更有效. .2)(XD613121632)(3211XXXEE414121442)(3212XXXEE313131333)(3213XXXEE解解 设设321,故故都是总体均值都是总体均值的无偏估计量的无偏估计量. . 又由于又由于222232111873619141632)(XXXDD222232128316116141442)(XXXDD2222321331919191333)(XXXDD)()()(123DDD3估计量估计量更有效更有效. . 下面讨论无偏估计方差的下界，达到这个下界的无偏估下面讨论无偏估计方差的下界，达到这个下界的无偏估量称为

26、优效估计量（最小方差无偏估计）。量称为优效估计量（最小方差无偏估计）。定理：罗克拉美不等式（条件见书）定理：罗克拉美不等式（条件见书）是未知参数，设总体);(xfX的一个简单样本，是XXXn1的无偏估计，是),(1nXX )(1nID罗克拉美不等式罗克拉美不等式 右端为罗克拉美下界，记为右端为罗克拉美下界，记为)(1nIIR0),(),(ln();(ln()(22dxxfxfXfEI 类似：类似：d.r.vd.r.v，满足条件，则);(xPX)(1nIDixPxPXfEI),(),(ln();(ln()(22 注：有时能找到无偏估计使它的方差达到这个下界，注：有时能找到无偏估计使它的方差达到这

27、个下界，有时达不到有时达不到1)()(eDIeR优效估计量的有效率的有效率，显然称为估计量的优效估计为则称的方差若无偏估计000,RID见书上见书上p48p48例例3.4.53.4.5例例题题 设设X X服服从从泊泊松松分分布布 ( , )0,1,2!x-xf xexx 2200ln ( , )( )( )( 1)( )xxp xxIp xp x ln ( , )lnln !1p xxxx 2202(1) ( )xxxp x 1 克克来来美美下下界界 1InIn 是是 的的最最优优无无偏偏估估计计量量X 2 2例例题题 试试问问 分分别别是是 , ,2*2( ,),XNX S 的的优优效效估估

28、计计吗吗? ?对对于于 + +- -2ln( )()( )f xf x dx + +- -22()221ln2()( )xef x dx + +- -222()2()( )xf x dx 24()( )xf x dx 24 所所以以 2RIn 11.(,) nXX 无无偏偏性性：若若的的数数学学期期望望存存在在， 则则称称是是 的的无无偏偏估估计计量量。1112.(,) nXX 有有效效性性：若若，12 则则称称较较有有效效。113.(,)nXX 一一致致性性若若为为参参数数 的的估估计计量量 则则称称是是 的的一一致致估估计计。. E 且且221(,) nXX 都都 是是的的 无无 偏偏 估

29、估 计计 量量 ；12D()D(). 若若 .pn 若若 对对 于于 任任 意意， 当当时时估计量的标准的总结估计量的标准的总结求极大似然估计的一般步骤：求极大似然估计的一般步骤： 写出似然函数写出似然函数 nimin),.,;x(p);x,.,x,x(L12121 nimi),.,;x(plnLln1212. 2. 对似然函数取对数对似然函数取对数)m,.,j(,Llnj210 3. 3. 对对 j j ( (j j = =1 1, , m m) )分别求偏导分别求偏导, ,建立似然方程建立似然方程( (组组) )m,., 1解得解得m,., 1分别作为分别作为 的极大估计值的极大估计值.

30、.易出错点：易出错点：似然函数的构造过程中，连乘号的运用似然函数的构造过程中，连乘号的运用练习所以参数所以参数的矩估计量为的矩估计量为pX总体总体 的分布律为：的分布律为：(1),xxm xmP XxC pp0,1,(01)xmp是来自总体是来自总体X的样本，求参数的样本，求参数p的矩估计量的矩估计量nXX,11()E Xmp解解,Xmp mXp mXp 由于总体由于总体X 的分布为二项分布的分布为二项分布，因此由由(),E XX得得和极大似然估计。和极大似然估计。(1),xxm xmP XxC pp0,1,(01)xmp解解 似然函数为似然函数为 )(pL niiixXP1,)1()(111

31、 niiniiixmnxnixmppCiiixmxnixmppC )1(1设设nxx,1是样本值。是样本值。 )(lnpL)ln(1 nixmiCpxniiln)(1 )1ln()(1pxmnnii )(pL,)1()(111 niiniiixmnxnixmppC, 0)(ln pLdpd令令0111 pxmnpxniinii即即mxp 所以参数所以参数的极大似然估计量为的极大似然估计量为pmXp 16. , ; , nXU a b a bxx例例设设未未知知，是是一一个个样样本本值值，, a b求求：的的极极大大似似然然估估计计量量。(1)1( )1min(,),max(,),nnnxxxx

32、xx 解解：设设X X的概率密度为：的概率密度为：1,;( ; , ) 0 , axbf x a bba 其其它它1(1)( ), nnaxxbaxxb 因因为为等等价价于于(1)( )1,;()( , ) 0 , nnaxbxbaL a b 其其它它(1)( ), naxbxa b 对对于于满满足足的的任任意意有有( )(1)11( , ) ()()nnnL a bbaxx (1)( )( )(1)( , ),() nnnL a baxbxxx 即即：在在时时，取取最最大大值值, a b故故的的极极大大似似然然估估计计值值为为：(1)( )min,max, iniaxxbxx , a b故故

33、的的极极大大似似然然估估计计量量为为：min,max, iiaXbX 设21. 2S为为2 2 的无偏估计量的无偏估计量211()nkkXn 223D。211()-1nkkXXn 也是也是2 2 的无偏估计量的无偏估计量2 2设设是是正正态态总总体体N N( ( , ,的的样样本本12,.)nXXX 设设为为的的一一个个样样本本为为的的一一个个样样本本相相互互独独立立分分别别是是他他们们的的样样本本方方差差证证明明对对于于任任意意常常数数都都是是的的无无偏偏估估计计并并确确定定使使得得达达到到最最小小212111212222*2*212*2*2212, (,), (,),D( ).nnX XXX NY YYY NSSa,b (a+b=1) ZaSbSa bz 44221222 +(1- ) 11aann 44*2*2121222() , () 11D SD Snn *22*2212(), () E SE S22()()E Zab *2*212()()D ZD aSbS 12121211,22nnabnnnn