3chap02参数估计.pdf

《3chap02参数估计.pdf》由会员分享，可在线阅读，更多相关《3chap02参数估计.pdf（32页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、第二章 参数估计 29 第第 二二 章章 参参 数数 估估 计计 从这章起，我们进入数理统计的核心部分统计推断。统计推断的意义是指如何根据样本来对总体的种种特征作出推断。统计推断理论在情报资料的综合与分析、图像处理，从带有噪声的信息中提取有用的信号，对各种试验数据的处理，天气预报，地震资料分析以及在工农业生产等方面都有广泛的应用。统计推断理论的主要内容分为两大类：总体参数估计和统计假设检验。这一章先讨论参数估计。11 参参 数数 估估 计计 的的 意意 义义 及及 种种 类类 一一、参数估计参数估计 用直方图求随机变量（总体）的分布密度，要求样本容量大，即是说原始数据要多，一般至少要 50 个

2、以上。不过实际中常常碰到的问题并不要求把分布密度求出来，例如分布函数F（x；1q，2q，hq）类型已知，而每个参数iq（i=1，2，k）未知；或者，分布函数F（x；1q，2q，hq）类型未知，所关心的只是总体中的某一些数字特征。从以下例子就可以看到这类问题的要求。例例1.1 某电话局在单位时间间隔内收到呼唤的次数是服从泊松分布j(x；l）=!xxlel-，但其参数l未知，问题在于估计l。例例1.2 产品的某些质量指标x（如钢筋强度）很多是服从正态分布 j（x；a，s）=()22212xeasps-，但其参数a、s未知，问题在于估计a、s。例例1.3 长江某水文站最高水位X服从G分布 j（x；a

3、，b）=()1xxeaabba-G （0 x=-0,00,xxexxlllj 样本为),(21nXXXL，试用矩法求l的估计量l),(21nXXXL 解：因 用样本均值=C=Cniin11去估计总体均值l1=EX，则有 l)111=niiXnEX，=niiXn1l)可以证明，当样本容量 n 无限增大时，样本矩与其相对应的总体矩任意接近的概率趋于1。因此当 n 无限增大时，用矩法来估计总体的各个参数一定可以达到任意精确的程度。除第二章 参数估计 32 了上述优点外，矩法还不依赖于总体分布的具体形式，因而适用性广。缺点是由于这方法太一般化了，因而对特定的一些分布，它可能不如专门的估计量好。总之，矩

4、法是很常用的。比如，不论什么分布用样本均值=C=Cniin11都可以作为总体均值（数学期望EX）的估计量，即 C=EX （2.1）可以用样本二阶中心矩()=C-C=niinS1221作为总体方差DX的估计量，即 2SDX=（2.2）二二、极大似然估计法极大似然估计法 无论总体分布类型已知或未知，对其参数的估计，矩法都是可行的。对于总体分布类型已知，则估计它的参数最好用极大似然估计法，因这种方法不仅可行，而且它有很多优良性。这里我们先介绍似然函数，并结合实例讲讲这种方法的基本思想，再谈极大似然估计法。1 似然函数 设样本),(21nXXXL为来自分布密度为),;(21kxfqqqL的总体 X，j

5、q为参数，kj,2,1L=，其联合分布密度就称为似然函数，由于我们强调它是jq的函数，故记作),2,(1kLqqqL=nikikxfL111),2,;(),2,(qqqqqqLL （2.5）2 极大似然估计量 如果)(q)L在q)达到最大值，则称jq)分布是参数jq的极大似然估计量（kj,2,1L=）。值得注意的是，极大似然估计量jq)（kj,2,1L=）当然与样本),(21nXXXL有关，它是样本的函数，即),(21njjXXXL)qq=。3 极大似然估计法 极大似然估计法就是当我们用样本估计总体的参数值时，应使得当参数取这些值时，所观察到的样本出现的概率为最大。极大似然估计法的直观想法是：

6、一个试验者有若干个结果A、B、C。如果 A 实际上出现，则当然应认为试验的条件更有利于 A 的出现，例如有一事第二章 参数估计 33 件，我们知道它出现的概率中只有两个可能：0.01 或 0.99，如果在一次观测中，这一事件出现了，则我们自然地更倾向于认为它出现的概率是 0.99。为了介绍极大似然估计法的基本思想，我们考虑一个简单的例子。一个箱内有黑色白色球共 4 个。今抽球三次（每次抽后均放回），得到 2 次白球，1 次黑球。问如何估计箱内白球的个数？如果一般地说，抽球三次得到 k 个白球，3-k 个黑球，应如何估计白球个数？记 X 为抽得白球的个数，显然 X 应该服从二项分布()pb,3，

7、其中 p 值为一次抽中白球的概率，应与箱内白球总数有关。我们可以求出在 p 已知时，3,2,1,0=x的概率分别为()301pp-，()213pp-，()pp-132，及3p。对于箱内白球总数为 0，1，2，3，4 时分别得到 p 的五个值：0，41，42，43，1。其分布列表成表 2.1 表 2.1 x=0 x=1 x=2 x=3 0 0 1 0 0 0 1 41 6427 6427 649 641 2 42 648 6424 6424 648 3 43 641 649 6427 6427 4 1 0 0 0 1 这个表横着看，每一行都是一个二项分布的概率分布表。这是认为 p 给定而列出来的

8、。我们可以从另一个角度来看这张表，竖着看每一列。这时 X=x 给定了，p 反而是变量。例如第三列就是已知抽中白球为 2 的情况。当0=p时，02=XP；当41=p时，6492=XP；当21=p时，8364242=XP；当43=p时，64272=XP；当1=p时，02=XP，那么，在已知 X=2 时，如何估计 p 呢？一个最自然的想法就是选使2=XP达到最大的 p 值，从表中看，43=p时出现2=X的可能性最大，也即当2=x时，看来这五个总体（1,41,0L=p）中43=p的总体“最像”是出现此结果的总体。也抽中白球数 x 箱内 白球数 P 第二章 参数估计 34 就是说，2=x时，()pLLp

9、max43=，我们就取43作为 p 的估计量p)。同样，可得其它值。总之，()=3,12,431,410,0XXXXXp)我们这样做，就是根据样本的具体情况来选择p)，使得该样本发生的可能性最大，这样选择出现概率最大的一个p)作为参数 p 的估计量，也就是极大似然估计法的原理。这里有意无意地用到了“概率最大的事件最可能出现”的原理。根据同样的思想方法，可估计连续型总体的参数。由极大似然估计量的定义可知，求总体参数jq的极大似然估计量jq)的问题，就是求似然函数 L 的最大值问题。在 L 关于jq可微时，要使 L 取得最大值，诸jq必须满足下列方程组（似然方程组）：0=jLq ()kj,2,1L

10、=（2.6）从此方程组可解得参数jq的极大似然估计量jq)。由于 lnx 是 x 的增函数，因此，L 与 lnL在相同的点达到最大，所以上方程组可以用下列方程组来代替。0ln=jLq ()kj,2,1L=（2.7）后者比前者在实际上往往来得方便。例例 2.4 设总体 X 服从泊松分布：ll-=ekkXpk!()L,2,1,0=k，样本为),(21nXXXL，求参数l的最大似然估计量。解：设样本观测量为),(21nkkkL()=-=niiknnkkkkeekekekLin121!21lllllllllL 第二章 参数估计 35 或 ()=+-=niikknLi1!lnlnlll 故 =+-=ni

11、ikndLd11)(lnlll 令上式为 0，得解为=niikn11l l的最大似然估计量为 XXnnii=11l)（2.8）这就是说，泊松分布参数l的最大似然估计量是样本的均值。例例 2.5 设),(21nXXXL为来自正态总体),(2saN的样本。求总体均值a与方差2s的极大似然估计量 解解：似然函数为 22122(x)(x)22222111L22niiinnieeaassa spsps=-=（，）=或 ()()2122222)(ln22ln,lnsaspsa-=-niinxnL 解似然方程组()()()()()=-+-=-=0212,ln01,ln1222222122niiniixnLx

12、Lassssaasasa 解得估计量 XXnnii=11a)，()()=-=-=niiniiXXnXn1212211as)（2.9）这就说明了正态分布的均值a与方差2s的极大似然估计量分别为样本均值X和样本二阶中心矩2S。下面，我们再简单介绍一下用次序统计量估计参数的方法：第二章 参数估计 36 设),(21nXXXL为来自总体 X 的样本，将它们按大小依次排列起来，记为(1)(2)().nXXX （2.10）则称（(1)(2)().nXXX）为次序统计量。记%X=()()()()11n21n212hhhkkXXX+=+=当 当 （2.11）()(1)nXRX-=(2.12)%X，R 分别成为

13、样本中位数和样本极差，样本中位数%X和样本极差 R 都是次序统计量的函数，它们计算简单。对正态总体 N（a,2s）有事可以用样本中位数%X估计它的均值，用样本极差估计它的标准差。ax=$%(2.13)1nRds=$(2.14)nd的数值见表 2.2。在 n10 时如果要用 R 来估计s，则可将数据分成个数相等（譬如每组 5 个）的 n 组，求出各组数据的极差，然后用这些极差的平均值作为（2.14）中的 R（此时nd为5d）即得s的估计。但对较大的 n，此法不常用。表 2.2 n 2 3 4 5 6 7 8 9 10 nd 1.128 1.693 2.059 2.326 2.534 2.704

14、2.847 2.970 3.078 1nd 0.886 0.561 0.486 0.429 0.395 0.369 0.351 0.337 0.325 3 3 估估 计计 量量 的的 评评 选选 标标 准准 从上节讨论，我们知道对于同一个未知参数可以构造出不同的估计量，究竟采用哪一个好呢？这就牵涉到用什么标准来评价估计量的问题，要求我们进一步研究点估计的性质。我们知道，估计量是样本的函数，它是随机变量，因此，由不同的观测结果，所求得的参数估计值也就不同。这样，我们要确定一个估计量的好坏，不能仅仅依据一次试验的结果，而必须由多次试第二章 参数估计 37 验结果来衡量。我们希望一个好的估计，在多次

15、试验中所得的参数的估计值与被估计参数的真值偏离较小。例如，123,q q q是参数q的三个估计量，量q为真值参数时，它们的分布密度函数123(),(),()fffqqq如图 2-1 所示，图中虚线处表示被估计参数的真值q。由图 2-1可以看出，估计量2q要比1q、3q各方面都好，而3q要比1q稍好。但要在“各方面都好”这种意义下，寻求最好的估计是很困难的，这里我们就无偏估计、最小方差无偏差估计、有效估计及相合估计等加以讨论。一一、无偏估计无偏估计 估计量一个随机变量，对估计量 的一种要求就是 围绕被估计参数q而摆动，也就是的数学期望等于未知参数q的真值，这就是无偏性概念，因而引出一下定义：定义

16、定义 3.1 3.1 设q()是未知参数的估计量，若 Eqq=(3.11)则称q为J的无偏估计无偏估计。例例 3.1 3.1 设为来自具有有限数学期望a的总体的一个样本，则 11niiXXn=是a的无偏估计。这是因为 1111()nniiiiEXEXEXann=所以样本均值X是总体均值a的一个无偏估计。但2X不是2a的无偏估计，例如 X N（a,2s）,那么2222()EXDXEXans=+=+，因而用2X估计2a不是无偏的。有时，对同一个参数可以有很多无偏估计。例例 3.2 3.2 设为来自数学期望a的总体，判断下列统计量是否为a的无偏估计。1）iX(i=1,2,n)2)13111236nX

17、XX+3)121133XX+第二章 参数估计 38 解：1）因为()iE XEXa=，故iX是a的无偏估计两。2）因为 13111()236nEXXX+=13111()236nE XEXEX+=111236EXEXEX+=EX=a 故13111236nXXX+是a的无偏估计量。3）因为 1211()33EXX+=121133EXEX+=1133EXEX+=23EX=23aa 故当a0时，121133XX+不是a的无偏估计量。例例 3.33.3 设样本来自数学期望为a，方差为2s的总体 X，则样本方差()22111niisXXn=-是2s的无偏估计。事实上，()2211()1niiE sEXXn

18、=-=()211()1niiEXaXan=-22111(x)2(X)(X)()1nniiiiEn Xnaaaa=-+-2211(x)()1niiEnEXnaa=-=2211nnnnss-=2s 但是，若用样本二姐中心矩2S作为2s)的估计量，就不是无偏估计，因此，一般总是取2S为2s的估计量。然而，S一般也不是s的无偏估计。例如，设是来自正态总体 N（a,2s）的一个样本，由第一章定理 3.1 可知()221nss-()21xn-，所以()1221021122xnnxEnsexdxns-=-G 第二章 参数估计 39=2112221221222nnnnnn-GGG=-G()22112nE Sn

19、nssG=-T 由此可见，如果q是参数q的无偏估计，除了f是线性函数以外，并不能推出q的函数()fq也是参数()fq的无偏估计。无偏性是对估计量的一个最重要最常见的要求。它确实是一种优良性。在以前（甚至直到现在）一般都把无偏性放在很显著的地位，因而在不少人中逐渐形成一种看法：一个估计量要是没有无偏性，就是“不好”的。把无偏性作为对估计量的绝对的当然的要求，这不见得是正确的。从实际应用的角度看，无偏估计的意义在于：当这估计量经常地使用时，它保证了在多次重复的平均意义下，给出接近于真值的估计。如果应用上的要求主要在于这一点，无偏性的要求当然是合理的，甚至是必须的。不放设想这样一个例子，某工厂 生产

20、一种产品，其废品率从较长时期看，大体稳定在一个数0p。现在每天在所生产的产品中作抽样检验以对0p作一估计。就逐日的结果而言，自然难免偏高偏低，但如果估计量是无偏的，在使用了几个月以后（当然，假定0p一直没有变化），将全部结果平均，就能得出很接近0p的估计。所以，如果该厂每日将全部产品卖给一家商店，而该店是按每日抽样废品率的大小来付款的，则就某一日而言，两方中有一方可能吃一点亏，但无偏性保证了从较长时间看，办法是公平的。在这里，无偏性当然是合理的而且是必要的要求。但是在不少应用中，不仅问题没有这种经常性，而且（或者）正、负偏差性并不能抵消，在这种情况下，无偏性就没有多大意义了。因此，一方面应看到

21、，无偏性是一个重要而有用的概念，另一方面，应当根据问题的性质来估价它的作用，而不拘泥于它。有时候，无偏估计可以不存在；有时候，一个无偏估计可以有明显的弊病。因此单从无偏性这一标准不能分辨出哪一个估计两更好。自然，衡量一个参数的两种无偏估计何者更好标准应该是看一看它们谁摆动得更小，即要求估计量是无偏的且具有最小方差，这就是最小第二章 参数估计 40 方差无偏估计。二二、最小方差无偏估计最小方差无偏估计 定义定义 3.2 3.2 设是来自总体 X 的随机样本，q是q的一个估计量，若满足 1）Eqq=，即q是q的无偏估计。2）DDqq，这里q是q的任意一个无偏估计。则称 是q的最小方差无偏估计最小方

22、差无偏估计。一般地，如果我们要估计未知参数q的某个函数()gq，就要寻找()gq的无偏估计量，且要使其方差尽可能小。不难设想，在一定的样本量之下，这个方差不可能任意地接近于 0，即有一个大于 0（但与q无关）的下界，现在我们给出这个关系式罗-克拉美（Rao-Cramer）不等式：定理定理 3.1 3.1 设是从分布密度();f xq的总体中抽取的一个样本，T()是()gq的一个无偏估计，在一些正则性条件下1），有 ()()()2gD TnIqq (3.2)其中 ()()2n;lfxIEqqq=（3.3）特别当()gq=q时，上式简化为 ()()1D TnIq （3.4）（3.2），（3.4）式

23、右方就是方差的下界。还可以证明()Iq的另一表达：()()()2ln;f xIEqqq=-（3.5）（3.5）式有时比（3.3）式易于计算。对于离散型随机变量，如果其概率分布为()();,1,2.iipp Xxiqq=。则只须将（3.2）（3.5）式中的密度函数用概率分布代替，积分号用求和号代替，结论仍然成立。注 1）这个条件是：有关的概率密度关于参数可微，且微分与积分次序可以交换。第二章 参数估计 41 例例 3.4 3.4 设是来自贝努里分布总体 b(1,p)的一个样本，试求 p 的无偏估计的方差下界。解：对于贝努里分布 b（1，p）因此 ()()()2210,11ln;11xxxxxI

24、PEf x pppPpp-=-=-=()()()22111111pppppp-+=-于是，参数 P 的任何一个无偏估计量P()都满足不等式 1(1)()()ppD pnI pn-=对于 p 的无偏估计量 11niipXxn=，则 可见（3.4）式中等号成立。因此是总体分布的参数 p 达到方差下界的无偏估计量，即是最小方差无偏估计。应用这个方法，可以检验某些其它常见的分布，已给出的一些估计是最小方差无偏估计，例如用X估计()20,N as的a，二项分布的 np，泊松分布的参数l等。例例 3.53.5 设是来自正态总体 N（a,2s）的一个样本，考虑a和2s的无偏估计的方差下界。解：()()222

25、11;,exp22f x axassps=-()()22211ln;,ln22f x axassps=-=()()22211ln222fxapss-第二章 参数估计 42 故 ()22ln;,xaf x aass-=()22221ln;,f x aass=-因此，由(3.5)式得()2222ln;,1()fX aI aEass=-=于是a的无偏估计得方差下界是2ns，而 21()D Xns=这表示样本均值X达到了方差下界，所以它是a的最小方差无偏估计。同样，由于 22222()1ln(;)22xaf x assss-=-2222461()ln(;)2xaf x assss-=-根据(3.5)式

26、 222222644ln(;,)()11I()=E22f X aE Xassssss-=-=因此2s的无偏估计得方差下界是42ns 由例 3.3 知，样本方差2s是2s的无偏估计，用第一章定理 3.2 中（3.9）式可以求出 242D(S)=1ns-因此 2442221D(S)=1()nnnIsss=-但是，我们可以用其它方法证明2S是2s的最小方差无偏估计，这说明罗克拉美不等式中的方差下界不一定能达得到。最小方差无偏估计量确实是一种最优的估计量，可惜有时并不存在。三三、有效估计有效估计 定义定义 3.3 3.3 如果q是参数q的一个无偏估计量，它的方差达到（3.4）式给出的下界，第二章 参数

27、估计 43 那么称q是参数q的有效估计有效估计。定义定义 3.43.4 对q的任一无偏估计q，记 1()/()()eDnIqqq=（3.6）称()eq为无偏估计q的有效率有效率。显然，由于定理 3.1，任何一个无偏估计q，其有效率满足0()1eq。如果无偏估计q是有效估计，则它的有效率()1eq=。粗略地说，对于一个无偏估计，估计得方差越小，这个估计取到接近于它的期望值（即q的真实值）的值就越频繁，因而有效率越大。由例 3.4 看到，对贝努里概型，频率X是其对应的概率 p 的有效估计。例 3.5 说明，对于正态总体2(,)N as，样本均值X是总体均值a的有效估计，当然是最小方差无偏估计，样本

28、方差2S是总体方差2s的最小方差无偏估计，但不是2s的有效估计，它的有效率是 442221221()/()/=1()nn-1ne SD SnInsss-=可见有效估计仅在限制性较强的条件下才存在。甚至最小方差无偏估计都不一定是有效估计。我们退一步，放宽些要求来考虑，如果一个估计量q对于一切充分大的 n 值都有定义的话，那么我们就可以考虑当 n 趋于无穷大时q的渐近性态，从而引出一下定义：定义定义 3.5 3.5 如果当n 时，()eq趋于一个确定的极限，则称这个极限为q的渐近有渐近有效率效率，记作e，即 1()lim()nnIeDqq=（3.7）如果e=1，则称q是q的渐近有效估计渐近有效估计

29、。显然，对于正态总体，样本方差2S是2s的渐近有效估计。四四、相合估计相合估计 无偏性是在样本容量 n 确定的情况下讨论的。现在考虑当样本容量 n 无限增加时，即观第二章 参数估计 44 测次数无限增多时，估计量可能具有的性质。这是点估计的另一个重要方面内容。我们先通过一个简单例子来说明有关的概念。设总体X具有有限方差，1,2,nX XXL为来自这个总体的一个样本，要估计q=EX，我们用样本均值nX来估计q。从概率论知道，当样本容量 n 无限增加时，估计量nX有以下的性质：1）nX依概率收敛于被估计的q。这表示，只要样本容量足够大，估计量可以用随意接近于 1 的概率把q估计得达到任意的精度。这

30、个性质叫做估计量的相合性相合性。2）若X的方差20s，有 lim0nnPqqe-=（3.8）则称nq为q的相合估计。第二章 参数估计 45 定义定义 3.7 3.7 如果当n 时 ()1(0,)()LnnNIqqq-（3.9）则称nq为q的最优渐近正态估计。（假定12,XXL是独立同分布的）从大样本的观点看，相合性是对一个估计量最起码的要求。由于概率论中的大数定理，这个要求也是容易满足的，但是在一些情况下，证明一个估计的相合性并不容易，而且常见方法构造出来的估计量也可以没有相合性，我们注意，在上述定义 3.6 中，考虑相合性并没有要求12,XXL为独立同分布的。例例 3.6 3.6 若EX,D

31、X存在，试判定样本均值X是总体均值EX的相合估计。证：利用切比谢夫不等式21DXXEXnee-，以及EXEX=，DXDXn=，得到 21DXPXEXnee-所以 lim1nPXEXe-=即X依概率收敛于EX，由相合估计定义可知，X是EX的相合估计量。一般地，若12,nXXXL是取自某个总体X的一个样本，且pE X，lim0kknP MEXe-=（3.11）定理定理 3.2 3.2 如果nq是q的一个相合估计，()g x在 x=q上连续，则()ngq也是()gq的相合估计。证：由于()g x在 x=q点连续。所以对0e，存在0d，使得当xqd-时，第二章 参数估计 46 ()()g xgqe-因

32、为nq是q的相合估计，所以 0lim()()lim0nnnnP ggPqqeqqd-=即()ngq是()gq的相合估计。由上述可见，矩估计常常是相合估计。五五、充分统计量充分统计量 充分统计量是数理统计的重要的基本概念，它能帮助我们寻求最小方差无偏估计，现在通过下面例子来说明有关的概念。例例 3.73.7 设总体 X 服从贝努里分布 b（1，p），12,nXXXL是一个样本，11niiXXnnn=，其中n表示中取值为 1 的个数，显然 11,(1),01nnnP XxXxpppnn-=-L 每个ix可取 0 或 1。现在考虑1()nt xxx=+L，即事件 A 在 n 次试验中一共出现的次数。

33、从直观上看，有充分的理由认为：统计量()t x包含了原始数据1,2,nx xxL中所含的有关 p 的全部信息，因为1,2,(,)nx xxL比()t x更详细的地方，在于它指出了事件 A 是在那几次试验中发生的。由于各次试验是在同样条件独立地进行的，在知道了 A 出现的总次数后，再知道上述细节看来不会帮助我们对q的了解。一般的问题是这样提出的：用统计量q来估计总体的某一参数q时，虽然一个容量为 n的样本包含了 n 个值，但只用到一个值q作为被估计参数的估计值，于是我们就问：这对估计q来说是否有所损失？也就是说，除了q，是否还可以从样本中获得关于q的更多信息？用样本的个别值或其它形式能否更多地知

34、道q？如果除q外，样本中再也不含有关于q的任何新的信息，则我们说q是q的充分统计量，下面给出充分统计量的一第二章 参数估计 47 般定义。定义定义 3.8 3.8 设是从总体(;)F xq抽取的一个样本，）是一个统计量，如果给定，的条件分布（离散型变量为条件概率，连续型变量为条件密度）与参数q无关，则称 T 是q的充分统计量充分统计量。若利用参数的充分统计量 T()作为q的点估计，则称 T 为参数q的充分估计充分估计。例例 3.8 3.8 计算例 3.7 中1,2,nX XXL关于X的条件概率。按条件概率的定义 11,;nnP XxXx Xpnn=L 11(,)(;)nnP XxXxpP Xp

35、nn=L (1)1(1)nnppnnppnnnnnn-=-，这里1niixn=它与 p 无关，所以11niiXXn=是 p 的充分统计量。为了判定一个统计量是否为充分的，依上述定义是很麻烦的，我们给出一个定理，使寻找和判断充分统计量有时变得很方便。定理定理 3.3 3.3 （因子分解定理因子分解定理）（1）连 续 型 情 况：设1,2,nX XXL是 来 自 密 度 函 数 为(,)f xq的 一 个 样 本，1,(,)nTT XX=L是一个统计量，则T为q的充分统计的充要条件是：样本的联合分布密度函数可分解为 1,2,1,1,1(,;)(;)(,)(,),)nninniL x xxf xh

36、xxg T xxqqq=LLL （3.11）其中 h 是1,2,nx xxL的非负函数且与q无关；(,)g Tq仅通过 T 依赖于1,2,nx xxL。第二章 参数估计 48（2）离散型情况：设1,2,nX XXL是来自概率分布()(;),1,2,iiPP Xxiqq=L的一个样本，1,(,)nTT XX=L是一个统计量，则T为q的充分统计的充要条件是：样本的联合概率分布可表示为 111,1,(,;)(,)(,),)nnnnP XxXxh xxg T xxqq=LLL （3.12）其中 h 是1,nxxL的非负函数且与q无关；(,)g Tq仅通过 T 以来于1,2,nx xxL。例例 3.9

37、3.9 设设1,2,nX XXL为来自贝努里分布 b（1，p）的一个样本，其联合概率分布是 1111(,;)(1)nniiiixnxnnp XxXxppp=-=-L 1(1)()1niixnppp=-取1,2,1,1,11(,),(,)1,(,),)(1)()1nnnTninnipT x xxx h xxg T xxppnp=-LLL，则 111,(,;)(),)(,)nnnP XxXxpg T xp h xx=LL 由因子分解定理得到，1,11(,)nniiT XXXn=L是 p 的充分统计。例例 3.10 3.10 设1,2,nX XXL是来自正态总体(,1)N a的一个样本，其联合密度函

38、数为 211111(,;)(;)exp()2(2)nnniiniiL xxf xxaaap=-K=()()()2111exp22ninixxaxp=-=()()()22111exp222nininxxaxp=-=()()()22111expexp222nininaxxxp=-g =(,)()g xh xa 其中()()()21,exp22nng x aaxp=-，()()2111,exp2nniih xxxx=-L 第二章 参数估计 49 由因子分解定理知，X是的充分统计量。既然充分统计量集中了样本中关于参数q的全部信息，那么如果我们用充分统计量的某个函数作为估计量，就有理由希望这个函数仍旧包

39、含样本中有关的全部信息。这就是下面的定理。定理定理 3.4.3.4.设()1,nTT XX=L是q的一个充分统计量，()uu t=是单值可逆函数，则()Uu T=也是q的充分统计量。讨论充分统计量的意义在于下面的两个定理 定理定理 3.5.3.5.设X1，X2，Xn是来自总体()F xq;的一个样本，q是未知参数。如果q存在充分统计，则对q的任一无偏估计2s q，一定可以找到一个由充分统计量构造出来的估计量充分估计量0q，使得0q也是q的无偏估计，且其方差不大于q的方差，即 0Eqq=(3.13)0DDqq=(3.14)因此为了找最小方差无偏估计，只需在无偏的充分估计量的类中寻找就足够了。假若

40、q的充分无偏估计是唯一的，此时这个无偏的充分估计也一定是最小方差无偏估计。定理定理 3.6.3.6.在定理 3.1 的条件下，一个无偏估计$12(,)nXXXqL是q的有效估计的充分必要条件是：q是充分估计，且成立 ()$11ln(,;)(,)nnL xxCxxqqqqq=-LL 其中()()11,;nniiL xxfxqq=L是样本X1，Xn的联合密度函数。以上，我们从几个方面讨论了评价一个估计量的标准。我们要求一个估计量具有相合性，然而，这就要求样本容量适当地大。矩估计法直观意义明显。它们常是相合估计。在正态N(,2)下，样本均值X和样本方差S2不但是，2的相合估计，而且分别是 和2的最小

41、方差无偏估计，X还是 的有效估计，S2是2的渐近有效估计。用次序统计量来估计参数往往无需多大计算，使用方便。在某些情况下还有其理论上的第二章 参数估计 50 优良性质。例如在正态总体下，例 3.3 已经说明S不是 的无偏估计，但基于极差R的估计$1nRds=却是 的无偏估计，可是n增大后它的效率却很迅速地下降了。极大似然法具有理论上的优缺点，事实上，只要密度函数();f xq满足很一般的正则条件，那么极大似然估计就是（1）渐近有效估计和最优渐近正态估计；（2）相合估计；（3）是充分统计量的函数。极大似然估计量并不总是无偏的，但常常能够把它修改成无偏估计量。例在正态总体下，2211()niixx

42、ns=-是2的极大似然估计，是2的有偏估计，然而21nns-却是无偏的。极大似然估计需要已知总体分布的具体形式，这在许多实际场合往往是有困难的，有时解似然方程也是困难的，不能获得它的精确解，但是可以运用最优化方法计算它的近似（数值）解。总之，用到各种估计量时，要了解它们各自的优缺点，以便在实践中加以选择。4 4 区区 间间 估估 计计 前面三节讨论的都是参数的点估计。用一个数值去估计参数q，好处是简单、明确，缺点是没有提供出一个精度的概念。例如，我们用X去估计EX，由于X是随机变量，它不会总是恰巧与EX相等，而总会有些或正或负的偏差。对于一次抽样而言，我们只得了X的一个取值，那么自然要问，X离

43、估计值EX有“多远”？由概率论的概念我们知道，X与EX的偏差也是有概率分布的，那么我们可以有多大的把握预言实测值不超过某个范围？总之，我们希望给出两个端点值（都是随机变量），以此二端点所构成的区间（是随机区间）来估计参数q，使这个随机区间以比较大的概率套住q的真值。这就是区间估计的问题。定义定义 4.14.1 设()11,nTXXL，()21,nTXXL为两个统计量，如果()()1121,1nnP TXXTXXq=-aLL （4.1）成立，则称12,T T为q的区间估计，T1称为置信下限，T2称为置信上限，1-称为置信水平，12,T T称为置信区间。那么取多大才好呢？显然越小，1-就越大，12

44、,T T套住q的概率就越大。那么是否越小就越好？不是。越小，区间12,T T的长度就会越大，如果大得过份了，那么第二章 参数估计 51 区间估计就失去了它们的意义。是否区间越小越好呢？也不是，区间太小，置信概率 1-就会变小，12,T T套不住q的概率就会增大，这也不好。对于给定的 1-，12,T T的取法有任意多种，因此我们选择“最好”的置信区间的正确提法应该是：在给定的较大的置信概率 1-下（通常取 1-=0.95），使12,T T长度最小的区间估计是最好的区间估计。下面我们给出几个常见参数的最优区间估计。一一、数学期望的置信区间数学期望的置信区间 1 已知DX，求EX的置信区间 设样本（

45、X1，X2，Xn）来自正态母体X，已知方差DX=2，这时X也服从正态分布，且其数学期望EXEX=，由于统计量 /XEXUn-=s 服从标准正态分布N（0，1）。由正态分布表（见附录表 2）可知，对于给定的，存在一个值12ua-，使121P uuaa-=-即 121PXEXunasa-=-或 11221P XuEXXunnaassa-+=-（4.2）例如 =0.05 时，有0.975121.96uua-=，代入（4.2）式得 1.961.960.95P XEXXnnss-+=（4.3）（4.3）式表明：EX 包含在随机区间1.96,1.96XXnnss-+内的概率是 0.95，或者说随机区间1.

46、96,1.96XXnnss-+以 95%的概率包含 EX。粗略说，在 100 次抽样中，大致有 95 次 EX 包含在区间1.96,1.96XXnnss-+之内，而其余 5 次可能未在该区间之内。第二章 参数估计 52 例例 4.14.1 某车间生产滚珠，从长期实践中知道，滚珠直径X可以认为服从正态分布，从某天的产品里随机抽取 6 个，测得直径为（单位：毫米）。14.6，15.1，14.9，14.8，15.2，15.1（1）试估计该天产品的平均直径。（2）若已知方差为 0.06，试求平均直径的置信区间。（=0.05，=0.01）解：用X表示滚珠直径，它服从正态分布（1）1(14.6 15.11

47、5.1)14.956EXX=+=K（2）=0.05 时，查正态分布表得临界值u0.975=1.96，2=0.06，n=6，0.061.9614.95 1.9614.756Xns-=-0.061.9614.95 1.9615.156Xns+=+即 EX 的置信区间为（14.75，15.15）。置信水平=0.01 时，临界值0.995122.576uua-=，同理可求得EX的置信区间为(14.69，15.21)。从该例可知，当置信水平 1-较大时，则置信区间也较大；当置信水平 1-较小时，则置信区间也较小。用1122,XuXunnaass-+作EX的置信区间，其条件是X服从正态分布，且已知方差DX

48、=2。但在有些问题中，并不预先知道X服从什么分布，在这种情况下，只要样本容量n足够大，即所谓大样本容量，仍然可用1122,XuXunnaass-+作为EX的置信区间。这是因为由中心极限定理可知，无论X服从什么分布，当n充分大时，随机变量 XEXDXnh-=（4.4）就和标准正态变量差别很小，也就是近似服从标准正态分布N（0，1）。至于容量n要多大才算充分大，这没有统一的绝对的标准，一般n不能小于 50，最好100 以上。n越大，近似程度就越好。第二章 参数估计 53 2 未知方差DX，求EX的置信区间 实际应用中经常遇到的是未知方差的情况，这时又如何来找EX的置信区间呢？一个很自然的想法，利用

49、DX的估计量即样本方差()22111niiSXXn=-来代替DX。设（X1，X2，Xn）来自正态母体，由第一章3 抽样分布定理 3.8 可知()1/XEXTt nSn-=-:因而 2/1/1XEXXEXTnSnSnn-=-故可由t分布表（参见本书附录表 3）()121tna-的数值，从而有对给定的及自由度，查出 121/XEXPtSnaa-=-即 ()1211SPXEXtnnaa-=-或 ()()1122111SSP XtnEXXtnnnaaa-+-=-（4.5）（4.5）的意义就是：EX包含在区间 ()()11221,1SSXtnXtnnnaa-+-内的概率是 1-，此区间就是EX的置信区间

50、。例例4.24.2 对某型号飞机的飞行速度进行了 15 次试验，测得最大飞行速度（米/秒）为 422.2，417.2，425.6，420.3，425.8，423.1，418.7，428.2，438.3，434.0，412.3，431.5，413.5，441.3，423.0。根据长期经验，可以认为最大飞行速度服从正态分布，试就上述试验数据对最大飞行速度的期望值EX进行区间估计（=0.05）解：用X表示最大飞行速度，因方差DX未知，用式（4.5）进行区间估计，具体计算如下：第二章 参数估计 54 ()111422.2417.2441.3423.0425.015niiXXn=+=L ()()()22