11第十一章 参数估计.doc

《11第十一章 参数估计.doc》由会员分享，可在线阅读，更多相关《11第十一章 参数估计.doc（23页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、第十一章 参数估计参数估计是统计推断的基本问题之一。这里主要介绍参数估计的两种方法，即点估计和区间估计。11.1点估计设为总体，若为连续型，具有密度函数；若为离散型，则假定有概率分布， ，这里的为未知参数。例如对正态总体，为未知参数，它的密度函数为。若总体服从二项分布，由于为试验次数，是已知的，因此的分布中只有为未知参数，其概率分布为。 那么，如何估计未知参数呢？以为例，为了估计，首先必须从中抽取样本，由大数定律知道，当很大时，以很大的概率与充分接近，因而自然地把样本均值作为总体均值的估计量。一般地，设是来自总体的样本，点估计问题就是要求构造统计量作为参数的估计，称这一统计量为的一个估计量，若

2、是的一组观察值，代入得到具体的数值，称它为的估计值。今后，估计量和估计值将不再强调它们的区别，在不至于引起混淆的场合将统称为估计。因此，为了估计未知参数，必须先构造合适的统计量，最常用的构造统计量的方法有两种：矩估计法和最大似然估计法，分别介绍如下。11.1.1矩估计法矩估计法是一种古老的统计方法，由英国统计学家K.Pearson于1894年提出，这一方法简单而且直观。对于连续型总体，它的阶原点矩为，若为离散型的，则。对于样本，其阶样本原点矩为，现在用样本矩作为总体矩的估计，即令，解这一含个未知参数的方程组，记其解为，称它们为的矩估计。矩估计法的理论依据是：由于是来自总体的简单随机样本，因而独

3、立同分布，从而，由大数定律，作为的算术平均依概率收敛到均值，即于是，对于充分大的，有，将“”改成“=”，这就是矩估计法依据的方程组。例1 设总体，为未知参数，为来自的简单随机样本，求的矩估计。解 易知令解这一方程组，得到和的矩估计为。不难看出，上述结论对所有总体都是成立的，即对一切均值为，方差为的总体，不管总体的具体形式如何，和的矩估计总是。例2 设总体，即具有概率密度，这里为未知参数，为抽自的简单随机样本，由于，令由此可解得和的矩估计为其中 。例 3 求事件发生概率的矩估计。解 记事件发生的概率为，定义随机变量则，对做次试验，观测到，则的矩估计为，这里为次试验中事件发生的次数，因而是次试验中

4、事件发生的频率。由此可见，频率是概率的矩估计。11.1.2最大似然估计法最大似然估计法最早由高斯（C.F.Gauss）提出，后来由费歇（R.A.Fisher）于1912年重新提出，并证明了这一方法的性质。最大似然估计法在理论上有优良的性质，是目前得到广泛应用的估计方法。下面我们结合例子来介绍最大似然估计的思想和方法。假设在一个罐中放着许多黑球和白球，并假定已知它们的数目之比为，但不知哪种颜色的球多。如果我们有放回地从罐中抽取个球，则其中的黑球数服从二项分布：，其中，由假定知道可能取或。现在根据样本中的黑球数，来估计未知参数，也就是说在和之间作一选择。对抽样的四种可能结果计算出相应的概率：012

5、3时的值时的值 表8-1从表1中可见，如果样本中的黑球数为0，那么具有的样本来自的总体的可能性比来自的总体的可能性大，这时应当估计为而不是。如果样本中黑球数为2，那么具有的样本来自的总体的可能性比来自的总体的可能性大，这时应当估计为而不是。从而可以选择估计量：，也就是说根据样本的具体情况来选择估计量，使得出现该样本的可能性最大。一般地，若总体具有概率密度，其中为未知参数，又设是样本的一组观察值，那么样本落在点的邻域内的概率为，它是的函数。最大似然估计的直观想法是：既然在一次试验中得到了观察值，那么我们认为样本落入该观察值的邻域内这一事件应具有最大的可能性，所以应选取使这一概率达到最大的参数值作

6、为参数真值的估计。记,称它为似然函数 。对于固定的，记，选取，使得，则称为的一个最大似然估计值 。若总体是离散型的，则似然函数为,其中为总体的概率分布。求的最大似然估计就是求似然函数的最大值点的问题。若对（）的偏导数存在，由微积分知识，最大似然估计应满足方程组 ， （1）称（1）为似然方程组。由于在许多情况下，求的最大值点比较简单，而且是的严格增函数，因此在对（）的偏导数存在的情况下，可由 ， （2）求得。称（2）为对数似然方程组。解这一方程组，若的驻点唯一，又能验证它是一个极大值点，则它必是的最大值点，即为所求的最大似然估计。但若驻点不唯一，则需进一步判断哪一个为最大值点。还需指出的是，若对

7、（）的偏导数不存在，则我们无法得到方程组（8-2），这时必须根据最大似然估计的定义直接求的最大值点。有时我们需要估计，如果分别是的最大似然估计，且为连续函数，则是的最大似然估计。例4 设总体，未知，为来自的样本，求和的最大似然估计。解 似然函数为它的对数为，解对数似然方程组：可得由于对数似然方程组有唯一解，且它一定是最大值点，于是和的最大似然估计为。这里我们用大写字母表示所涉及的样本，这是因为在最大似然估计中，均为统计量。以下均作同样的处理。例5 设总体服从参数为的普阿松分布，概率分布为：，为未知参数。为来自的样本，求的最大似然估计。解 似然函数为，对数似然方程为，解得，由于，故似然函数在处达

8、到最大值，从而的最大似然估计为。例6 求事件发生的概率的最大似然估计。解 若事件发生的概率，定义随机变量，则，其概率分布为。设为抽自的样本，则似然函数为,由对数似然方程,解得。注意到，容易验证在处取负值，于是是的最大值点，因而的最大似然估计为。于是我们有结论：频率是概率的最大似然估计。例7 设总体，为抽自的样本，求未知参数的最大似然估计。解 由于的密度函数为，因此似然函数为。显然，作为的二元函数，是不连续的。这时我们不能用方程组（8-2）来求最大似然估计，而必须从最大似然估计的定义出发来求的最大值点。为使达到最大，应尽量地小，但又不能小于，否则；类似地，又不能大于。因此的最大似然估计为， 。1

9、1.2估计的优良性准则同一个未知参数，可以有几种不同的估计，这时就存在采用哪一种估计的问题。另一方面，对同一个参数，用矩估计法和最大似然估计法，即使得到同一个估计，也存在衡量该估计量优劣的问题。设为未知参数，是的估计，直观上讲，与越接近越好，为了度量与的接近程度，我们可以采用作为衡量的标准，但由于依赖于样本，它本身是随机变量，而又是未知的，因此很难采用。下面我们从不同的角度，提出几种衡量估计优劣的标准。11.2.1一致性定义1 设是总体分布的未知参数的估计量，若依概率收敛于，即对任意的，则称是的一致估计。满足一致性的估计量，当样本容量不断增大时，观察值能越来越接近参数真值。这很容易理解，当样本

10、容量越大时，信息越多，当然估计就越准确。由大数定律知，样本均值是总体均值（即）的一致估计。还有，样本修正方差是总体方差（即）的一致估计。例8 若总体服从正态分布，是来自总体的容量为的样本，则由大数定律知，依概率收敛于，即 也即未知参数的最大似然估计或矩估计是的一致估计。例9 若总体服从普阿松分布，是从总体中抽取的容量为的样本，且，则依概率收敛于，故未知参数的最大似然估计或矩估计是的一致估计。例10 若总体服从0-1分布，是从中抽取的容量为的样本，则依概率收敛于，故未知参数的最大似然估计或矩估计是的一致估计。11.2.2无偏性设为总体分布的未知参数，是的一个估计，它是一个统计量。对于不同的样本，

11、取不同的值。定义2 如果的均值等于未知参数，即 对一切可能的成立 （3）则称为的无偏估计 。无偏估计的意义是：用去估计未知参数，有时候可能偏高，有时候可能偏低，但是平均说来等于未知参数。在（3）式中，对一切可能的，是指在每个具体的参数估计问题中，参数取值范围内的一切可能的值。例如，若是正态总体的均值，那么它的一切可能取值范围是。若是方差，则它的取值范围为。我们之所以要求（3）对一切可能的都成立，是因为在参数估计中，我们并不知道参数的真值。因此，当我们要求一个估计量具有无偏性时，自然要求它在参数的一切可能取值范围内处处都是无偏的。例11 设是抽自均值为的总体的样本，考虑的如下估计量：因为，容易验

12、证，所以都是的的无偏估计，但是都不是的的无偏估计。对于任一总体，由于，所以是的的无偏估计，但由于，故不是总体方差的无偏估计，而修正的样本方差是总体方差的无偏估计。若是的估计，为的实函数，通常我们总是用去估计，但是值得注意的是，即使，也不一定有。例12 修正样本方差的标准差不是总体标准差的无偏估计。事实上，由于，从而，即不是的无偏估计。若的估计不是无偏的，但当时，则称是的渐近无偏估计。显然，样本方差是总体方差的一个渐近无偏估计。无偏性对估计量而言是很基本的要求，它的直观意义是没有系统误差。由例11知，对于一个未知参数，它的无偏估计可以不止一个。那么，怎么来比较它们的好坏呢？我们很自然地想到，一个

13、好的估计量应该方差比较小，只有这样才能得到比较稳定的估计值。11.2.3有效性定义3 设和均为参数的无偏估计，如果，则称较有效 。当是所有无偏估计中方差最小时，称为最小方差无偏估计。例13 设是来自总体的容量为的样本，证明总体均值 （即）的估计量比有效，其中且。证明 由于 ，所以均是的无偏估计。又 ，从而 ，所以比有效。 由例13和一致性知，样本均值是总体均值（即）的一致最小方差无偏估计。同样还可以证明，样本修正方差是总体方差（即）的一致最小方差无偏估计。11.3参数的区间估计用点估计来估计总体的未知参数，一旦我们获得了样本观察值，将它代入，即可得到的一个估计值。这很直观，也很便于使用。但是，

14、点估计值只提供了的一个近似值，并没有反映这种近似的精确度。同时，由于本身是未知的，我们也无从知道这种估计的误差大小。因此，我们希望估计出一个真实参数所在的范围，并希望知道这个范围以多大的概率包含参数真值，这就是参数的区间估计问题。定义4：设是来自总体的样本，为总体分布中的未知参数，和为两个统计量，对给定的，若 （4）则称为的置信度为的置信区间 ，称为置信下限，称为置信上限。一般取较小的值，如，等，称为显著性水平 。值得注意的是，置信区间是一个随机区间，对于给定的样本，可能包含未知参数，也可能不包含。但（4）表明，在重复取样下，将得到许多不同的区间，根据贝努利大数定律，这些区间中大约有的区间包含

15、未知参数。置信度表示区间估计的可靠度，置信度越接近于1越好。区间长度则表示估计的范围，即估计的精度，区间长度越短越好。当然，置信度和区间长度是相互矛盾的。在实际问题中，我们总是在保证可靠度的前提下，尽可能地提高精度。因此区间估计的问题，就是在给定值的情况下，利用样本去求两个估计量和的问题。11.3.1单个正态总体参数的区间估计设总体，为来自的样本。11.3.1.1已知时，求的置信区间令。我们知道，为的一个点估计，由抽样分布定理知，随机变量，其中记为的分布函数。对于给定的显著性水平，我们要找和，使 。对上式作等价变换得 ，即 。 （5）一般说来，我们自然取最短的那个置信区间，如果所取的统计量象那

16、样，密度函数为单峰且对称的情形，满足 的区间最短，即此时置信区间也最短。因此，有 ， ，即 ， ， （6）这样，我们就得到了的置信度为的置信区间为。 （7）其中，由知， ， ， ，也即满足 。 以上是求置信区间的一般方法，也适用其他参数求解置信区间。 如果，我们将（6）式的代入（5）式，便得 ， 即 。 （8） 为了方便，以后我们只要从（8）式，求置信区间即可。 例如，（8）式等价，这样，同样可以得到置信区间（7）式。11.3.1.2未知时，求的置信区间由于未知，我们用的一致最小方差无偏估计来代替，其中，考虑随机变量，由抽样分布定理知道，于是，对于给定的显著性水平，有，满足，即， 等价地，从而

17、的置信度为的置信区间为。 （9）11.3.1.3求的置信区间考虑随机变量，由抽样分布定理，因此，对于给定的显著性水平，存在，使 。由于分布的密度函数图形是不对称的，要找区间长度最短的比较麻烦，所以我们仍取两边的概率为，这样做误差不大。此时，取，查自由度为的分布表，可得和，满足， 于是，亦即，从而的置信度为的置信区间为 。 （10）例8-16 从某超市的货架上随机地抽得9包千克装的食糖，实测其重量分别为（单位：千克）：，从长期的实践中知道，该品牌的食糖重量服从正态分布，（1）已知，求的的置信区间；（2）未知，求的的置信区间；（3）求的的置信区间。解（1）样本容量，经计算不难得到，对于显著性水平，

18、查标准正态分布表，可得，于是由（7）式，的的置信区间为。 （2）已知，直接计算可得，对于显著性水平，查自由度为的分布表，可得，从而由（9）式，的的置信区间为 （3）对于，查表，得，由（10）式，的的置信区间为。11.3.2两个正态总体参数的区间估计两个正态总体参数的区间估计通常用于对两个总体的比较，包括均值的比较和方差的比较。设总体，和为分别抽自和的相互独立的样本，记11.3.2.1当和已知时，求的置信区间由于，且和相互独立，所以，标准化后得到，由，可得到的置信度为的置信区间为。 （11）11.3.2.2当，但未知时，求的置信区间由抽样分布定理知道，由，可得到的置信度为置信区间为。 （12）1

19、1.3.2.3求的置信区间由于，且两者相互独立，所以，对于给定的，由于分布的密度函数图形也是不对称的，和分布一样处理，可得和，使得其中和满足， 于是的置信度为置信区间为， （13）注意到，从而（13）式可进一步表示为。 （14）待估参数条 件置信区间对应的分布单个总体未知两个总体已知但未知单个总体两个总体表8-2 正态总体参数的置信区间11.3.3非正态总体参数的区间估计11.3.3.1大样本情形下，一般总体均值的置信区间前面讨论的区间估计都是在正态总体的假定下进行的，如果除去这一假定，通常很难得到有关随机变量的精确分布。但由中心极限定理，当样本容量较大时，我们能得到随机变量的近似分布，从而能

20、确定近似的置信区间。由于采用这种办法时，要求样本较大，因此这种方法称为大样本方法。设总体的均值为，方差为，从中抽取样本，由于独立同分布，由中心极限定理，当充分大时，近似服从于。所以对于给定的，若已知，那么当充分大时，可近似地取 （15）为的置信度为的置信区间。如果未知，用代替，从而可近似地取 （16）为的置信度为的置信区间。（15）和（16）式均要求很大，那么究竟应该多大呢？许多应用实践表明，通常情况下，当时，近似程度是可以接受的。11.3.2.2概率的区间估计若事件发生的概率为，现进行次重复独立试验，以表示事件发生的次数，求的置信区间。由中心极限定理，当充分大时，近似服从，从而对给定的，近似

21、地有，即。这样得出的置信区间还含有未知参数，在实际应用中，可以用它的估计代入，因此在这种情况下，可近似地将 （17）作为概率的置信度为的置信区间。11.3.4单边置信区间上述讨论的置信区间估计都是双边的，而在许多实际问题中，并不需要作双边估计，只需估计单边的置信下限或置信上限，即要求形如或的置信区间，这种估计称为单边置信区间估计。例如对于电子元件的寿命，我们只通常关心下限。作单边置信区间估计，其方法和计算与双边置信区间估计十分相似。例如，设总体，已知，为来自的样本，求的单边置信下限。即求，使其满足 。，由于，且对于给定的，可得，使得， ，即 ， 。从而的置信度为的单边置信区间为。其余情况类似处理，不再一一推导。23