估计量的评选标准ppt课件.ppt

《估计量的评选标准ppt课件.ppt》由会员分享，可在线阅读，更多相关《估计量的评选标准ppt课件.ppt（48页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、7.3 点估计的评价标准点估计的评价标准 对于同一个未知参数对于同一个未知参数, , 不同的方法得到的估不同的方法得到的估计量可能不同计量可能不同, ,于是提出问题于是提出问题应该选用哪一种估计量应该选用哪一种估计量? ?用什么标准来评价一个估计量的好坏用什么标准来评价一个估计量的好坏? ?常用常用标准标准(3) 相合性相合性(2) 有效性有效性(1) 无偏性无偏性)(E 定义定义 设设 是总体是总体X X 的样本的样本),(21nXXX是是总体参数总体参数 的估计量的估计量),(21nXXX则称则称是是 的的无偏估计量，无偏估计量，否则称为否则称为有偏估计。有偏估计。 存在存在, ,)(E都

2、有都有且对于任意且对于任意1、无偏性、无偏性),(21nXXX是总体是总体X 的样本的样本,例例1 设总体设总体X 的的 k 阶矩阶矩)(kkXE存在存在证明证明: 不论不论 X 服从什么分布服从什么分布,nikikXnA11是是k的无偏估计量。的无偏估计量。无偏性的实际意义是指没有系统性的偏差 .证证nikinikikXEnXnEAE11)(1)1()(因而因而niXEkki, 2 , 1)(由于由于kknn1特别地特别地, 样本均值样本均值X是是总体期望总体期望 E( X ) 的无偏估计量的无偏估计量样本二阶原点矩样本二阶原点矩niiXnA1221 是是总体二阶总体二阶原点矩原点矩)(22

3、XE的无偏估计量。的无偏估计量。例例2 设总体设总体 X 的期望的期望 E( X )与方差与方差 D( X )存在存在, ),(21nXXX是是 X 的一个样本的一个样本, n 1， (1) 不是不是 D( X ) 的无偏估计量的无偏估计量; niiXXnS122*)(1(2) 是是 D( X ) 的无偏估计量。的无偏估计量。 niiXXnS122)(11证证212121)(1XXnXXnniinii证明：证明：2)()(,)()(XDXDXEXEiinXDXEXE2)(,)()()()(1)(121212XEXEnXXnEniinii)()(2222n221nn故故 证毕。证毕。212)(1

4、1niiXXnE例例3 设总体设总体 X 的密度函数为的密度函数为00, 01);(xxexfx0为常数为常数),(21nXXX为为 X 的一个样本。的一个样本。证明证明X与与,min21nXXXn都是都是的无偏的无偏估计量，估计量，证证 )(,1XEEX)()(XEXE故故是是 的无偏估计量。的无偏估计量。X令令,min21nXXXZ),(1)(21zXzXzXPzFnZ000)(zenzzfnzZ即即nZEnEZ)(0100zeznz)(nZE故故nZ 是是 的无偏估计量。的无偏估计量。)()()(121zXPzXPzXPnniizXP1)(1 (1.),max(12, 0,0, 2121

5、的无偏估计都是和的样本，试证明是来自总体参数上服从均匀分布在设总体nnXXXnnXXXXXX证证)(2)2(XEXE 因为因为)(2XE ,22 . 2的无偏估计量的无偏估计量是是所以所以 X的概率密度为的概率密度为因为因为),max( 21nhXXXX 其他其他, 0,0,)(1 xnxxfnn例例4xnxxXEnnhd)(01 所以所以,1 nn,1 hXnnE故有故有.),max(121的无偏估计量的无偏估计量也是也是故故 nXXXnn ),(2111nXXX都是总体参数都是总体参数 的无偏估计量的无偏估计量, 12()()VarVar则称则称12比比更有效。更有效。定义定义设设),(2

6、122nXXX2、有效性、有效性且至少有一个且至少有一个 使得上述不等号严格成立使得上述不等号严格成立,例5 设 x1, x2 , , xn 是取自某总体的样本，记总体均值为 ，总体方差为 2，则 , , 都是 的无偏估计，但 显然，只要 n1， 比 有效。这表明用全部数据的平均估计总体均值要比只使用部分数据更有效。 11x2x2212Var(),Var()/n21所以所以,X比比,min21nXXXn更有效。更有效。是是 的无偏估计量的无偏估计量,问哪个估计量更有效？问哪个估计量更有效？ 由前面例子由前面例子 可知可知, 都都X与与,min21nXXXn00, 01);(xxexfx0为常数

7、为常数例例6 设设 密度函数为密度函数为),(21nXXX为为 X 的一个样本的一个样本,221),min(nXXXnD,)(2nXD解解例例7 设总体期望为设总体期望为 E( X )= , 方差方差 D( X )= 2 ),(21nXXX为总体为总体X 的一个样本。的一个样本。(1)设常数设常数. 11niic., 2 , 11ninci证明证明iniiXc11是是 的无偏估计量的无偏估计量(2) 证明证明X比比iniiXc11更有效更有效(2) niiiniicXc122121)(var)var(结论结论算术均值比其他加权均值更有效. .证证: (1) niiiniicXEcE111)()

8、() ()var(21Varn利用柯西不等式利用柯西不等式211212niiiniiniibabancccniiniininii111112211212有有例如例如 X N( , 2 ) , ( X 1 ,X 2 ) 是一样本。是一样本。213212211212143413132XXXXXX都是都是 的无偏估计量的无偏估计量由例由例7 (2) 知知3最有效。最有效。估计量。若对于任意的估计量。若对于任意的 ，当当n 时时, 定义定义 设设 是总体参数是总体参数 的的则称则称是总体参数是总体参数 的相合估计量。的相合估计量。依概依概率收敛于率收敛于 , 即即, 0 相合相合估计量仅在样本容量估计

9、量仅在样本容量n 足够大，才显足够大，才显示其优越性。示其优越性。 3、相合性、相合性),(21nXXX0)(limPn关于关于相合相合性的常用结论性的常用结论样本样本 k 阶矩是总体阶矩是总体 k 阶矩的阶矩的相合相合估计。估计。由大数定律证明由大数定律证明矩法得到的估计量一般为矩法得到的估计量一般为相合相合估计量估计量在一定条件下在一定条件下, 极大似然估计具有极大似然估计具有相合相合性性附附 录录 1、相合性的相关定理。、相合性的相关定理。 2 2、估计的评选标准、估计的评选标准-均方误差均方误差。 3 3、其他举例。、其他举例。1 相合性 我们知道，点估计是一个统计量，因此它是一个随机

10、变量，在样本量一定的条件下，我们不可能要求它完全等同于参数的真实取值。但如果我们有足够的观测值，根据格里纹科定理，随着样本量的不断增大，经验分布函数逼近真实分布函数，因此完全可以要求估计量随着样本量的不断增大而逼近参数真值，这就是相合性，严格定义如下。 定义 设 为未知参数， 是 的一个估计量，n 是样本容量，若对任何一个0，有 (1) 则称 为 参数的相合估计。 1( ,)nnnxxlim(|)0nnPn 若把依赖于样本量n的估计量 看作一个随机变量序列,相合性就是 依概率收敛于 ,所以证明估计的相合性可应用依概率收敛的性质及各种大数定律。nn 相合性被认为是对估计的一个最基本要求, 如果一

11、个估计量, 在样本量不断增大时，它都不能把被估参数估计到任意指定的精度, 那么这个估计是很值得怀疑的。 通常, 不满足相合性要求的估计一般不予考虑。证明估计的相合性一般可应用大数定律或直接由定义来证.在判断估计的相合性时下述两个定理是很有用的。定理1 设 是 的一个估计量，若 则 是 的相合估计，1(,)nnnxxlim(),lim()0nnnnEVarn1,nnk1(,)nnnkg定理2 若 分别是1, , k 的相合估 计， =g(1 , , k) 是1, , k 的连续函数，则 是 的相合估计。例例100, 01);(xxexfXx0为常数为常数 则则 是是 的相合估计。的相合估计。X证

12、明：证明： 经过简单计算可得经过简单计算可得2,().EXVar Xn于是于是)(limXDn0lim2nn所以所以 是是 的相合估计量，证毕。的相合估计量，证毕。X . 1 11 , :2122122估估计计量量的的相相合合都都是是总总体体方方差差中中心心矩矩及及样样本本的的二二阶阶样样本本方方差差量量的的相相合合估估计计是是总总体体均均值值样样本本均均值值试试证证 niiniiXXnBXXnSX证明证明由大数定律知由大数定律知, , 0 , 11lim 1 niinXnP有有. 1 1的相合估计量的相合估计量是是所以所以 niiXnX例例2 niiXXnB122)(1 又又 niiiXXX

13、Xn122)2(1 niiXXn1221,22XA )(2是样本二阶原点矩A由大数定律知由大数定律知, , )(12122XEXnAnii依概率收敛于依概率收敛于 , )(11XEXnXnii依概率收敛于依概率收敛于 222 XAB 故故 )()(22XEXE 依概率收敛于依概率收敛于,2 . 22的相合估计量的相合估计量是是所以所以 B , 11lim nnn又又 . 1 222的相合估计量的相合估计量也是也是所以所以 BnnS 例例3 3 设设 是来自均匀总体是来自均匀总体U U（0 0，）的）的样本，证明样本，证明的极大似然估计是相合估计。的极大似然估计是相合估计。nxxx,21证明证明

14、 在前面我们已经给出在前面我们已经给出的极大似然估的极大似然估计是计是x x（n n）。由次序统计量的分布，我们知道。由次序统计量的分布，我们知道 的分布密度为的分布密度为 。 )(0)2() 1()1(2)Var(2/ 1/ 222202120nnnnnnnnnndynyEnndynyEnnnn故有故有)(nxynyypnn,/)(1 由定理由定理1可知可知x（n）是是的相合估计。的相合估计。定理定理2 若若 分别是分别是 的相合估计，的相合估计， 是是 连续函连续函数，则数，则 有有 是是 的相合估计。的相合估计。, ,2121knknn ),(21nknnngkkg, ),(2121 由

15、大数定律及定理2，我们可以看到： 矩估计一般都具有相合性。比如： 样本均值是总体均值的相合估计； 样本标准差是总体标准差的相合估计； 样本变异系数是总体变异系数的相合估计。又由又由 的相合性，对给定的的相合性，对给定的 ，对，对任意的任意的 存在正整数存在正整数N N，使得，使得 时时 证明证明 由函数由函数 的连续性，对任意给定的连续性，对任意给定的的 ，存在一个，存在一个 ，当，当 | ),g(-),(|2121kkgg00, 1,|kjjjnknn,210Nn , 1 ,/)|(|kjkpjj时有，时有，从而有从而有1/1 )|(|1 )|(1)|(111kkpppjnjkjjnjkjj

16、njkj1njnjkj1)|(|np由由 的任意性，定理得证。的任意性，定理得证。根据上述的式子，根据上述的式子，故有故有例例4 设一个试验有三种可能结果，其发生概率设一个试验有三种可能结果，其发生概率分别是分别是 ， 现做了现做了n次试验，观测到三种结果发生的次数分别为次试验，观测到三种结果发生的次数分别为n1，n2，n3，可以采用频率替换方法估计，可以采用频率替换方法估计。由于可。由于可以有三个不同的以有三个不同的的表达式：的表达式：从而可以给出从而可以给出的三种不同的频率替换估计，分的三种不同的频率替换估计，分别是别是 。 分别是分别是p1 ，p2 ，p3相合估计。相合估计。23221)

17、1 (),1 (2,ppp2/,1,2131ppppnnnnnnn/ )2/(,/1,/2133211321,2 2、估计的评选标准、估计的评选标准-均方误差均方误差 对于两个无偏估计，我们可以通过比较它们的对于两个无偏估计，我们可以通过比较它们的方差来比较哪个更好，但对有偏估计来讲，比较方差来比较哪个更好，但对有偏估计来讲，比较方差意义不大，我们关心的是估计值围绕真值波方差意义不大，我们关心的是估计值围绕真值波动的大小，因而引入均方误差准则。动的大小，因而引入均方误差准则。 设设 是是 的的估计量估计量. .称称 为为 的的均方误差均方误差. .注意到：注意到： 2)()( EMSE定义定义

18、 无偏估计不一定比有偏估计更优。 评价一个点估计的好坏一般可以用：点估计值 与参数真值 的距离平方的期望，这就是下式给出的均方误差 均方误差是评价点估计的最一般的标准。我们希望估计的均方误差越小越好。 2()()MSEE 注意到 ，因此 (1) 若 是 的无偏估计，则 ， 这说明用方差考察无偏估计有效性是合理的。 (2) 当 不是 的无偏估计时，就要看其均方 误差 。 下面的例子说明：在均方误差的含义下有些有偏 估计优于无偏估计。 2( )Var( )()MSEE( )MSE( )Var( )MSE例1 对均匀总体U(0, )，由 的极大似然估计得到的无偏估计是 ，它的均方误差 现我们考虑的形

19、如 的估计，其均方差为 用求导的方法不难求出当 时上述均方误差达到最小，且其均方误差 所以在均方误差的标准下，有偏估计 优于无偏估计 。 ( )(1)/nnxn2( )Var( )(2)MSEn n( )nx22222()1(1) (2)1nnMSEnnn0(2)/(1)nn2202()( )(1)(2)MSEMSEnn n0 因此，均方误差由点估计的方差与偏差的平因此，均方误差由点估计的方差与偏差的平方两部分组成。如果估计是无偏估计，则此时用方两部分组成。如果估计是无偏估计，则此时用均方误差评价点估计与用方差是完全一样的，这均方误差评价点估计与用方差是完全一样的，这也说明了用方差考察无偏估计

20、有效性是合理的。也说明了用方差考察无偏估计有效性是合理的。当估计不是无偏估计时，就要看其均方误差，即当估计不是无偏估计时，就要看其均方误差，即不仅要看其方差大小，还要看偏差大小。不仅要看其方差大小，还要看偏差大小。2222)()( )(2)()( )()()(EVarEEEEEEEEEMSE例例2 2 设设 总体总体 , , 为为样本样本. .则作为则作为方差方差 的的估计量估计量, , 的的均方误差均方误差为为 的的均方均方 误差误差为为 . . 则则 的的均方误差均方误差比比 的小的小. . niXXnm122)(1 而而 的的均方误差均方误差是是 证：证： 易知易知 由本例可知，从无偏性

21、角度考察，用由本例可知，从无偏性角度考察，用 估计估计方差是好的，但从均方意义上讲用方差是好的，但从均方意义上讲用 估计方估计方差更好。它们从不同侧面去考察估计量的好坏，差更好。它们从不同侧面去考察估计量的好坏，至于具体采用什么估计则需要根据实际问题来至于具体采用什么估计则需要根据实际问题来定。定。的均方误差是的均方误差是例例3 3 前面我们已经指出对均匀总体前面我们已经指出对均匀总体 ，由，由的最大似然估计得到的无偏估计是的最大似然估计得到的无偏估计是 ，它的均方误差它的均方误差 。)2(/)()(2nnVarMSE22222)(22)()() 1/()2() 1/( ) 1/()( )()

22、()(nnnnnnnxVarExxVarMSEnnn)(nx现在我们考虑现在我们考虑的形如的形如 的估计，的估计，其均方误差为其均方误差为nxnn/) 1()(), 0(U用求导的方法不难求得当用求导的方法不难求得当 上述均方上述均方误差达到最小误差达到最小, ,且且 这表明这表明 虽是虽是的有的有偏估计，但其均方误差偏估计，但其均方误差 ) 1/()2(0nn)(022)(12 , ) 1()12(nnxnnnxnnMSE)()2() 1()(2220MSEnnnMSE有偏估计有偏估计 优与无偏估计优与无偏估计 。 0所以在均方误差的标准下，所以在均方误差的标准下，最小方差无偏估计 Rao-

23、Blackwell定理 以下定理说明：好的无偏估计都是充分统计量的函数。 定理 设总体概率函数是 p(x, )， x1, x2 , , xn 是其样本，T=T(x1, x2 , , xn )是 的充分统计量，则 对 的任一无偏估计 ，令 ， 则 也是 的无偏估计，且 1( ,)nxx( | )ETVar( )Var( ) 定理说明：如果无偏估计不是充分统计 量的函数，则将之对充分统计量求条件期 望可以得到一个新的无偏估计，该估计的 方差比原来的估计的方差要小，从而降低 了无偏估计的方差。换言之，考虑 的估 计问题只需要在基于充分统计量的函数中 进行即可，该说法对所有的统计推断问题 都是正确的，

24、这便是所谓的充分性原则。 例 设 x1, x2 , , xn 是来自b(1, p)的样本，则 是p 的充分统计量。为估计 =p2，可令 由于 ，所以 是 的无偏估计。这个只使用了两个观测值的估计并不好.下面我们用Rao-Blackwell定理对之加以改进：求 关于充分统计量 的条件期望，得Tnx12111,10 xx， 其它112( )(1,1)EP xxp p 111niiTx12(1)(|)/2(1)nnt tETtttn n 定义 对参数估计问题，设 是 的一个无 偏估计，如果对另外任意一个 的无偏估计 ， 在参数空间上都有 则称 是 的一致最小方差无偏估计，简记为 UMVUE。如果UM

25、VUE存在，则它一定是充分统计量的函数。Var ( )Var ( ) 定理 设 x=(x1, x2 , , xn) 是来自某总体的一个样本， 是 的一个无偏估计， 如果对任意一个满足E(x)=0的(x)，都有 则 是 的UMVUE。()xVar( ). Cov ( , )0, 关于UMVUE，有如下一个判断准则。 例 设 x1,x2 ,xn 是来自指数分布Exp(1/ )的样本，则T = x1+xn 是 的充分统计量，而 是 的无偏估计。设 =(x1 , x2 , , xn)是0的任一无偏估计，则 两端对 求导得 这说明 ，从而 ，由定理6.3.3，它是 的UMVUE。 /xT n()/110

26、0( ,)dd0inxxnnxxexx ()/11200( ,)dd0inxxnnnxxxexx ()0E xCov( , )()( )( )0 xE xE xE证明证明)(4)( 1XDD 由于由于,3)(42nXDn hXnnDD1)( 2 ,12hXDnn ,1)( nnXEh 又因为又因为例例1 1 . ,2, ,max12122121有效有效较较时时现证当现证当计量计量的无偏估的无偏估都是都是和和中已证明中已证明在无偏性的例在无偏性的例4 4 nXXXnnXn3 3、其他举例。、其他举例。xxnXEnnhd)(102 ,22 nn22)()()(hhhXEXEXD ,)2()1(22 nnn,)2(1)( 22 nnD故故 ),()( , 212 DDn 所以所以又又 .12有效有效较较 例2 均匀总体U(0, )中 的极大似然估计是x(n)，由于 ，所以x(n)不是 的无偏估计，而是 的渐近无偏估计。经过修偏后可以得到的一个无偏估计： 。且 另一方面，由矩法我们可以得到 的另一个无偏估计 ，且 由此，当n1时， 比 有效。( )1nnExn1( )1nnxn22221( )211Var( )Var()(1) (2)(2)nnnnxnnnnn n22x22244Var()4Var( )Var()123xXnnn12