《最小方差无偏估计UMVUE.pptx》由会员分享，可在线阅读，更多相关《最小方差无偏估计UMVUE.pptx（21页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、注:定理2表明:若无偏估计不是充分统计量的函数,则将之对充分统计量求条件期望可得一个新的无偏估计,且它为充分统计量的函数且方差会减小.即,考虑点估计只需在充分统计量的函数中进行,这就是 充分性原则.令=p2 ,则为的无偏估计.因为 是充分统计量,由定理2,从而可令可得故 为的无偏估计.且例例1.1.设为来自b(1,p)的样本,求p2的U.E为p 的充分统计量解：前已求过:进一步改进：第1页/共21页二、最小方差无偏估计二、最小方差无偏估计定义定义:注：注：一致最小方差无偏估计是一种最优估计一致最小方差无偏估计是一种最优估计.由定理由定理2,只要它存在只要它存在.它一定是充分统计量的函数它一定是
2、充分统计量的函数.一般地一般地,若依赖若依赖于充分统计量的无偏估计只有一个于充分统计量的无偏估计只有一个,它一定是它一定是UMVUE.Problem：无偏估计的方差是否可以任意小无偏估计的方差是否可以任意小?如果不能任意小如果不能任意小,那么它的下界是什么那么它的下界是什么?第2页/共21页是总体是总体X的样本的样本,定理定理3:(UMVUE准则准则)设设如果对任一个满足如果对任一个满足 是是的任一无偏估计的任一无偏估计,例例2:2:设为来自Exp(1/)的样本,则为 的充分统计量,证明:为的UMVUE.反之亦成立.第3页/共21页1 1、Fisher信息量的定义.三、罗三、罗-克拉美（克拉美
3、（CramerRao）不等式）不等式(1)(1)是实数轴上的一个开区间;设总体X 的概率函数为p(x;),且满足条件:正则条件第4页/共21页(1)(1)I()越大,总体分布中包含未知参数的信息越多。例3:3:设总体为Poisson分布，即注：注：例4:4:设总体为指数分布Exp(1/)，即(2)I()的另一表达式为的另一表达式为第5页/共21页注：注：常见分布的信息量常见分布的信息量 I()公式公式 两点分布两点分布X b(1,p)b(1,p)泊松分布泊松分布 指数分布指数分布正态分布正态分布第6页/共21页 设总体X 的概率函数为p(x;),满足上面定义中的条件；x1,.,xn 是来自总体
4、X的一个样本,T(x1,.,xn)是g()的一个无偏估计.2、定理、定理4(Cramer-Rao不等式不等式):的微分可在积分号下进行，即则有 特别地对的无偏估计有上述不等式的右端称为C-R下界,I()为Fisher信息量.第7页/共21页注注:(1)定理对离散型总体也适用定理对离散型总体也适用.只需改积分号为求和号。只需改积分号为求和号。(2)在定理在定理4条件下条件下,若若g()的无偏估计量的无偏估计量T 的方差的方差VarT达到下界达到下界,则则T必为必为g()的最小方差无偏估计的最小方差无偏估计.但但是它不一定存在是它不一定存在,也就是说也就是说,C-R不等式有时给出不等式有时给出的下
5、界过小的下界过小.(3)当等号成立时,T 为达到方差下界的无偏估计,此时称T 为g()的有效估计。有效估计一定是UMVUE.（反之不真）第8页/共21页3.有效估计定义定义:定义定义:注注:第9页/共21页综上综上,求证求证T是是g()的有效估计的步骤为的有效估计的步骤为:第10页/共21页例例5.5.设总体 XExp(1/),密度函数为为 X 的一个样本值.求 的最大似然估计量,并判断它是否为达到方差下界的无偏估计,即有效估计.为参数解解:由似然函数第11页/共21页经检验知 的最大似然估计为所以它是 的无偏估计量,且而故 是达到方差下界的无偏估计.第12页/共21页第13页/共21页所以C
6、-R下界为第14页/共21页第15页/共21页例例8.设设x1,.xn 为取自总体为正态分布为取自总体为正态分布N(,2)的样本的样本,验证验证 因此因此,是的有效估计.解：解：已证过已证过 为为U.E,下求下求的的C-R下界下界,由于由于而而 的的C-R下界为下界为是是 的有效估计的有效估计因此因此第16页/共21页 因此因此:解解:由于由于 所以所以2的的C-R下界为下界为:例例9.(接前例接前例)设设x1,.xn 取自正态分布总体取自正态分布总体N(,2),若若未知，讨论未知，讨论2的无偏估计的无偏估计是否为有效估计是否为有效估计.第17页/共21页由于由于 其期望为其期望为n-1,方差
7、为方差为2(n-1）所以所以 即即不是不是 2的有效估计，但为的有效估计，但为 2 2的的渐近有效估计渐近有效估计.,而而2的的C-R下界为下界为 注注1:由由P308第四题知第四题知 其方差大于其方差大于C-R下界下界,即有时即有时C-R下界过小下界过小.是是 2的的UMVUE.UMVUE.2:若已知,此时 为2 2的有效估计.第18页/共21页注注3对于对于 的的C-R下界为下界为:当已知当已知=0时时,易证易证的无偏估计为的无偏估计为可证可证,这是这是的的UMVUE,其方差大于其方差大于C-R下界下界.因此所有因此所有的无偏估计的方差都大于其的无偏估计的方差都大于其C-R下界下界,即即C-R下界过小下界过小.(P307)第19页/共21页4.最大似然估计的渐近正态性定理定理(略略)在总体的分布满足一定条件(P307)的情况下,存在具有相合性和渐近正态性的最大似然估计 ,且 即,最大似然估计通常是渐近正态的,且其渐近方差有一个统一的形式并主要依赖于Fisher信息量.例例10:设设x1,.xn 为取自总体为正态分布为取自总体为正态分布N(,2),(1)在在2已知时已知时,求求的的MLE 的近似分布的近似分布.(2)若若已知，讨论已知，讨论2的的MLE 的渐近分布的渐近分布.第20页/共21页感谢您的观看！第21页/共21页