数理统计 第七章-参数估计.ppt

《数理统计 第七章-参数估计.ppt》由会员分享，可在线阅读，更多相关《数理统计 第七章-参数估计.ppt（111页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、 第七章 参数估计休息休息结束结束参数估计参数估计现在我们来介绍一类重要的统计推现在我们来介绍一类重要的统计推断问题断问题 ：在参数估计问题中，假定总体分在参数估计问题中，假定总体分布形式已知，未知的仅仅是一个或几布形式已知，未知的仅仅是一个或几个个参数参数。休息休息结束结束例如：估计废品率估计废品率估计年平均降雨量估计年平均降雨量休息休息结束结束估计大学生的平均身高估计大学生的平均身高休息休息结束结束参数估计问题的一般提法参数估计问题的一般提法设有一个统计总体，总体的分布函数为设有一个统计总体，总体的分布函数为 F(x,)，其中，其中为未知参数为未知参数(可以是向量可以是向量).现从该总体抽

2、样，得样本：现从该总体抽样，得样本：（X1,X2,Xn）要依据该样本对参数要依据该样本对参数作出估计，或估计作出估计，或估计的某个已知函数的某个已知函数 g()。这类问题称为：。这类问题称为：参数估计参数估计休息休息结束结束参数估计点估计区间估计休息休息结束结束例例1 已知某地区已知某地区大学生的身高大学生的身高 X随机抽查随机抽查100个大学生得个大学生得100个身高数据。个身高数据。据此据此,我们应如何估计我们应如何估计 和和 呢呢?7.1 点估计的几种方法点估计的几种方法休息休息结束结束 为估计为估计 ,我们需要构造出适当的样本我们需要构造出适当的样本的函数的函数T(X1,X2,Xn)，

3、每当有了样本，就每当有了样本，就代入该函数中算出一个值，用来作为代入该函数中算出一个值，用来作为 的的估计值估计值.T(X1,X2,Xn)称为参数称为参数的点估计量，的点估计量，把样本值代入把样本值代入T(X1,X2,Xn)中，中，得到得到 的一个点估计值的一个点估计值。休息休息结束结束问题是问题是:使用什么样的统计量去估计使用什么样的统计量去估计？被估计的参数被估计的参数 是一个未知常数，而估是一个未知常数，而估计量计量 T(X1,X2,Xn)是一个随机变量，是是一个随机变量，是样本的函数样本的函数,当样本取定后，它是个已知的当样本取定后，它是个已知的数值数值,这个数常称为这个数常称为 的估

4、计值。的估计值。休息休息结束结束寻求估计量的方法：1.矩估计法矩估计法2.极大似然法极大似然法3.最小二乘法最小二乘法4.贝叶斯方法贝叶斯方法休息休息结束结束1.替换原理和矩估计法替换原理和矩估计法矩估计法矩估计法是基于一种简单的是基于一种简单的“替换替换”思想建立起来的一种估计方法思想建立起来的一种估计方法.是英国统计学家是英国统计学家K.皮尔逊皮尔逊最早提出的最早提出的.其基本思想是其基本思想是用样本矩估计总体矩用样本矩估计总体矩。理论依据理论依据:大数定律大数定律休息休息结束结束记总体记总体k阶矩为阶矩为样本样本k阶矩为阶矩为记总体记总体k阶中心矩为阶中心矩为样本样本k阶中心矩为阶中心矩

5、为休息休息结束结束用相应的样本矩去估计总体矩的估计方法就称为矩估计法。休息休息结束结束最常用的是：最常用的是：休息休息结束结束 例例2 设总体设总体X的概率密度为的概率密度为是未知参数是未知参数,其中其中X1,X2,Xn是取自是取自X的样本的样本,求参数求参数 的矩估计的矩估计.解解:从从 中解得中解得 休息休息结束结束的矩估计的矩估计.即为即为得：得：由矩法由矩法,休息休息结束结束 例3 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本其中其中 0,求求 的矩估计的矩估计.解解:休息休息结束结束休息休息结束结束休息休息结束结束？休息休息结束结束休息休息结束结束 矩法的矩法的优点

6、优点是简单易行是简单易行,并不需要并不需要事先知道总体是什么分布事先知道总体是什么分布。缺点缺点是，当总体类型已知时，没有是，当总体类型已知时，没有 充分利用分布提供的信息充分利用分布提供的信息.一般场合下一般场合下,矩估计量不具有唯一性矩估计量不具有唯一性。休息休息结束结束 2.最大似然法最大似然法是是在在总总体体类类型型已已知知条条件件下下使使用用的的一一种参数估计方法种参数估计方法。它首先是由德国数学家它首先是由德国数学家高斯高斯在在1821年提出的年提出的,费歇费歇在在1922年重新发现了这年重新发现了这一方法，并首先研究了这一方法，并首先研究了这 种方法的一些种方法的一些性质性质。休

7、息休息结束结束 最大似然法的基本思想：已发生的事件具有最大概率。休息休息结束结束 先看一个简单例子：先看一个简单例子：在军训时，某位同学与一位教官同在军训时，某位同学与一位教官同时射击，而在靶纸上只留下一个弹孔。时射击，而在靶纸上只留下一个弹孔。如果要你如果要你推测推测，是谁打中的呢？，是谁打中的呢？你会如何想呢你会如何想呢?休息休息结束结束一般地，假设一般地，假设X 为离散型总体：为离散型总体：休息休息结束结束已发生的事件为：已发生的事件为：其概率为：其概率为：休息休息结束结束我们的任务是：我们的任务是：休息休息结束结束假设假设X 为连续型总体：为连续型总体：已发生的事件为：已发生的事件为：

8、休息休息结束结束其概率为：其概率为：休息休息结束结束我们的任务是：我们的任务是：休息休息结束结束称称 为为似然函数似然函数 称满足称满足 的的 为为 的最大似然估计值。的最大似然估计值。称称 为为 的最大似然估计的最大似然估计量（量（MLE）.休息休息结束结束 例例4 设总体设总体 X B(1,p)的一个样本，求的一个样本，求参数参数 p 的极大似然估计的极大似然估计.解：解：X01P1-pp1.休息休息结束结束3.2.4.5.休息休息结束结束例例5设总体设总体其中其中 0,求求 的最大似然估计的最大似然估计.解：解：1.休息休息结束结束2.3.4.5.休息休息结束结束1)在总体分布中，把概率

9、函数在总体分布中，把概率函数(或密度或密度)中中自变量看成已知常数自变量看成已知常数,而把参数而把参数 看作自看作自变量导出变量导出似然函数似然函数 L();求极大似然估计（求极大似然估计（MLE）的一般步骤：的一般步骤：2)求似然函数求似然函数L()的最大值点的最大值点(常常转化常常转化为求为求ln L()的最大值点的最大值点)，即，即 的的MLE;3)在最大值点的表达式中在最大值点的表达式中,用子样代入就得用子样代入就得参数参数 的极大似然估计量的极大似然估计量休息休息结束结束两点说明1、求似然函数求似然函数L()的最大值点，通过求的最大值点，通过求解似然方程：解似然方程：得到得到 的的M

10、LE。若若 是向量，上述方程必须用似然方程是向量，上述方程必须用似然方程组代替组代替。休息休息结束结束2、用上述求导方法求参数的用上述求导方法求参数的MLE有时行不通，这时要用最大似然原则有时行不通，这时要用最大似然原则来求来求。休息休息结束结束解：解：例例6 设总体设总体 其中参数其中参数 未知，使用最大似然估计法求未知，使用最大似然估计法求 的估计的估计量。量。休息休息结束结束休息休息结束结束返回返回休息休息结束结束例例7 其中其中 0,求求 的极大似然估计。的极大似然估计。解：解：i=1,2,n休息休息结束结束i=1,2,n休息休息结束结束(1)(2)由由(1)得得是是 的的增函数增函数

11、休息休息结束结束故使故使 达到最大的达到最大的 即即 的的MLE，休息休息结束结束极大似然估计的一个性质极大似然估计的一个性质:设设 的函数的函数 g=g()是是 上的实值上的实值函数函数,且有唯一反函数且有唯一反函数。如果。如果 是是 的极大的极大似然估计，则似然估计，则 g()也是也是 g()的极大似然的极大似然估计。估计。休息休息结束结束 例例8 一罐中装有白球和黑球，有放回地抽取一罐中装有白球和黑球，有放回地抽取一个容量为一个容量为n 的样本，其中有的样本，其中有 k 个白球，求个白球，求罐中黑球与白球之比罐中黑球与白球之比 R 的极大似然估计的极大似然估计.解解:显然显然 XB(1,

12、p)，由例由例 4 休息休息结束结束7.2 估计量的评价标准 评价一个估计量的好坏，不能仅仅依据评价一个估计量的好坏，不能仅仅依据一次试验的结果，而必须由多次试验结果来一次试验的结果，而必须由多次试验结果来衡量衡量。这是因为估计量是样本的函数，是随机这是因为估计量是样本的函数，是随机变量。因此，由不同的观测结果，就会求得变量。因此，由不同的观测结果，就会求得不同的参数估计值。因此一个好的估计，应不同的参数估计值。因此一个好的估计，应在多次试验中体现出优良性在多次试验中体现出优良性。休息休息结束结束常用标准：1无偏性无系统偏差无系统偏差2有效性方差小方差小3相合性收敛性收敛性休息休息结束结束1无

13、偏性无偏性设设是未知参数是未知参数 的估计量，若的估计量，若 则称则称 为为 的无偏估计。的无偏估计。休息休息结束结束 用用样样本本均均值值作作为为总总体体均均值值的的估估计计时时，虽虽无无法法说说明明一一次次估估计计所所产产生生的的偏偏差差，但但这这种种偏偏差差随随机机地地在在 0 的的周周围围波波动动，对对同同一一统统计计问问题题大量重复使用不会产生大量重复使用不会产生系统偏差系统偏差。休息休息结束结束解：解：由例由例6 例例9 设总体设总体 其中参数其中参数 未知，使用极大似然估计法求未知，使用极大似然估计法求 的估计的估计量，并问是否为无偏估计？若不是，请修正量，并问是否为无偏估计？若

14、不是，请修正使之成为无偏估计。使之成为无偏估计。例例 6 6 休息休息结束结束无偏渐近无偏休息休息结束结束如何修正？休息休息结束结束一个参数往往有不止一个无偏估计一个参数往往有不止一个无偏估计,若若 和和 都是参数都是参数 的无偏估计量，我们可以比的无偏估计量，我们可以比较其方差的大小来决定二者谁更优较其方差的大小来决定二者谁更优。由于由于所以无偏估计以方差小者为好所以无偏估计以方差小者为好,这就引这就引出了有效性这一概念出了有效性这一概念。休息休息结束结束2有效性有效性设设 和和 都都是参数是参数 的无偏估计量，若有的无偏估计量，若有D()1 时，时，较较 更有效。更有效。休息休息结束结束（

15、1），即即 为为 的无偏估计；的无偏估计；在数理统计中常用到在数理统计中常用到最小方差无偏估计最小方差无偏估计。它的定义是它的定义是:设设(X1,X2,Xn)是取自总体是取自总体X的一个的一个样本，样本，是未知参数是未知参数的一个估计量。的一个估计量。若若 满足：满足：（2），是是 的任一无偏估计。的任一无偏估计。则称则称 为为 的的最小方差无偏估计最小方差无偏估计。（也称（也称最佳无偏估计最佳无偏估计）休息休息结束结束3相合性（一致性）相合性（一致性）设设 是未知参数是未知参数 的估计量，的估计量，若对任意给定的若对任意给定的 0,都有：都有：则称则称 为为 的一个的一个 相合估计（一致估计

16、）相合估计（一致估计）。休息休息结束结束 定理定理 设设 是是的一个的一个估计量，若估计量，若 则则 是是的的相合估计相合估计休息休息结束结束 定理定理 设设 分别是分别是 的相的相合估计，若合估计，若 是是的连续函数，则的连续函数，则 是是 的相合估计。的相合估计。休息休息结束结束7.3 区间估计区间估计 前面，我们讨论了参数点估计。它是用前面，我们讨论了参数点估计。它是用样本算得的一个值去估计未知参数。但是，样本算得的一个值去估计未知参数。但是，点估计值仅仅是未知参数的一个近似值，它点估计值仅仅是未知参数的一个近似值，它没有反映出这个近似值的误差范围，使用起没有反映出这个近似值的误差范围，

17、使用起来把握不大。区间估计正好弥补了点估计的来把握不大。区间估计正好弥补了点估计的这个缺陷这个缺陷。休息休息结束结束在这里，我们希望确定一个在这里，我们希望确定一个区间区间，使，使我们能以比较高的我们能以比较高的可靠程度可靠程度相信它包含真相信它包含真参数值。参数值。这里所说的这里所说的“可靠程度可靠程度”是用概率来度是用概率来度量的，称为量的，称为置信概率置信概率，置信度置信度或或置信水平置信水平。习惯上把习惯上把置信水平置信水平记作记作，这里这里 是一个是一个很小的正数。很小的正数。休息休息结束结束置信水平的大小是根据实际需要选定的。置信水平的大小是根据实际需要选定的。例如，通常可取置信水

18、平例如，通常可取置信水平:=0.99,0.95 或或 0.9 等等.根据一个实际样本，由给定的置信水平，根据一个实际样本，由给定的置信水平，我们求出一个尽可能小的区间我们求出一个尽可能小的区间 ，使，使休息休息结束结束称区间称区间 为为 的置信水平的置信水平为为 的的置信区间置信区间。休息休息结束结束 一、一、置信区间定义：置信区间定义：满足满足设设 是是 一个待估参数，给定一个待估参数，给定若由样本若由样本X1,X2,Xn确定的两个统计量确定的两个统计量则称区间则称区间 是是 的置信水平（置信度、的置信水平（置信度、置信概率）为置信概率）为 的置信区间。的置信区间。分别称为分别称为置信下限置

19、信下限和和置信上限置信上限。休息休息结束结束两个要求两个要求:1.要求要求 以很大的可能被包含在区间以很大的可能被包含在区间 内，就是说，概率内，就是说，概率 要尽可能大。要尽可能大。即要求估计即要求估计尽量可靠尽量可靠。2.估计的估计的精度要尽可能的高精度要尽可能的高。如要求区间。如要求区间长度长度 尽可能短，或能体现该要求的其尽可能短，或能体现该要求的其它准则。它准则。休息休息结束结束二、置信区间的求法二、置信区间的求法 求参数求参数 的置信度为的置信度为 的置信区间。的置信区间。例例1 设总体设总体 X 是服从是服从 ，解：解：选选 的点估计：的点估计：N(0,1)休息休息结束结束找找

20、a,b 使：使：休息休息结束结束例如，由例如，由 P-1.96 Z1.96=0.950.0250.025休息休息结束结束我们得到我们得到均值均值 的置信水平为的置信水平为 的置的置信区间为：信区间为：休息休息结束结束由由 P-1.75Z2.33 =0.950.010.04休息休息结束结束我们得到我们得到均值均值 的置信水平为的置信水平为 的置的置信区间为：信区间为：休息休息结束结束 任意两个数任意两个数a和和b，只要它们的纵标包含只要它们的纵标包含f(u)下下95%的面积，就确定一个的面积，就确定一个95%的置信区间。的置信区间。我们总是希望置信区间尽可能短。我们总是希望置信区间尽可能短。在概

21、率密度为单峰且对称的情形，当在概率密度为单峰且对称的情形，当a=-b时求得的置信区间的长度为最短。时求得的置信区间的长度为最短。休息休息结束结束对给定的置信水平对给定的置信水平查正态分布表得查正态分布表得从中解得从中解得的的 置信区间为置信区间为使使0休息休息结束结束xy 即使在概率密度不对称的情形，如即使在概率密度不对称的情形，如 分布分布，F分布分布，习惯上仍取对称的百分位点，习惯上仍取对称的百分位点来计算未知参数的置信区间。来计算未知参数的置信区间。休息休息结束结束置信水平越高，相应的置信水平越高，相应的置信区间长度就置信区间长度就长，估计的精度就差。这是一对矛盾。长，估计的精度就差。这

22、是一对矛盾。实用中应在保证足够可靠的前提下，尽实用中应在保证足够可靠的前提下，尽量使得区间的长度短一些量使得区间的长度短一些。休息休息结束结束置信区间的统计意义置信区间的统计意义如何理解如何理解置信区间演示置信区间演示休息休息结束结束 求置信区间方法（求置信区间方法（枢轴量法枢轴量法）的一般）的一般步骤如下步骤如下:1.明确问题明确问题,是求什么参数的置信区间是求什么参数的置信区间?置信水平置信水平 是多少是多少?2.寻找一个待估参数寻找一个待估参数 和估计量和估计量T的函数的函数 S(T,),且其分布为已知。且其分布为已知。称称S(T,)为为枢轴量枢轴量。休息休息结束结束3.对于给定的置信水

23、平对于给定的置信水平 ，根据，根据S(T,)的分布，确定常数的分布，确定常数a,b，使得使得 P(a S(T,)b)=4.对对“aS(T,)b”作等价变形作等价变形,得到如得到如下下形式形式:则则 就是就是 的的100()的置信区间的置信区间.休息休息结束结束 这里，我们主要讨论总体这里，我们主要讨论总体分布为正态分布为正态的情形。若样本容量很大，即使总体分布的情形。若样本容量很大，即使总体分布未知，应用中心极限定理，可得子样近似未知，应用中心极限定理，可得子样近似于正态分布，于是也可以近似求得参数的于正态分布，于是也可以近似求得参数的区间估计。区间估计。休息休息结束结束（一）单个总体（一）单

24、个总体 N(,2)的情况的情况由例由例1，取，取枢轴量枢轴量为：为：7.4 正态总体均值与方差的区间估计1.均值均值 的区间估计的区间估计N(0,1)休息休息结束结束解得解得的的 1-置信区间为：置信区间为：或或 对给定的置信度对给定的置信度 ,确定分位数确定分位数使使休息休息结束结束因方差未知，取因方差未知，取枢轴量枢轴量为：为：对给定的置信度对给定的置信度 ,确定分位数确定分位数使使休息休息结束结束即即从中解得从中解得的的 1-置信区间为：置信区间为：或：或：2.方差方差2 的区间估计的区间估计xy休息休息结束结束2 的的 1-置信区间为：置信区间为：的的 1-置信区间为：置信区间为：休息

25、休息结束结束（一）两个总体（一）两个总体 的情况的情况1.两个总体均值差两个总体均值差 的置信区间的置信区间子样：子样：休息休息结束结束0休息休息结束结束的置信区间为：的置信区间为：休息休息结束结束休息休息结束结束休息休息结束结束由对称性：由对称性：解得置信区间为：解得置信区间为：休息休息结束结束例11 为提高某一化学生产过程的得率，试图采用一种新的催化剂。为慎重起见，在试验工厂先进行试验。设采用原来的催化剂进行了n1=8次试验，得到得率的平均值 =91.73。样本方差s12=3.89;又采用新的催化剂进行了n2=8次试验，得到得率的平均值 =93.75，样本方差s22=4.02。假设两总体都

26、可认为服从正态分布，且方差相等，两样本独立。试求两总体均值差1-2的置信水平为 0.95 的置信区间。休息休息结束结束解：置信区间为：置信区间为：现在故所求的置信区间为：即休息休息结束结束1.两个总体方差比两个总体方差比 的置信区间的置信区间休息休息结束结束解得置信区间为：解得置信区间为：休息休息结束结束例12 研究由机器A和机器B生产的钢管的内径，随机抽取机器A生产的管子18只，测得样本方差s12=0.34(mm2)；抽取机器B生产的管子13只，测得样本方差s22=0.29(mm2)。设两样本方差相互独立，且设由机器A，机器B生产的管子的内径分别服从正态分布N(1,12),N(2,22)，这

27、里i,i（i=1,2）均未知。试求方差比12/22 置信水平为0.90 的置信区间。解：置信区间为：置信区间为：休息休息结束结束F/2(n1,n2)=F0.05(17,12)=2.59,n1=18,s12=0.34,n2=13,s22=0.29,=0.10,F1-/2(17,12)=F0.95(17,12)=1/F0.05(12,17)=1/2.38计算计算休息休息结束结束休息休息结束结束上述置信区间中置信限都是双侧的，但对上述置信区间中置信限都是双侧的，但对于有些实际问题，人们关心的只是参数在一个于有些实际问题，人们关心的只是参数在一个方向的界限。方向的界限。例如对于设备、元件的使用寿命来说

28、，平例如对于设备、元件的使用寿命来说，平均寿命过长没什么问题，过短就有问题了。均寿命过长没什么问题，过短就有问题了。这时，可将置信上限取为这时，可将置信上限取为+，而只着眼于，而只着眼于置信下限，这样求得的置信区间叫单侧置信区置信下限，这样求得的置信区间叫单侧置信区间。间。7.5 单侧置信区间休息休息结束结束满足：满足：设设 是是 一个待估参数，给定一个待估参数，给定 若由样本若由样本 X1,X2,Xn 确定的统计量确定的统计量于是引入单侧置信区间和置信限的定义：于是引入单侧置信区间和置信限的定义：则称区间则称区间 是是 的的置信水平为置信水平为 的的单侧置信区间单侧置信区间.称为称为单侧置信

29、下限单侧置信下限。休息休息结束结束又若统计量又若统计量 满足满足 称为称为单侧置信上限单侧置信上限。则称区间则称区间 是是 的的置信水平为置信水平为 的单侧置信区间的单侧置信区间。休息休息结束结束设灯泡寿命服从正态分布设灯泡寿命服从正态分布.求灯泡寿命均求灯泡寿命均值值 的置信水平为的置信水平为0.95的的单侧置信下限单侧置信下限。例例13 从一批灯泡中随机抽取从一批灯泡中随机抽取5只作寿命试只作寿命试验，测得寿命验，测得寿命X（单位：小时）如下：单位：小时）如下：1050，1100，1120，1250，1280解：解：的点估计取为样本均值的点估计取为样本均值 由于方差由于方差 未知，取枢轴量未知，取枢轴量休息休息结束结束 对给定的置信水平对给定的置信水平 ，确定分位数，确定分位数使使即即于是得到于是得到 的置信水平为的置信水平为 的单侧置的单侧置信区间为信区间为 休息休息结束结束将样本值代入得将样本值代入得 的置信水平为的置信水平为0.95的的单侧置信下限是：单侧置信下限是：1065小时小时 即即 的置信水平为的置信水平为 的单侧置信下限为：的单侧置信下限为：休息休息结束结束课 间 休 息