《数理统计.ppt》由会员分享，可在线阅读，更多相关《数理统计.ppt（49页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、数理统计课件现在学习的是第1页，共49页第二章 参数估计估计废品率估计废品率 估计新生儿的平均体重估计新生儿的平均体重 估计湖中鱼数估计湖中鱼数 估计平均降雨量估计平均降雨量 现在学习的是第2页，共49页2.1 参数估计问题参数型统计问题总体分布形式已知时，总体参数的估计问题非参数型统计问题总体分布形式未知时，总体参数的估计问题参数估计的方式：点估计、区间估计 来估计总体来估计总体的某些参数或者参数的某些函数的某些参数或者参数的某些函数.参数估计问题就是利用从总体抽样得到的信息，参数估计问题就是利用从总体抽样得到的信息，在参数估计问题中，假定总体分布形式已知，在参数估计问题中，假定总体分布形式
2、已知，未知的仅仅是一个或几个参数未知的仅仅是一个或几个参数.现在学习的是第3页，共49页2.2 点估计 例例 已知某地区新生婴儿的体重已知某地区新生婴儿的体重 X N(,2),),2未知未知,随机抽查随机抽查100个婴儿个婴儿,得得100个体重数据个体重数据10,7,6,6.5,5,5.2,如何据此估计如何据此估计 和和 2呢呢?全部信息就是这全部信息就是这 100 个数个数.为估计为估计 的值的值,我们需要构造出适当的样本的函数我们需要构造出适当的样本的函数 (X1,X2,Xn),使用什么样的统计量去估计使用什么样的统计量去估计？也可用样本中位数等也可用样本中位数等,问题是问题是:即得到即得
3、到 的一个的一个估计值估计值.对于确定的一组样本值对于确定的一组样本值,代入函数代入函数 (X1,X2,Xn)中算出一个值中算出一个值 ,对于待估参数对于待估参数 ：对于待估参数对于待估参数 ：可用样本方差等可用样本方差等,可用样本均值可用样本均值;点点 估估 计计 现在学习的是第4页，共49页 x1,x2,xn 是其是其一组样本值一组样本值,定义定义1设设 X1,X2,Xn 是来自总体是来自总体 X 的样本的样本,如果总体的分布类型已知如果总体的分布类型已知,是总体的未知参数是总体的未知参数,则称用以估计则称用以估计参数参数 的的统计量统计量 (X1,X2,Xn)为参数为参数 的的点估计量点
4、估计量,简称简称估计量估计量.(x1,x2,xn)称为称为 的的点估计值点估计值,或或估计值估计值.i i i i i i i =1,2,l.参数取值范围参数取值范围 参数空间参数空间.寻求估计量的方法寻求估计量的方法 矩估计法矩估计法 极大似然法极大似然法 最小二乘法最小二乘法 贝叶斯方法贝叶斯方法这里我们主要介绍前面两种方法这里我们主要介绍前面两种方法.现在学习的是第5页，共49页 进而由此确定待定参数的进而由此确定待定参数的估估计值计值.一、矩估计法一、矩估计法其基本思想是用样本矩估计总体矩其基本思想是用样本矩估计总体矩.理论依据？理论依据？它是基于一种简单的它是基于一种简单的“替换替换
5、”思想建立起来的一种估计方思想建立起来的一种估计方法法.是英国统计学家是英国统计学家 K.皮尔逊最早提出的皮尔逊最早提出的.辛钦大数定律辛钦大数定律 仍是独立同分布的仍是独立同分布的,k 阶原点矩阶原点矩 Ak 采用相应的样本矩作为总体矩的采用相应的样本矩作为总体矩的估计量估计量,这种用相应的这种用相应的样本矩样本矩去估计去估计总体矩总体矩的估计方法就称为的估计方法就称为矩估计法矩估计法 由此所得估计量称为由此所得估计量称为矩估计量矩估计量现在学习的是第6页，共49页 即可得诸即可得诸 E(X k)的的矩估计量矩估计量：求矩估计量的具体步骤求矩估计量的具体步骤 且总体的前且总体的前 l 阶原点
6、矩阶原点矩 E(X k)()(k=1,2,l)存在存在,设总体设总体 X 的分布函数的分布函数 F(x;1,2,l)中含有中含有 l 个未知参数个未知参数 1,2,l,则它们应是这则它们应是这 l 个参数的函数：个参数的函数：又样本又样本 X1,X2,Xn 的样本的样本 k 阶原点矩为阶原点矩为k=1,2,l 从这从这 l 个方程中可解得个方程中可解得矩估计值矩估计值为：为：令总体矩令总体矩 E(X k)等于其相应的样本矩等于其相应的样本矩 Ak,X1,X2,Xn 是总体是总体 X 的样本的样本,k=1,2,l 矩矩估估计计法法现在学习的是第7页，共49页解解 注意到只有一个未知参数注意到只有
7、一个未知参数,求求 的矩估计量的矩估计量.只需一个方程只需一个方程,例例1 设总体设总体 X 的密度为的密度为 为未知参数为未知参数,X1,Xn 是总体是总体 X 的一个样本的一个样本,由矩估计法知由矩估计法知 即得即得 的矩估计量为的矩估计量为 数学期望是一阶原点矩数学期望是一阶原点矩令令 总体原点矩总体原点矩 等于等于 样本矩样本矩 样本矩样本矩总体矩总体矩现在学习的是第8页，共49页解解 解之得解之得 若总体的一、二阶原点矩都存在若总体的一、二阶原点矩都存在,令令 总体矩总体矩 等于等于 样本矩样本矩 例例2 设总体设总体 X 的均值和方差分别为的均值和方差分别为 与与 2,(均未知均未
8、知),),求求 与与 2 的矩估计量的矩估计量.X1,X2,Xn 是总体是总体 X 的样本的样本,需要两个方程需要两个方程,由矩估计法知由矩估计法知 所以所求的矩估计量为所以所求的矩估计量为 =B 2 现在学习的是第9页，共49页当当 =1时时,X 的概率密度为的概率密度为 令令 解之得解之得 的矩估计量为的矩估计量为 求求 =1 时时,未知参数未知参数 的矩估计量的矩估计量.其中参数其中参数 0,1,例例3 设设 X 的分布函数为的分布函数为 X1,X2,Xn 是总体是总体 X 的样本的样本,解解 现在学习的是第10页，共49页 缺缺点点是是，当当总总体体类类型型已已知知时时，没没有有充充分
9、分利利用用分分布布提提供供的的信信息息.一一般场合下般场合下,矩估计量不具有唯一性矩估计量不具有唯一性.其主要原因在于建立矩法方程时，选取那些总体矩用相应样本矩代其主要原因在于建立矩法方程时，选取那些总体矩用相应样本矩代替带有一定的随意性替带有一定的随意性.矩法的矩法的优点优点是简单易行是简单易行,并不需要事先知道总体是什么分布并不需要事先知道总体是什么分布.现在学习的是第11页，共49页几个常见的统计量几个常见的统计量 样本均值样本均值样本方差样本方差样本样本 k 阶原点矩阶原点矩样本样本 k 阶中心矩阶中心矩 k=1,2,并称他们相应的观测值仍分别为原称并称他们相应的观测值仍分别为原称 样
10、本标准差样本标准差 样本矩样本矩 若若 EX=,DX=2,则则 样本均值、方差的期望和其以概率收敛性样本均值、方差的期望和其以概率收敛性现在学习的是第12页，共49页 只听一声枪响只听一声枪响,野兔应声倒下野兔应声倒下.某位同学与一位猎人一起某位同学与一位猎人一起外出打猎外出打猎.他在他在1922年重新发现了这一方法年重新发现了这一方法,并首先研究了这种方法的一些并首先研究了这种方法的一些性质性质.极大似然法的基本思想极大似然法的基本思想 在总体分布类型已知条件下使用的一种参数估计在总体分布类型已知条件下使用的一种参数估计方法方法.它首先由德国数学家高斯在它首先由德国数学家高斯在1821年提出
11、的年提出的.Fisher然而然而,这个方法常归功于英国统计学家费歇这个方法常归功于英国统计学家费歇.二、极大似然法二、极大似然法先看一个简单例子：先看一个简单例子：一只野兔从前方窜过一只野兔从前方窜过.如果让你推测是谁打中的如果让你推测是谁打中的,你会如何想呢你会如何想呢?而猎人命中的概率一般大于这而猎人命中的概率一般大于这位同学命中的概率位同学命中的概率.这一枪应是猎人射中的这一枪应是猎人射中的.再看一个例子再看一个例子,以进一步体会极大似然法的基本思想以进一步体会极大似然法的基本思想.此例所作的推断已经体现了极大似然法的基本思想此例所作的推断已经体现了极大似然法的基本思想.一般会想一般会想
12、:只一枪就打中了只一枪就打中了,现在学习的是第13页，共49页p 是待估参数是待估参数 在在 p 所有可能的取值中选出所有可能的取值中选出能使样本观测值出现的概率为最大能使样本观测值出现的概率为最大的那一的那一个来作为它的估计值个来作为它的估计值.今有放回抽球今有放回抽球 3 次次,结果得到两结果得到两次白球次白球,试问如何估计袋中白球的个数试问如何估计袋中白球的个数?解解 设袋中有白球设袋中有白球 m 个个,k=0,1,2,3.记记 X 为抽得的白球数为抽得的白球数,袋中白球数袋中白球数0123 4 p01/42/43/41 抽到白球数抽到白球数 X x=0 x=1 x=2 x=3 1 0
13、0 0 27/64 27/64 9/64 1/64 8/64 24/64 24/64 8/64 1/64 9/64 27/64 27/64 0 0 0 1 例例1 设袋中有黑球和白球共设袋中有黑球和白球共 4 个个,对不同的对不同的 p,事件事件 P(X=x)发生的概率发生的概率对不同的对不同的 p,B(n,p)的分布列的分布列则则 X B(3,p),3/4 27/64 上述估计思路体现的就是极大似然估计的思想方法：上述估计思路体现的就是极大似然估计的思想方法：则抽到白球的概率为则抽到白球的概率为 p=m/4,现在学习的是第14页，共49页 即用它作为即用它作为 的估计值可使观察结果出现的的估
14、计值可使观察结果出现的可能性最大可能性最大.这种选择参数的估计量这种选择参数的估计量,使实验结果具有最大概率的思想就是极大似然法的使实验结果具有最大概率的思想就是极大似然法的基本思想基本思想.理应选取理应选取 使得使得事件事件(X1=x1,X2=x2,Xn=xn)发生的概率为最大发生的概率为最大.再如再如,设总体设总体 X 服从服从 B(1(1,)分布分布,下面给出下面给出似然函数似然函数的定义和的定义和极大似然估计极大似然估计的求法的求法.对总体分布中的未知参数对总体分布中的未知参数 进行估计时进行估计时,即其分布列为即其分布列为 x=0,1 其中其中 (0 0 时时,L()0,X1,X2,
15、Xn 是取自总体是取自总体X的一组样本的一组样本,求求 的极大似然估计量与矩估计量的极大似然估计量与矩估计量.其中其中 0为未知参数为未知参数,例例2 设总体设总体 X 的密度为的密度为故有故有对数似然函数对数似然函数：对对 求导并令其为求导并令其为 0 可得可得似然方程似然方程：=0,解得解得极大似然估计量极大似然估计量：令令 (2)=1/,解得矩估计量：解得矩估计量：现在学习的是第19页，共49页 设设 X1,X2,Xn 是取自是取自 X 的一个样本的一个样本.解解 样本的样本的似然函数似然函数为为 其中其中 ,2 均未知均未知,求求 与与 2 的极大似然估计量的极大似然估计量.例例3 设
16、总体设总体X N(,2),),故有故有对数似然函数对数似然函数解之得解之得极大似然估计量极大似然估计量 对对 和和 2 分别求偏导并令其为分别求偏导并令其为 0 得得似然方程组似然方程组：2 3=B2,估计的不变估计的不变性性 注意到注意到 2 是是 的函数的函数!正态分布：极大似然估计量正态分布：极大似然估计量 =矩估计量矩估计量 现在学习的是第20页，共49页可证明极大似然估计具有下面的单调函数不变性：可证明极大似然估计具有下面的单调函数不变性：而而 g()为为 的单调函数的单调函数,则则 g()也是也是 g()的极大似然估计量的极大似然估计量.若若 为未知参数为未知参数 的极大似然估计量
17、的极大似然估计量,例例4 一罐中装有白球和黑球一罐中装有白球和黑球,解解 设设 X1,X2,Xn 为所取样本为所取样本,则则 X1,Xn B(1,p),有放回地抽取一个容量为有放回地抽取一个容量为n的样本的样本,其中有其中有 k 个白球个白球,求罐中黑球与白球之比求罐中黑球与白球之比 R 的极大似然估计的极大似然估计.p是每次抽取时取到白球的概率是每次抽取时取到白球的概率,且且 p未知未知.容易求得容易求得 p 的极大似然估计为：的极大似然估计为：由极大似然估计的不变性知由极大似然估计的不变性知 R 的极大似然估计是的极大似然估计是 就不能用上述求导方就不能用上述求导方法求未知参数的极大似然估
18、计了法求未知参数的极大似然估计了.上述解法是应用微积分中的技巧求上述解法是应用微积分中的技巧求似然函数似然函数 L()的最大值点的最大值点.但当但当似然函数似然函数 L()不不可微可微这时要用这时要用极大似然原则极大似然原则来求来求.或偏导数不为零时或偏导数不为零时,现在学习的是第21页，共49页 故应取故应取 的值尽量地小的值尽量地小;例例5 设总体设总体 X 服从均匀分布服从均匀分布 U 0,为为 未知参数未知参数,无法用求导建立似然方程的方法确定其极大似然估计量无法用求导建立似然方程的方法确定其极大似然估计量!X1,X2,Xn 是总体是总体X的一组样本的一组样本,求求 的极大似然估计量的
19、极大似然估计量.解解 样本的似然函数为样本的似然函数为用极大似然原则来求：用极大似然原则来求：即用其他方法求似然函数即用其他方法求似然函数 L()的最大值点的最大值点.显然显然,似然函数似然函数 L()的值随的值随 的减小而增大的减小而增大,另一方面另一方面,必须满足条件必须满足条件 0 xi (i=1,2,n),而事件而事件 0 Xi ,i=1,2,n 故可取极大似然估计量为故可取极大似然估计量为 不必建立不必建立对数似然方程对数似然方程现在学习的是第22页，共49页 求求 =1 时时,未知参数未知参数 的矩估的矩估计量计量.其中其中 0,1,例例6 设设 X 的分布函数为的分布函数为 X1
20、,Xn 是总体是总体 X 的样本的样本,解解(1)=1 时时,(1)求求 =1 时时,未知参数未知参数 的极大似然估计量的极大似然估计量.(2)求求 =2 时时,未知参数未知参数 的极大似然估计量的极大似然估计量.当当 x i 1时时,L()0,令令 解得解得 的的极大似然估计量：极大似然估计量：的矩估计量为的矩估计量为 现在学习的是第23页，共49页 参数点估计是用一个确定的值去估计未知的参数参数点估计是用一个确定的值去估计未知的参数.看来似乎精确，看来似乎精确，实际上把握不大实际上把握不大.我们介绍了参数点估计我们介绍了参数点估计,给出了寻求估计量最常用的方法给出了寻求估计量最常用的方法
21、矩法和极大似然法矩法和极大似然法.样本均值、样本方差是否是一个好的估计量？样本均值、样本方差是否是一个好的估计量？(2)怎样决定一个估计量是否比另一个估计量怎样决定一个估计量是否比另一个估计量“好好”？多个估计量时多个估计量时,哪一个估计量更好？哪一个估计量更好？这就需要讨论以下几个问题这就需要讨论以下几个问题:(1)我们希望一个我们希望一个“好的好的”估计量具有什么特性？估计量具有什么特性？(3)应该应该如何寻求一个合理的估计量？如何寻求一个合理的估计量？自然要问自然要问:估计量的评选标准估计量的评选标准计算简单计算简单无需总体分布无需总体分布 使用了总体分布使用了总体分布,质量好质量好不唯
22、一、不够稳定不唯一、不够稳定 计算困难计算困难 现在学习的是第24页，共49页2.3 估计量的评价标准在介绍估计量优良性的准则之前，我们必须强调指出：在介绍估计量优良性的准则之前，我们必须强调指出：评价一个估计量的好坏评价一个估计量的好坏,不能仅仅依据一次试验的结果不能仅仅依据一次试验的结果,而而必须由多次试验结果来衡量必须由多次试验结果来衡量.这是因为估计量是样本的函数这是因为估计量是样本的函数,是随机变量是随机变量.常用的几条标准是：常用的几条标准是：1.无偏性无偏性2.有效性有效性3.一致性一致性我们重点介绍前面两个标准我们重点介绍前面两个标准.所以所以,由不同的观由不同的观测结果测结果
23、,就会求得不同的参数估计值就会求得不同的参数估计值.因此一个好的估计因此一个好的估计,应在多次试验中体现出优良性应在多次试验中体现出优良性.现在学习的是第25页，共49页 所谓无偏估计量就是如果相互独立地多次用无偏估计量进行所谓无偏估计量就是如果相互独立地多次用无偏估计量进行实际估计时实际估计时,对同一统计问对同一统计问题大量重复使用不会产生系统偏差题大量重复使用不会产生系统偏差.所得的所得的诸估计值的算术平均值诸估计值的算术平均值与真值基本相同与真值基本相同.即它的期望值等于未知参即它的期望值等于未知参数的真值数的真值.估计量是随机变量估计量是随机变量,对于不同的样本值会得到不同的估计值对于
24、不同的样本值会得到不同的估计值.则称则称 为为 的的无偏估计量无偏估计量,定义定义 设设 =(X1,Xn)是未知参数是未知参数 的一个估计量的一个估计量,若若E()=,1无偏性无偏性我们希望估计值在未知参数真值附近摆动我们希望估计值在未知参数真值附近摆动,这就导致这就导致无偏性无偏性这个标准的产生这个标准的产生.真值真值 否则称否则称 为为 的的有偏估计量有偏估计量.即没有系统性的偏差即没有系统性的偏差.直观上看直观上看,例例如如，用用样样本本均均值值作作为为总总体体均均值值的的估估计计时时，虽虽无无法法说说明明一一次次估估计计所所产产生的偏差生的偏差,无偏性是对估计量的一个常见而重要的要求无
25、偏性是对估计量的一个常见而重要的要求.但这种偏差随机地在但这种偏差随机地在 0 的周围波动的周围波动,现在学习的是第26页，共49页 样本均值样本均值 X 是总体均值是总体均值EX 的无偏估计量的无偏估计量.例例1 设总体设总体 X 的的 k 阶原点矩阶原点矩 E(X k)=k(k 1)存在存在,X1,Xn 是总体是总体 X 的样本的样本,证明证明:样本样本 k 阶原点矩阶原点矩 是参数是参数 k 的无偏估计量的无偏估计量.证证 由于样本由于样本 X1,Xn 与总体与总体 X 同分布同分布,(k 1,i=1,2,n)又又 所以所以样本样本 k 阶原点矩阶原点矩 Ak 是是参数参数 k(总体总体
26、 k 阶原点矩阶原点矩 E(Xk)的无偏估计量的无偏估计量.特别地特别地,只要总体只要总体 X 的数学期望存在的数学期望存在,现在学习的是第27页，共49页 用用 B2 作为总体方差作为总体方差 2 的估计量产生的偏的估计量产生的偏差是很小的差是很小的.X1,Xn 是总体是总体 X 的样本的样本,但当但当 n 时时,总总有有 例例2 设总体设总体 X 的方差的方差 DX=2 存在存在,证明证明:样本方差样本方差 是是 2 的无偏估计量的无偏估计量.证证 2,而样本方差的异型而样本方差的异型 Sn2 是总体方差是总体方差 2 的有偏估计量的有偏估计量.所以所以样本方差样本方差 S 2 是是总体方
27、差总体方差 2 的无偏估计量的无偏估计量;尽管尽管 B2 不是总体方差不是总体方差 2 的无偏估计量的无偏估计量,我们称我们称 B2 是总体方差是总体方差 2 的的渐进无偏估计量渐进无偏估计量.不是不是 2 的无偏估计量的无偏估计量.这表明样本容量很大时这表明样本容量很大时,无偏估计量的函数未必是无偏估计量无偏估计量的函数未必是无偏估计量 现在学习的是第28页，共49页显然无偏估计又以方差小者为好显然无偏估计又以方差小者为好,的大小来决定二者谁更优的大小来决定二者谁更优.和和 若若 1 和和 2 都是参数都是参数 的无偏估计量的无偏估计量,我们还可以通过比较我们还可以通过比较2.有效性有效性
28、即比较即比较D(1)和和 D(2)的大小的大小.这就产生了这就产生了有效性有效性这一概念这一概念.我们知道我们知道,一个未知参数往往有不止一个无偏估计一个未知参数往往有不止一个无偏估计.D(1)2)是总体是总体 X 的样本的样本,例例3 设总体设总体 X 的方差的方差 DX=2 存在存在,问总体均值问总体均值 的无偏估计量的无偏估计量 Xi(i=1,2,n)与其样本与其样本均值均值 哪一个更有效？哪一个更有效？解解 故故 X 作为作为 的估计量比的估计量比 X i(i=1,2,n)有效有效.(i=1,2,n)符合常识符合常识!现在学习的是第30页，共49页 X1,Xn 是总体是总体 X 的的样
29、本样本,样本均值样本均值 X 是最有效的是最有效的.例例4 设总体设总体 X 的均值和方差均存在的均值和方差均存在,C1,C2,Cn 为不全相同且满足为不全相同且满足 的任一组常数的任一组常数,证明证明:(1)样本的线性函数样本的线性函数 是总体均值是总体均值 的无偏估计量的无偏估计量;证证(1)是是 的无偏估计量的无偏估计量;这表明这表明,在在 的所有线性无偏估计量中的所有线性无偏估计量中,(2)总体均值的总体均值的无偏估计量无偏估计量 较较 有效有效.(2)由柯西由柯西许瓦兹不等式许瓦兹不等式 知知 书上还介绍了估计量的一致性书上还介绍了估计量的一致性(相合性相合性),请自读请自读.现在学
30、习的是第31页，共49页设 是参数 的一个估计，称 为 的均方误差，对于 的任一估计量 ，若 ，则称 为 的最小均方误差估计量.显然，对于无偏估计，均方误差最小和方差最小一致.3.最小均方误差最小均方误差例例5 设总体 为样本,试在形如 的统计量中确定 的最小均方误差估计.解解 由于现在学习的是第32页，共49页于是有：令 得即以 作为 的估计，其均方误差为形如 这类估计量中是最小的。设 是 的一个估计量，如果对于任给的 ，有 ，则称T为 的相合估计量.相合也叫一致.4.相合性相合性现在学习的是第33页，共49页2.4 贝叶斯估计假假设设 随随机机变变量量X X有有一一个个密密度度函函数数p
31、p（x x；），其其中中 是是一一个个参参数数，不不同同的的 对对应应不不同同的的密密度度函函数数，故故从从贝贝叶叶斯斯观观点点看看，p p（x x；）在在给给定定 后后是是个个条条件件密密度度函函数数，因因此此记记为为p p（xx）更更恰恰当当一一些些。这这个条件密度能提供我们的有关的个条件密度能提供我们的有关的 信息就是总体信息。信息就是总体信息。假假设设 当当给给定定 后后，从从总总体体p p（xx）中中随随机机抽抽取取一一个个样样本本X X1 1，X Xn n，该样本中含有，该样本中含有 的有关信息。这种信息就是样本信息。的有关信息。这种信息就是样本信息。假设假设 我们对参数我们对参数
32、 已经积累了很多资料，经过分析、整理和加工，可已经积累了很多资料，经过分析、整理和加工，可以获得一些有关以获得一些有关 的有用信息，这种信息就是先验信息。参数的有用信息，这种信息就是先验信息。参数 不是不是永远固定在一个值上，而是一个事先不能确定的量。永远固定在一个值上，而是一个事先不能确定的量。现在学习的是第34页，共49页从贝叶斯观点来看，未知参数从贝叶斯观点来看，未知参数 是一个随机变量。描述这个随机变量是一个随机变量。描述这个随机变量的分布可从先验信息中归纳出来，这个分布称为先验分布，其密的分布可从先验信息中归纳出来，这个分布称为先验分布，其密度函数用度函数用（）表示。）表示。1 1
33、先验分布先验分布定定义义3.1 3.1 将将总总体体中中的的未未知知参参数数看看成成一一取取值值于于 的的随随机机变变量量，它它有一概率分布，记为有一概率分布，记为（），称为参数），称为参数 的先验分布。的先验分布。2 2 后验分布后验分布在贝叶斯统计学中，把以上的三种信息归纳起来的最好形式是在在贝叶斯统计学中，把以上的三种信息归纳起来的最好形式是在总体分布基础上获得的样本总体分布基础上获得的样本X X1 1，X Xn n，和参数的联合密度函数，和参数的联合密度函数 现在学习的是第35页，共49页在在这这个个联联合合密密度度函函数数中中。当当样样本本 给给定定之之后后，未未知知的的仅仅是是参参
34、数数 了了，我我们们关关心心的的是是样样本本给给定定后后，的的条条件件密密度度函函数数，依依据据密密度度的的计计算算公式，容易获得这个条件密度函数公式，容易获得这个条件密度函数这就是贝叶斯公式的密度函数形式，这就是贝叶斯公式的密度函数形式，称为称为 的的后验密度函数后验密度函数，或，或后验分布后验分布。而。而 现在学习的是第36页，共49页一般取一般取 。是是样样本本的的边边际际分分布布，或或称称样样本本 的的无无条条件件分分布布，它它的的积积分分区区域就是参数域就是参数 的取值范围，随具体情况而定。的取值范围，随具体情况而定。前面的分析总结如下：人们根据先验信息对参数前面的分析总结如下：人们
35、根据先验信息对参数 已有一个认识，已有一个认识，这个认识就是先验分布这个认识就是先验分布（）。通过试验，获得样本。从而对）。通过试验，获得样本。从而对 的的先验分布进行调整，调整的方法就是使用上面的贝叶斯公式，调整先验分布进行调整，调整的方法就是使用上面的贝叶斯公式，调整的结果就是后验分布的结果就是后验分布 。后验分布是三种信息的综合。后验分布是三种信息的综合。获得后验分布使人们对获得后验分布使人们对 的认识又前进一步，可看出，获得样本的认识又前进一步，可看出，获得样本的的效果是把我们对的的效果是把我们对 的认识由的认识由（）调整到）调整到 。所。所以对以对 的统计推断就应建立在后验分布的统计
36、推断就应建立在后验分布 的基础上。的基础上。现在学习的是第37页，共49页2.5 区间估计 若我们根据一个实际样本得到鱼数若我们根据一个实际样本得到鱼数 N N 的极大似然估计为的极大似然估计为 10001000 条条.若我们能给出一个区间若我们能给出一个区间,在此区间内我们合在此区间内我们合理地相信理地相信 N N 的真值位于其中的真值位于其中,这样对鱼数的估计就有把握多了这样对鱼数的估计就有把握多了.但实际上但实际上,N N 的真值可能大于的真值可能大于 1000 1000 条条,也可能也可能小于小于10001000条条.也就是说也就是说,我们希望确定一个我们希望确定一个尽可能小尽可能小的
37、区间的区间,使我们能以使我们能以比较高比较高的可靠程度相信它包含真参数值的可靠程度相信它包含真参数值.湖中鱼数的真值湖中鱼数的真值 这里所说的这里所说的“可靠程度可靠程度”是用概率来度量是用概率来度量的的,称为称为置信概率置信概率，置信度置信度或或置信水平置信水平.习惯上把置信水平记作习惯上把置信水平记作 1-1-,这里这里 是一个很小的正数是一个很小的正数.譬如，在估计湖中鱼数的问题中譬如，在估计湖中鱼数的问题中,现在学习的是第38页，共49页 根据置信水平根据置信水平1-1-,可以找到可以找到一个正数一个正数 ,例如例如,通常可取置信水平通常可取置信水平 =0.95=0.95 或或 0.9
38、 0.9 等等等等.根据一个实际样本根据一个实际样本,由给定的置信水平由给定的置信水平1-1-,我们求出一个的区间我们求出一个的区间 ,使使置信水平的大小是根据实际需要选定的置信水平的大小是根据实际需要选定的.如何寻找这种区间？如何寻找这种区间？使得使得 我们选取未知参数的某个估计量我们选取未知参数的某个估计量 ,只要知道只要知道 的概率分布就可以确定的概率分布就可以确定 .由不等式由不等式 可以解出可以解出 ：这个不等式就是我们所求的这个不等式就是我们所求的置信区间置信区间 现在学习的是第39页，共49页 代入样本值所得的普通区间称为代入样本值所得的普通区间称为置信区间置信区间的实现的实现.
39、作区间估计作区间估计,就是要设法找出两个只依赖于样本的界限就是要设法找出两个只依赖于样本的界限(构造统计量构造统计量)即要求区间置信的长度尽可能短即要求区间置信的长度尽可能短,或能体现该要求的其它准则或能体现该要求的其它准则.X X1 1,X X2 2,X Xn n 是取自总体是取自总体 X X 的的样本样本,对给定值对给定值 0 0 1,1,满足满足 定义定义4 4 设设 是总体是总体 X X 的待估参数的待估参数,分别称为分别称为置信下限置信下限和和置信上限置信上限.置信区间的概念置信区间的概念则称随机区间则称随机区间 为为 的的置信水平为置信水平为 1-1-的双侧置信区间的双侧置信区间
40、.若统计量若统计量 和和 估计的精度要尽可能的高估计的精度要尽可能的高.要求要求 以很大的可能被包含在置信区间内以很大的可能被包含在置信区间内,P P()=1-)=1-要尽可能大要尽可能大.即要求估计尽量可靠即要求估计尽量可靠.置信水平为置信水平为 0.950.95 是指是指 100 100 组样本值所得置信区间的组样本值所得置信区间的实现实现中中,就是说就是说 ,概率概率置信度置信度 置信概率置信概率 是随机区间是随机区间,而不是说一个而不是说一个实现实现以以 0.95 0.95 的概率覆盖了的概率覆盖了 .约有约有9595个能覆盖个能覆盖 ,现在学习的是第40页，共49页 置信水平的概率意
41、义置信水平的概率意义;并非一个并非一个实现实现以以 1-1-的概率覆盖了的概率覆盖了 .即要求置信区间的长度尽可能短即要求置信区间的长度尽可能短.估计的精度要尽可能的高估计的精度要尽可能的高.估计要尽量可靠估计要尽量可靠,即即 P P()=)=1-1-要尽可能大要尽可能大.可靠度与精度是一对矛盾可靠度与精度是一对矛盾,一般是在保证可一般是在保证可靠度的条件下尽可能提高精度靠度的条件下尽可能提高精度.将样本值代入将样本值代入 所得的普通区间称为所得的普通区间称为置信区间的实现置信区间的实现.现在学习的是第41页，共49页 X,S 2 分别是其样本均值和分别是其样本均值和样本方差样本方差,X N(
42、,2/n),),求参数求参数 、2 的置信水平为的置信水平为1-的置信区间的置信区间.设设 X1,Xn 是总体是总体 X N(,2)的样本的样本,确定未知参数的确定未知参数的估计量及其函数的分布估计量及其函数的分布 是是 的无偏估计量的无偏估计量,由分布求分位数由分布求分位数 即得置信区间即得置信区间(一一)单个正态总体置信区间的求法单个正态总体置信区间的求法(1)已知方差已知方差 2 时时 故可用故可用 X 作为作为 EX 的一个估计量的一个估计量,N(0,1),),对给定的置信度对给定的置信度 1-,按标准正态分布的双侧按标准正态分布的双侧 分位数的定义分位数的定义查正态分布表可得查正态分
43、布表可得 u /2,由由u /2确确定置信区间定置信区间 有了分布就可求出有了分布就可求出U 取值于任意区间的概率取值于任意区间的概率P 40简记为简记为 由抽样分布定理知由抽样分布定理知 1.均值均值 的置信区间的置信区间 现在学习的是第42页，共49页是求什么参数的置信区间是求什么参数的置信区间?置信水平置信水平 1-是多少是多少?1.寻找未知参数寻找未知参数 的一个良好的点估计量的一个良好的点估计量 (X1,X2,Xn);确定待估参数估计量确定待估参数估计量函数函数 U()的分布的分布;求置信区间首先要明确问题：求置信区间首先要明确问题：2.对于给定的置信水平对于给定的置信水平 1-,由
44、概率由概率 (,)就是就是 的的 100(1-)的置信区间的置信区间.一般步骤如下一般步骤如下:3.由分位数由分位数|U|x 确定置信区间确定置信区间(,).查表求出分布的分位数查表求出分布的分位数 x ,总体分布的形式是否已知总体分布的形式是否已知,是怎样的类是怎样的类型型,至关重要至关重要.现在学习的是第43页，共49页 某乡农民在联产承包责任制前人均纯收入某乡农民在联产承包责任制前人均纯收入 X(单位单位:元元),),求求 的置信水平为的置信水平为 0.95 的置信区间的置信区间.推行联产承包责任制后推行联产承包责任制后,在该乡抽得在该乡抽得 n=16 的样本的样本,且且 X N(300
45、,252).).解解 由于由于 =0.05,查正态分布表得查正态分布表得 例例1 得得 x=325元元,假设假设 2=25 2 没有变化没有变化,即得置信区间即得置信区间 (312.75,337.25 ).同一置信水平下的置信区间不唯一同一置信水平下的置信区间不唯一,如在上例中取如在上例中取 =0.01+0.04,由正态分布上侧分位数定义知由正态分布上侧分位数定义知 查表知查表知 u0.025=1.96,当然区间长度越短的估计当然区间长度越短的估计,精度就越高精度就越高.其长度也不相等其长度也不相等.区间长度为区间长度为 24.25 长度为长度为 25.5 谁是精度最高的？谁是精度最高的？由于
46、标准正态分布密度函数的图形是单峰且对称的由于标准正态分布密度函数的图形是单峰且对称的,在保持面积不变的条件下在保持面积不变的条件下,以对称区间的长度为最短以对称区间的长度为最短!现在学习的是第44页，共49页 但但的长度是最短的的长度是最短的,l 与与 n,的关系：的关系：可知可知,置信区间的长度置信区间的长度 l 为为:由置信区间公式由置信区间公式 l 随着随着 的减小而增大的减小而增大;20 若给定若给定 ,l 随着随着 n 的增大而减小的增大而减小;同一置信水平下的置信区间不唯一同一置信水平下的置信区间不唯一.其长度也不相等其长度也不相等.故我们总取它作为置信水平为故我们总取它作为置信水
47、平为 1-的置信区间的置信区间.若给定若给定 n,且由于且由于 l 与与 成反比成反比,减小的速度并不快减小的速度并不快,例如例如,n 由由 100 增至增至 400 时时,l 才能减小一半才能减小一半.则则 u /2 越大越大,l 就越大就越大,这时这时 就越小就越小.10 (u /2)就越大就越大,一般地一般地,在概率密度为单峰且对称的情形下在概率密度为单峰且对称的情形下,a=-b 对应的对应的置信区置信区间的长度为最短间的长度为最短.现在学习的是第45页，共49页 故不能采用已知方差的均值估计故不能采用已知方差的均值估计方法方法 由于由于 与与 有关有关,但其解决的思路一致但其解决的思路
48、一致.由于由于 S 2是是 2 的无偏估计量的无偏估计量,查查 t 分布表确定上侧分布表确定上侧 /2 分位数分位数令令 T=(2)未知方差未知方差 用用 分布的分位数求分布的分位数求 的置信区间的置信区间.故可用故可用 S 替代替代 的估计量的估计量:S t(n-1),),即为即为 的置信度为的置信度为 1-的区间估计的区间估计.2 时时 由抽样分布定理知由抽样分布定理知 实用价值更大实用价值更大!t /2(n-1),),现在学习的是第46页，共49页 测定总体服从正态分布测定总体服从正态分布,求总体均值求总体均值 的置信水平为的置信水平为 0.95 的置信区间的置信区间.解解 由于由于 /
49、2=0.025,查查 t 分布表得分布表得 例例2 为确定某种溶液中甲醛浓度为确定某种溶液中甲醛浓度,且其且其 4 个独立测量值的平均值个独立测量值的平均值 x=8.34%,样本标准差样本标准差 s=0.03%,即得置信区间即得置信区间自由度自由度 n-1=3,t 0.025=3.182,将将 x =8.34%代入代入 得得 现在学习的是第47页，共49页(2)未知时未知时 所以所以 2的置信水平为的置信水平为1-的区间估计为的区间估计为因为因为 2 的无偏估计为的无偏估计为 S 2,2.方差方差 2 的的置信区间的求法置信区间的求法 由抽样分布定理知由抽样分布定理知 2=由由确定确定 2 分
50、布的上侧分布的上侧 /2 分位数分位数找一个含找一个含 与与S,但不含但不含 ,且分布已知的统计量且分布已知的统计量 为了计算简单为了计算简单,在概率密度不对称的情形下在概率密度不对称的情形下,如如 2 分布分布,F 分布分布,习惯上习惯上仍取仍取对称的分位点对称的分位点来计算未知参数的置信区间来计算未知参数的置信区间.并不是最短的置信区间并不是最短的置信区间 /2 /2现在学习的是第48页，共49页 测定总体服从正态分布测定总体服从正态分布,求总体均值求总体均值 的置信水平为的置信水平为 0.95 的置信区间的置信区间.解解 由于由于 /2=0.025,查查 2 分布表得分布表得例例3 为确