《第三章参数估计.pptx》由会员分享，可在线阅读，更多相关《第三章参数估计.pptx（39页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、1.矩估计法（简称矩估计法（简称“矩法矩法”）同时定义样本矩同时定义样本矩第1页/共39页令令 矩法矩法思想思想:用样本矩用样本矩Ak 作为总体同阶矩作为总体同阶矩k 的近似的近似,得出未知参数的估计得出未知参数的估计(k 由未知参数个数决定由未知参数个数决定).即即的的矩估计可记为矩估计可记为第2页/共39页解解：第3页/共39页2.极大似然估计法极大似然估计法 有一棋坛有一棋坛,放有黑白二种棋子放有黑白二种棋子,两种棋子的比例两种棋子的比例为为1:4,1:4,但不确定是黑但不确定是黑:白白=1:4=1:4还是白还是白:黑黑=1:4.=1:4.有放有放回抽两子回抽两子,发现全是黑的发现全是黑
2、的,估计是黑估计是黑:白白=1:4=1:4还是白还是白:黑黑=1:4?=1:4?自然会认为坛中黑子多。利用样本的信息选择自然会认为坛中黑子多。利用样本的信息选择参数使得事件发生的概率尽可能大，这就是极大似参数使得事件发生的概率尽可能大，这就是极大似然估计的思想。然估计的思想。第4页/共39页单参数情形单参数情形.未知的未知的不论如何变化不论如何变化,均应使均应使L()达最大值。达最大值。或或x1x2 xn第5页/共39页第6页/共39页极大似然估计法一般情形极大似然估计法一般情形为该总体的为该总体的似然函数似然函数.定义定义 极大似然估计法：作似然函数，求极值点极大似然估计法：作似然函数，求极
3、值点.第7页/共39页 若似然函数可导若似然函数可导,且能由导数等于零解出未知参且能由导数等于零解出未知参数数,则可由下列方程（组）则可由下列方程（组）解出似然估计解出似然估计或或 由似然方程解不出由似然方程解不出j 的似然估计时，可通过放的似然估计时，可通过放大缩小的方法直接推求。大缩小的方法直接推求。第8页/共39页解解：设设x1,xn是来自总体是来自总体X的样本，作的样本，作0 0第9页/共39页得得0lnL(,)关于关于单增单增,但但所以所以第10页/共39页极大似然估计法数值求解方法：极大似然估计法数值求解方法：说明：说明：事实上，除去少数总体和样本分布都比较简单的事实上，除去少数总
4、体和样本分布都比较简单的场合外，在绝大多数情况下，场合外，在绝大多数情况下，极大似然估计的似然方极大似然估计的似然方程的解往往没有解析表达式程的解往往没有解析表达式。例如总体为伽马分布，。例如总体为伽马分布，其中参数未知的时候，似然方程没有解析解。在这种其中参数未知的时候，似然方程没有解析解。在这种情况下要用数值方法情况下要用数值方法求解似然方程的数值解求解似然方程的数值解或者近似或者近似解。这里我们简单介绍一下广泛应用于似然方程数值解。这里我们简单介绍一下广泛应用于似然方程数值解的方法：牛顿解的方法：牛顿-拉夫森算法。拉夫森算法。第11页/共39页牛顿牛顿-拉夫森算法：拉夫森算法：1）标准形
5、式：）标准形式：2）梯度和）梯度和Hissian矩阵矩阵 梯度是一个函数变化率最大的方向，它是由一阶梯度是一个函数变化率最大的方向，它是由一阶偏导数形成的向量：偏导数形成的向量：当当 称为驻点称为驻点第12页/共39页Hissian矩阵是所有的二阶偏导数形成的矩阵：矩阵是所有的二阶偏导数形成的矩阵：第13页/共39页3）牛顿牛顿-拉夫森流程拉夫森流程第14页/共39页3.2 3.2 估计量的评选标准估计量的评选标准1.无偏性无偏性估计量的特性估计量的特性:例例例例 设总体为设总体为设总体为设总体为X X，其均值，其均值，其均值，其均值,方差方差方差方差 2 20 0都存在未知，都存在未知，都存
6、在未知，都存在未知，问问问问 的估计量的估计量的估计量的估计量 ,2 2的估计量的估计量的估计量的估计量 ，分别是否为分别是否为分别是否为分别是否为,2 2的无偏估计的无偏估计的无偏估计的无偏估计.第15页/共39页所以所以 E(Xi)=，D(Xi)=2，(i=1,n)E(Xi2)=D(Xi)E(Xi)2E(Xi1Xi)2 =222222=22解解：E(T)=2=E(Xi12)2E(Xi Xi1)E(Xi 2)=22第16页/共39页 有时候并不能找到无偏的估计量，那我们退而有时候并不能找到无偏的估计量，那我们退而求其次，寻找渐进无偏的一个估计量求其次，寻找渐进无偏的一个估计量第17页/共39
7、页第18页/共39页2.2.有效性有效性例例第19页/共39页定义：定义：一致最小方差无偏估计一致最小方差无偏估计如果存在一个如果存在一个 的一个无偏估计量的一个无偏估计量使得对于任何关于使得对于任何关于 的无偏估计的无偏估计 都都有有 则称则称 为为 的一致最小方差无的一致最小方差无偏估计（偏估计（UMVUUMVU）第20页/共39页 任意一个无偏估计的方差不可能无限制任意一个无偏估计的方差不可能无限制地小，在样本容量一定时，它有一个下限值。地小，在样本容量一定时，它有一个下限值。设总体设总体X的概率函数为的概率函数为，样本容量，样本容量是未知参数是未知参数的一个无偏估计。如果记：的一个无偏
8、估计。如果记：则则这个著名的关系式称为这个著名的关系式称为罗罗-克拉美不等式克拉美不等式第21页/共39页若若的无偏估计的无偏估计满满足足则则称称为为的有效估计的有效估计。例例 设总体设总体X X服从参数为服从参数为的泊松分布，的泊松分布，试试证：证：是是的有效估计的有效估计。第22页/共39页3.3.相合性相合性n无偏性与有效性都是基于样本容量n n固定的前提下提出的，我们希望随着样本容量的增大，一个估计量的值趋向于待估参数的真值。第23页/共39页3.3 3.3 区间估计区间估计总体未知参数的区间估计思想总体未知参数的区间估计思想:区间估计概念区间估计概念第24页/共39页一、区间估计的步
9、骤：一、区间估计的步骤：找待估参数的最好找待估参数的最好(无偏无偏)估计估计;由最好估计构造含待估参数、不含未知参数、由最好估计构造含待估参数、不含未知参数、分布已知的统计量分布已知的统计量Z;定两个常数定两个常数a,b,使使PaZb=1-且且(a,b)最短最短;由由aZb 解出解出12,(,(1,2)为所求为所求.有数据时，数据代入得到具体的置信区间有数据时，数据代入得到具体的置信区间.区间估计的理论依据（背景）区间估计的理论依据（背景）第25页/共39页二、单二、单正态总体均值与方差的置信区间正态总体均值与方差的置信区间1.单正态总体均值的置信区间单正态总体均值的置信区间(1)已知已知即得
10、即得 的置信区间为的置信区间为1-的置信区间为的置信区间为第26页/共39页(2)未知未知即得即得 的置信区间为的置信区间为1的置信区间为的置信区间为第27页/共39页2.单正态总体方差的置信区间单正态总体方差的置信区间(1)未知未知即得即得 的置信度为的置信度为1-的置信区间为的置信区间为第28页/共39页(2)已知已知即得即得 和和 的置信度为的置信度为1的置信区间分别为的置信区间分别为第29页/共39页三、双三、双正态总体均值差与方差比的置信区间正态总体均值差与方差比的置信区间第30页/共39页解解:(1):(1)N()第31页/共39页Z=0 xab得得2132的置信度为的置信度为1的
11、置信区间是的置信区间是数据代入数据代入1-N(0,1)第32页/共39页(2)t(m+n-2)Z=第33页/共39页0 xab1-t(m+n-2)得得2132的置信度为的置信度为1的置信区间是的置信区间是数据代入数据代入f(x)第34页/共39页解解:(1):(1)第35页/共39页Z=0 xF(n-1,m-1)1-ab得得212/322 的置信度为的置信度为1的置信区间是的置信区间是f(x)数数据据代代入入第36页/共39页第37页/共39页Z=0 xF(n,m)1-ab 得得212/322 的置信度为的置信度为1的的置信区间是置信区间是f(x)数据代入数据代入第38页/共39页感谢您的观看！第39页/共39页