《参数的点估计.ppt》由会员分享，可在线阅读，更多相关《参数的点估计.ppt（38页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、退出退出对概率分布中的未知参数对概率分布中的未知参数,若不能利用分布的归一性、随机变量的独立性、若不能利用分布的归一性、随机变量的独立性、特定取值概率间的特定联系等条件特定取值概率间的特定联系等条件,对参数的具体大小进行确定对参数的具体大小进行确定,那就不得不改从总体中抽取适度容量样本的方式、那就不得不改从总体中抽取适度容量样本的方式、通过对样本中所含的个体进行恰如其分的数学处理，来通过对样本中所含的个体进行恰如其分的数学处理，来直接猜测和推断参数的具体大小直接猜测和推断参数的具体大小.怎样的数学处理才叫恰如其分？怎样进行推断才令人可信？怎样的数学处理才叫恰如其分？怎样进行推断才令人可信？这正
2、是参数估计所意图解决的问题这正是参数估计所意图解决的问题.六六退出退出一一四四二二三三五五退出退出返回返回 对分布中未知参数对分布中未知参数 的近似取值或准确值的落入范的近似取值或准确值的落入范围进行的估计称为围进行的估计称为参数估计参数估计.其中其中,对参数近似取值进行的估计称为参数的对参数近似取值进行的估计称为参数的点估点估计计;对参数准确值的落入范围所进行的估计称为参数对参数准确值的落入范围所进行的估计称为参数的的区间估计区间估计.进行参数点估计所使用的统计量进行参数点估计所使用的统计量 称为参数的称为参数的点估点估计量计量;按点估计量依具体的样本值算出的参数值按点估计量依具体的样本值算
3、出的参数值 称为称为参数的参数的点估计值点估计值.类似的术语可同样地套用于区间估计中类似的术语可同样地套用于区间估计中.1.点估计与区间估计的概念点估计与区间估计的概念2.点估计量与点估计值点估计量与点估计值退出退出返回返回 1.无偏性无偏性 2.有效性有效性较好的无偏估计量较好的无偏估计量 应具较小的方差应具较小的方差好的估计量好的估计量 应能使应能使最好的无偏估计量最好的无偏估计量 应依应依 3.一致性（相合性）一致性（相合性）概率收敛于参数的准确值概率收敛于参数的准确值,即即退出退出返回返回 证证证证:总体的总体的样本均值样本均值 是是总体均值总体均值 的无偏估计的无偏估计.例例2-1
4、设设 X1,X2,X n 是总体是总体 X 的一个样本，的一个样本，试试总体数学期望总体数学期望样本算术平均样本算术平均量量故故样本均值样本均值 是是总体均值总体均值的的无偏估计量无偏估计量.样本均值的观测值样本均值的观测值 是是总体均值总体均值的的无偏估计值无偏估计值.故故样本方差样本方差 S2 是是总体方差总体方差的无偏估计的无偏估计.退出退出返回返回而而 证证证明证明:总体的总体的样本方差样本方差 S2 是是总体方差总体方差 的无偏估计的无偏估计.例例2-2 设设 X1,X2,X n 是总体是总体 X 的一个样本，的一个样本，证毕证毕.其中其中退出退出返回返回 例例2-3 设设 X1,X
5、2,X3,X4 是是总总体体 X 容容量量为为4 的的样样本本则则总总体体均值均值的以下无偏估计中的以下无偏估计中,最有效的点估计量是最有效的点估计量是 ()D.C.BA.B.解解同样同样,其中其中,最小的方差为最小的方差为最有效的估计量是最有效的估计量是且且 故故 是总体期望是总体期望 的无偏估计的无偏估计.例例2-4 设设 X1,X2,X3 是总体是总体 X 的样本三常数的样本三常数退出退出返回返回 证证而各而各试证明试证明:是总体期望是总体期望 的无偏估计的无偏估计.证毕证毕.则则 就是总体均值就是总体均值的无偏估计的无偏估计;试确定系数试确定系数 a 和和 b 记二者的样本均值记二者的
6、样本均值.试证明两系数试证明两系数 a 和和 b 只要满足条件只要满足条件 ,例例2-5 从总体从总体 X 中抽得容量为中抽得容量为n1,n2 的两样本的两样本.以以 分别分别而而退出退出返回返回 解解是总体均值是总体均值的无偏估计的无偏估计.的大小的大小,可使方差可使方差 取最小值取最小值.令令则则即即此外，此外，要要取最小，只需关于取最小，只需关于 a 的一元函数的一元函数令令退出退出返回返回可见函数仅有唯一驻点可见函数仅有唯一驻点 取最小值取最小值.又又则则 就是总体均值就是总体均值的无偏估计的无偏估计;试确定系数试确定系数 a 和和 b 记二者的样本均值记二者的样本均值.试证明两系数试
7、证明两系数 a 和和 b 只要满足条件只要满足条件 ,例例2-5 从总体从总体 X 中抽得容量为中抽得容量为n1,n2 的两样本的两样本.以以 分别分别的大小的大小,可使方差可使方差 取最小值取最小值.时，方差时，方差 取最小值取最小值.要要取最小，只需取最小，只需关于关于 a 的一元函数的一元函数 解解可知该唯可知该唯一驻点是函数的极小点，从而也一驻点是函数的极小点，从而也是函数的最小点是函数的最小点.因此，当因此，当 退出退出返回返回从而有从而有 证证 X R(1,),例例2-4 设总体设总体 X R(1,).证明证明:的估计量的估计量进而就有进而就有即即首先是参数首先是参数的无偏估计的无
8、偏估计.此外此外,又又是是的一致估计量的一致估计量.是参数是参数的一致估计的一致估计.退出退出返回返回可见可见,要确定参数的准确值要确定参数的准确值,必须发掘已知条件所隐含的其必须发掘已知条件所隐含的其本例无法利用概率分布的归一性确定本例无法利用概率分布的归一性确定的的其中其中,未知参数未知参数【求解分析求解分析】事实上事实上,依归一性依归一性,我们只能得出恒等式我们只能得出恒等式准确值准确值.设设X1,X2,Xn 是变量是变量 X 的简单随的简单随机样本机样本.试求参数试求参数 的矩估计量与极大似然估计量的矩估计量与极大似然估计量.例例1 设随机变量设随机变量X 的概率密度的概率密度它有关信
9、息它有关信息.例如例如,“简单随机样本简单随机样本”有何隐含的意思？有何隐含的意思？“矩估计量矩估计量”一词有何提示？一词有何提示？“极大似然估计量极大似然估计量”又有何提示？又有何提示？还有还有,(一般讲一般讲,总体数字特征不是总体原点矩总体数字特征不是总体原点矩,就是总就是总体中心矩体中心矩,或者可借总体原点矩与中心矩加以表示或者可借总体原点矩与中心矩加以表示)若用若用表示分布参数表示分布参数,则易知总体的数字特征则易知总体的数字特征(如数学期望和方差等如数学期望和方差等)都是总体分布参数都是总体分布参数的函数的函数,反过来反过来,分布参数也是总体数字特征的函数分布参数也是总体数字特征的函
10、数.退出退出返回返回 1.矩估计法矩估计法做点估计的基本思路做点估计的基本思路 同时同时,只要把计算只要把计算点估计值的求点估计值的求解解公式当作未公式当作未知参数知参数的的估计函数式估计函数式,就可轻松获得未知参数就可轻松获得未知参数的的点估计点估计(统计统计)量量 ,并称其为参数并称其为参数的矩估计量的矩估计量;估计时最高用到几阶矩估计时最高用到几阶矩,就说方法是几阶矩估计法就说方法是几阶矩估计法.因此因此,若用若用样本原点矩和样本中心矩的观测值样本原点矩和样本中心矩的观测值去近似总体的原点矩和中心矩去近似总体的原点矩和中心矩,就可通过解方程而解就可通过解方程而解出含在原点矩和中心矩内的总
11、体分布参数的近似值出含在原点矩和中心矩内的总体分布参数的近似值,并将其视为总体分布参数并将其视为总体分布参数的点估计值的点估计值 .总体总体 k 次方数学期望次方数学期望 的别名的别名即总体的即总体的 k 阶原点矩阶原点矩;总体方差总体方差 的别名的别名即总体的二阶中心矩即总体的二阶中心矩.退出退出返回返回 估计之初就应明确估计之初就应明确总体数学期望总体数学期望 的别名的别名即即总体总体X 的一阶原点矩的一阶原点矩,样本一阶原点矩样本一阶原点矩 即即样本均值样本均值(算术平均量算术平均量);但样本二阶中心矩但样本二阶中心矩 不是样本方差不是样本方差.还应提醒自己还应提醒自己2.用矩估计法进行
12、点估计的用矩估计法进行点估计的ABC总体平方数学期望总体平方数学期望 的别名的别名即总体的二阶原点矩即总体的二阶原点矩,退出退出返回返回 X 的一阶原点矩的一阶原点矩(即数学期望即数学期望)其中其中,未知参数未知参数【解解】即可得出即可得出 的矩估计值的矩估计值设设 X1,X2,X n 是总体是总体 X 的简的简单随机样本单随机样本.试求参数试求参数 的矩估计量的矩估计量.例例3 随机变量随机变量 X 的概率密度的概率密度从而从而 的矩估计量的矩估计量即是即是 只要令样本一阶原点矩只要令样本一阶原点矩 的观察值的观察值 与之相等与之相等,即令即令 求总体求总体含有未知参数含有未知参数的数学期望
13、和方的数学期望和方差差等数字特征等数字特征 g().并能正确地并能正确地用总体的用总体的一阶原点矩和二阶中心矩一阶原点矩和二阶中心矩等术语等术语解读它们解读它们退出退出返回返回3.用矩估计法进行点估计的用矩估计法进行点估计的一般步骤一般步骤 将将矩估计值矩估计值计算式计算式 中中表示矩估表示矩估计值与样本矩观测值计值与样本矩观测值的小写字母分别改写成的小写字母分别改写成大写字母大写字母,即得未知参数的矩估计量即得未知参数的矩估计量作为作为参数参数的的矩估计值矩估计值 .令样本一阶原点矩令样本一阶原点矩 的观测值的观测值 (或样或样本二阶中心矩本二阶中心矩 的观测值的观测值 )近似地等于总近似地
14、等于总体的一阶原点矩体的一阶原点矩(或二阶中心矩或二阶中心矩),即令即令再将再将反解出的反解出的退出退出返回返回又又总体总体X 的数学期望即其一阶原点矩，的数学期望即其一阶原点矩，随机样本随机样本,且总体的分布参数且总体的分布参数未知未知.试求其矩估计量试求其矩估计量.【解一解一】就可得出就可得出 的矩估计值的矩估计值例例4 设设 X1,X2,X n 是参数为是参数为的泊松总体的泊松总体 X 的简单的简单而而 的矩估计量的矩估计量则是则是 令样本一阶原点矩令样本一阶原点矩 的观测值的观测值 与之相等与之相等,即令即令 总总体体均均值值即即总总体体的的一一阶阶原原点点矩矩 A1,故故其其矩矩估估
15、计计值值为为样样本一阶原点矩的观测值本一阶原点矩的观测值,即即退出退出返回返回观测值观测值.解解此外此外,总体样本方差总体样本方差 S2 的观测值为的观测值为 总总体体方方差差是是总总体体的的二二阶阶中中心心矩矩 B2,故故其其矩矩估估计计值值为为样样本本二二阶中心矩的观测值阶中心矩的观测值,即即试求总体均值试求总体均值、总体方差、总体方差2 的矩估计值与样本方差的矩估计值与样本方差S2 的的74.001,74.005,74.003,74.001,74.000,73.998,74.006,74.002 例例5 随机抽取随机抽取8只活塞环只活塞环,测出的直径依次为测出的直径依次为:在随机世界里在
16、随机世界里,发生概率最大的事件实际出现发生概率最大的事件实际出现的可能性最大的可能性最大.由于用抽样算得由于用抽样算得的事件概率的事件概率L()是是参数参数的函数的函数,因而不同参数值以样本为依据所算出因而不同参数值以样本为依据所算出的事件概率必然会有大有小的事件概率必然会有大有小.因此因此,最可能的参数值最可能的参数值应是使似然函数应是使似然函数L()取最大的值取最大的值.退出退出返回返回 (事件发生概率表现为参数事件发生概率表现为参数 的函数的函数L()时时,该函数该函数通常称为样本的似然函数通常称为样本的似然函数.使使似然函数似然函数L()取最大值的点取最大值的点 称为称为参数参数 的的
17、极大极大或或最大似然点最大似然点.用极大似然点用极大似然点 作为待估参数点估计值的方法称为作为待估参数点估计值的方法称为极大似然估计法极大似然估计法 )1.用极大似然估计法做点估计的用极大似然估计法做点估计的基本思路基本思路 若用若用表示分布参数表示分布参数,则显然总体的分布律或则显然总体的分布律或者概率密度中必含有参数者概率密度中必含有参数,从而以其为基本工具所从而以其为基本工具所算出的事件发生概率算出的事件发生概率,也势必是也势必是 的函数的函数 L().退出退出返回返回 当当总体的分布律总体的分布律是是 时时,其点估计其点估计的样本的样本似然函数似然函数之形态也必为之形态也必为其其对数似
18、然函数对数似然函数的形态则为的形态则为.1.用极大似然估计法做点估计的用极大似然估计法做点估计的基本思路基本思路 当当总体的概率密度总体的概率密度是是 时时,其点估计的样其点估计的样本本似然函数似然函数之形态必为之形态必为其其对数似然函数对数似然函数的形态则为的形态则为.若若似似然然函函数数无无驻驻点点，则则只只能能直直接接对对其其求求极极、最最值值 依依似然函数似然函数的复杂程度的复杂程度,决定是否应并实际对决定是否应并实际对其其取自然对数取自然对数,得出对数似然函数得出对数似然函数 根据总体的分布律或概率密度根据总体的分布律或概率密度构造似然函数构造似然函数 2.用极大似然估计法进行点估计
19、的用极大似然估计法进行点估计的一般步骤一般步骤 将极大似然估计值将极大似然估计值计算式计算式 中中表示表示估计值与样本观测值估计值与样本观测值的的小写字母分别改写成大写字小写字母分别改写成大写字母母,即得未知参数的极大似然估计量即得未知参数的极大似然估计量 退出退出返回返回 求似然函数求似然函数或或对数似然函数对数似然函数的驻点的驻点,即令导数即令导数 或或 .其解即其解即 的的极大似然点极大似然点或或极大似然估计值极大似然估计值 .注注意意：此此步步骤骤仅仅为为对对大大多多数数情情况况适适用用的的一一般般步步骤骤退出退出返回返回其中其中,未知参数未知参数设设X1,X2,Xn 是是总总体体 X
20、 的的简简单单随机样本随机样本.试求参数试求参数 的极大似然估计量的极大似然估计量.例例5 随机变量随机变量 X 的概率密度的概率密度因为似然函数因为似然函数【解解】所以只要令所以只要令对数似然函数对数似然函数进而可知极大似然估计量进而可知极大似然估计量即立得极大似然估计值即立得极大似然估计值例例6 总体总体 X R(0,),其中其中,未知参数未知参数 设设X1,X2,退出退出返回返回【解解】,X n 是总体的简单随机样本是总体的简单随机样本.求参数求参数的极大似然估计量的极大似然估计量.总体总体X 的概率密度显然为的概率密度显然为其最值只能在其定义区间上取得其最值只能在其定义区间上取得.又因
21、为此函数为单调函数又因为此函数为单调函数,所以所以因为似然函数因为似然函数则必同时有下二式成立则必同时有下二式成立记记进而可知极大似然估计量进而可知极大似然估计量可见可见,其极大似然估计值应为其极大似然估计值应为退出退出返回返回 X 的一阶原点矩即数学期望的一阶原点矩即数学期望0.01,0.06,0.02.试计算试计算 的矩估计值与极大似然估计值的矩估计值与极大似然估计值.【解解】即可得出即可得出 的矩估计值的矩估计值X1,X2,X 8 是来自总体是来自总体 X 的样本的样本.试求参数试求参数 的矩估计量的矩估计量与极大似然估计量与极大似然估计量.若抽取的样本值为若抽取的样本值为0.02,0.
22、05,0.03,0.02,0.03,例例7 已知总体已知总体 X 的概率密度为的概率密度为从而从而 的矩估计量的矩估计量即是即是 取样本一阶原点矩取样本一阶原点矩 的观察值的观察值 为之近似值为之近似值,即令即令退出退出返回返回0.02,0.06,0.02.试计算试计算 的矩估计值与极大似然估计值的矩估计值与极大似然估计值.X1,X2,X 8 是来自总体是来自总体 X 的样本的样本.试求参数试求参数 的矩估计量的矩估计量与极大似然估计量与极大似然估计量.若抽取的样本值为若抽取的样本值为0.01,0.05,0.03,0.02,0.03,例例7 已知总体已知总体 X 的概率密度为的概率密度为因为似
23、然函数因为似然函数【解解】所以只要令所以只要令对数似然函数对数似然函数进而可知极大似然估计量进而可知极大似然估计量即立得极大似然估计值即立得极大似然估计值为什么为什么 总是总体均值总是总体均值的无偏估计的无偏估计;问三系数问三系数 分别记三者的样本均值分别记三者的样本均值.说明任意三系数说明任意三系数a,b,c 满足满足 时时,例例8 从总体从总体 X 中抽得容量为中抽得容量为n1,n2,n3 的三样本的三样本.以以而而退出退出返回返回 解解始终是总体均值始终是总体均值的无偏估计的无偏估计.a,b,c 各为多大时各为多大时,可使方差可使方差 的值最小的值最小?令令则则即即为什么为什么 总是总体
24、均值总是总体均值的无偏估计的无偏估计;问三系数问三系数 分别记三者的样本均值分别记三者的样本均值.说明任意三系数说明任意三系数a,b,c 满足满足 时时,例例8 从总体从总体 X 中抽得容量为中抽得容量为n1,n2,n3 的三样本的三样本.以以于是，依于是，依LagrangeLagrange乘数法，令乘数法，令退出退出返回返回则由则由 的值最小，只须使三元函数的值最小，只须使三元函数 取最小值取最小值.a,b,c 各为多大时各为多大时,可使方差可使方差 的值最小的值最小?另外，另外，要要即可解出即可解出 解解课外书面练习退出退出返回返回概率统计练习册概率统计练习册P37,P38 P37:1.(
25、点估计，点估计量与点估计值的概念点估计，点估计量与点估计值的概念)2.(指出矩估计与极大似然估计的基本步骤指出矩估计与极大似然估计的基本步骤)3.(指出总体均值与总体方差的矩估计量指出总体均值与总体方差的矩估计量)4.(指出均匀总体与正态总体未知参数的矩估计量指出均匀总体与正态总体未知参数的矩估计量)5.(指出总体方差两种不同估计的有偏与无偏性指出总体方差两种不同估计的有偏与无偏性)6.(指出正态总体均值的无偏估计量指出正态总体均值的无偏估计量)课外书面练习退出退出返回返回概率统计练习册概率统计练习册 P37:7.(求统计值求统计值-矩估计值与样本方差的观测值矩估计值与样本方差的观测值)P38
26、:8.(求总体分布参数的矩估计与极大似然估计求总体分布参数的矩估计与极大似然估计)9.(求泊松总体分布参数的矩估计与极大似然估计求泊松总体分布参数的矩估计与极大似然估计)2.样本样本,总体总体,L(),点估计值点估计值;9.3.参考答案参考答案4.矩估计量矩估计量7.1.点估计点估计,点估计量点估计量,点估计值点估计值;8.5.6.矩估计值矩估计值极大似然估计量极大似然估计量极大似然估计值极大似然估计值退出退出返回返回退出退出返回返回矩估计矩估计极大似然估计极大似然估计基本思路基本思路矩估计与极大似然估计的基本思路与结论矩估计与极大似然估计的基本思路与结论基本结论基本结论用样本算术平均值用样本
27、算术平均值(一阶原点矩的观测值一阶原点矩的观测值)近似数学期望近似数学期望E(X)用样本二阶中心矩用样本二阶中心矩的观测值的观测值b2近似方差近似方差D(X)用极大似然函数用极大似然函数 (样本的联合概率密度样本的联合概率密度)或对数极大似然函数的或对数极大似然函数的极大点极大点(一般只要是驻点一般只要是驻点即足即足)作为参数作为参数的最可的最可能估计值能估计值.退出退出返回返回常用分布中有关参数的矩估计值与极大似然估计值常用分布中有关参数的矩估计值与极大似然估计值矩估计值矩估计值极大似然估计值极大似然估计值分布与参数分布与参数退出退出返回返回常用分布中有关参数的矩估计值与极大似然估计值常用分布中有关参数的矩估计值与极大似然估计值矩估计值矩估计值极大似然估计值极大似然估计值分布与参数分布与参数退出退出返回返回又又总体总体X 的数学期望即其一阶原点矩，的数学期望即其一阶原点矩，随机样本随机样本,且总体的分布参数且总体的分布参数未知未知.试求其矩估计量试求其矩估计量.【解二解二】就可得出就可得出 的矩估计值的矩估计值例例4 设设 X1,X2,X n 是参数为是参数为的泊松总体的泊松总体 X 的简单的简单而而 的矩估计量的矩估计量则是则是 令样本一阶原点矩令样本一阶原点矩 的观测值的观测值 与之相等与之相等,即令即令