《2023年最大似然估计学习总结概率论大作业.docx》由会员分享，可在线阅读，更多相关《2023年最大似然估计学习总结概率论大作业.docx（6页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、最大似然估计学习总结航天学院探测制导与控制技术杨若眉摘要：最大似然估计是一种记录方法，它用来求一个样本集的相关概率密度函数的参数。最 大似然法明确地使用概率模型，其目的是寻找可以以较高概率产生观测数据的系统发生树。 最大似然法是一类完全基于记录的系统发生树重建方法的代表。关键词：最大似然估计；离散：连续；概率密度最大似然估计是一种记录方法，它用来求一个样本集的相关概率密度函数的参数。这 个方法最早是遗传学家以及记录学家罗纳德费雪爵士在1 9 202 3至192 0 23间开始使 用的。“似然”是对likelihood的一种较为贴近文言文的翻译，“似然”用现代的中文来说即 “也许性”。故而，若称
2、之为“最大也许性估计”则更加通俗易懂。最大似然法明确地使用 概率模型，其目的是寻找可以以较高概率产生观测数据的系统发生树。最大似然法是一类完 全基于记录的系统发生树重建方法的代表。该方法在每组序列比对中考虑了每个核甘酸替 换的概率。最大似然法是要解决这样一个问题：给定一组数据和一个参数待定的模型,如何拟定模型 的参数，使得这个拟定参数后的模型在所有模型中产生一知数据的概率最大。通俗一点讲， 就是在什么情况下最有也许发生已知的事件。举个例子，假如有一个罐子，里面有黑白两种 颜色的球，数目多少不知，两种颜色的比例也不知。我们想知道罐中白球和黑球的比例，但 我们不能把罐中的球所有拿出来数。现在我们可
3、以每次任意从已经摇匀的罐中拿一个球出来, 记录球的颜色，然后把拿出来的球再放回罐中。这个过程可以反复，我们可以用记录的球的颜 色来估计罐中黑白球的比例。假如在前面的一百次反复记录中，有七十次是白球，请问罐中白 球所占的比例最有也许是多少？我想很多人立马有答案：70%。这个答案是对的的。可是为什么呢?（常识嘛!这还要问？!） 其实，在很多常识的背后，都有相应的理论支持。在上面的问题中，就有最大似然法的支持 例如，转换出现的概率大约是颠换的三倍。在一个三条序列的比对中，假如发现其中有一列 为一个C, 一个T和一个G,我们有理由认为，C和T所在的序列之间的关系很有也许更 接近。由于被研究序列的共同祖
4、先序列是未知的，概率的计算变得复杂;又由于也许在个 位点或多个位点发生多次替换,并且不是所有的位点都是互相独立，概率计算的复杂度进一步 加大。尽管如此，还是能用客观标准来计算每个位点的概率，计算表达序列关系的每棵也许的 树的概率。然后，根据定义，概率总和最大的那棵树最有也许是反映真实情况的系统发生树。 最大似然估计的原理给定一个概率分布D ,假定其概率密度函数(连续分布)或概率聚集函数(离散分布) 为fD ，以及一个分布参数0，我们可以从这个分布中抽出一个具有n个值的采样，通 过运用fD ,我们就能计算出其概率：P(Xl,X2,.,Xn) =/D(Xb.,Xn | 6)但是，我们也许不知道。的
5、值，尽管我们知道这些采样数据来自于分布D 。那么我们 如何才干估计出0呢？ 一个自然的想法是从这个分布中抽出一个具有n个值的采样X 1 ,X 2 , ,X n ,然后用这些采样数据来估计0 .一旦我们获得，我们就能从中找到一个关于0的估计。最大似然估计会寻找关于0的 最也许的值(即,在所有也许的0取值中，寻找一个值使这个采样的“也许性”最大化)。这 种方法正好同一些其他的估计方法不同，如0的非偏估计，非偏估计未必会输出一个最也许 的值，而是会输出一个既不高估也不低估的。值。要在数学上实现最大似然估计法，我们一方面要定义也许性：lik(O) = /D(rrb.| 0)并且在0的所有取值上，使这个
6、函数最大化。这个使也许性最大的值即被称为0的 最大似然估计。注意这里的也许性是指21,22, ,工不变时，关于o的一个函数。最大似然估计函数不一定是惟一的，甚至不一定存在。1 .作用在已知实验结果(即是样本)的情况下，用来估计满足这些样本分布的参数，把也许性最大的那个参数8作为真实夕的参数估计。2 .离散型设%为离散型随机变量,6 =（/，%，6Q为多维参数向量，假如随机变量1，互相独立 且概率计算式为PXi =/ = P（/；/，%），则可得概率函数为%I=%，Xn =爸i =/=1口（即61，久）,在8 = （81，%，6。固定期，上式表达乂 = xlt.,Xn =外的概率； 当，%n =
7、 /已知的时候，它乂变成8 = （“，鱼，久）的函数，可以把它记为 乙，%，%）=理=4（的；”,久；,称此函数为似然函数。似然函数值的大小意味着该样 本值出现的也许性的大小，既然已经得到了样本值X=%，Xn =4风那么它出现的也许性 应当是较大的，即似然函数的值也应当是比较大的，因而最大似然估计就是选择使 -%也，,%）达成最大值的那个夕作为真实小的估计。3 .连续型设为连续型随机变量，其概率密度函数为八/；，,%）, %，,为从该总体中抽出的样 本同样的假如Lb T互相独立且同分布,于是样本的联合概率密度为L（%，8z，,11之（的；8,8。大体过程同离散型同样。4 .关于概率密度（PDF
8、）我们来考虑个简朴的情况（0七1）,即是参数和样本都为1的情况。假设进行个实验，实验 次数定为10次，每次实验成功率为0. 2,那么不成功的概率为0.8,用y来表达成功的次数。 由于前后的实验是互相独立的，所以可以计算得到成功的次数的概率密度为：go.-S(g其中产0,10由于），的取值范围已定，并且3也为已知,所以图1显示了 1y取不同值时的概率分布情况，而图2显示了当LE_I时的y值概率情况。图2回运hm率分布图那么3在0 .1之间变化而形成的概率密度函数的集合就形成了一个模型。5 .最大似然估计的求法由上面的介绍可以知道,对于图1这种情况），=2是最有也许发生的事件。但是在现实中我们 还
9、会面临此外一种情况：我们已经知道了一系列的观测值和一个感爱好的模型，现在需要找 出是哪个PDF （具体来说参数旬为多少时）产生出来的这些观测值。要解决这个问题，就需 要用到参数估计的方法,在最大似然估计法中，我们对调PDF中数据向量和参数向量的角色, 于是可以得到似然函数的定义为：L3ly） = f （yIM该函数可以理解为,在给定了样本值的情况下，关于参数向量但取值情况的函数。还是以上面 的简朴实验情况为例，若此时给定），为7,那么可以得到关于3的似然函数为：10!=A =，G =小* = , 一 2十（a 产 IM I继续回顾前面所讲，图1,2是在给定3的情况下，样本向量），取值概率的分布
10、情况;而图3是 图1 ,2横纵坐标轴相互换而成，它所描述的似然函数图则指出在给定样本向量y的情况卜, 符合该取值样本分布的各种参数向量曲也许性。若相比于32,使得），=7出现的也许性 要高，那么理所当然的31要比32更加接近了真正的估计参数。所以求3的极大似然估计就归 结为求似然函数乙的最大值点。那么切取何值时似然函数=力最大，这就需要用到高等数学中求导的概念，假如是多维参数向量那么就是求偏导。图3乙（3愕二7）的似然函数分布图重要注意的是多数情况下，直接对变量进行求导反而会使得计算式子更加的复杂，此时可以 借用对数函数。由于对数函数是单调增函数，所以，与43） 具有相同的最大值点，而在许多情
11、况下，求ogHM的最大值点比较简朴。于是，我们将求“（3）的最大值点改为求,gL3）的最大值点。lnL(ay = 7) = bi13!7!3!+ 7ir,a)+ 3 %(1若该似然函数的导数存在，那么对109乂3）关于参数向量的各个参数求导数（当前情况向量维数为1 ），并命其等于零,得到方程组：OlnL（u.y = 7:737- 10（y= （I。3- S 1 61 - 6）（1 3）一可以求得3 = 7时似然函数有极值，为了进一步判断该点位最大值而不是最小值，可以继续 求二阶导来判断函数的凹凸性，假如口 二 07的二阶导为负数那么即是最大值，这里再不细 说。还要指出，若函数笳;，%）关于无，
12、熊的导数不存在，我们就无法得到似然方程组, 这时就必须用其它的方法来求最大似然估计值，例如用有界函数的增减性去求乂8）的最大值 点6.总结 最大似然估计，只是一种概率论在记录学的应用，它是参数估计的方法之一。说的是已知某 个随机样本满足某种概率分布,但是其中具体的参数不清楚，参数估计就是通过若干次实验， 观测其结果，运用结果推出参数的大约值0最大似然估计是建立在这样的思想上：已知某个 参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就 把这个参数作为估计的真实值。求最大似然函数估计值的一般环节：1(A)写出似然函数(2 ) 对似然函数取对数，并整理纵3 )求导数必4 ) 解似然方程对于最大似然估计方法的应用,需要结合特定的环境，由于它需要你提供样本的已知模型进而 来估算参数，例如在模式辨认中，我们可以规定目的符合高斯模型。