《2022年概率混合模型 .pdf》由会员分享，可在线阅读，更多相关《2022年概率混合模型 .pdf（6页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、概率混合模型 (1) 概率混合模型可以简单的理解为有多个（甚至是无数个） 独立概率模型的凸组合 （Convex Combination） ，由于概率混合模型使用多个独立的概率分布， 它可以描述一个复杂的数据分布，无论数据分布的结构如何复杂，总可以通过增加成分的方式来描述数据分布的局部特性，因此概率混合模型成为最有效的密度工具以及最常用的聚类工具之一。广义的混合模型的一般表达式如下：Kkkkxwx1)(f)(f(1) 其中)(f x为具有 K 个独立成分的混合模型，）（xkf表示第 k 个成分，kw表示第k 个成分的权重，且Kkwk,.,10，由归一化条件，即11Kkkw。当混合模型中的成分是独
2、立的概率分布时，我们可以称之为概率混合模型。把)(f x换成)(P x，式(1)重写为下式Kkkkxwx1)(P)(P(2) kw除了表示权重外，这里可以认为是)(Pkx的先验概率。如果)(Pkx是带参数的概率模型， 可以用)|(Pkx或)(Pkx代替)(Pkx，k表示第 k 个成分的参数或参数集，K1,.,为混合模型的参数集合。用数学语言来描述概率混合模型的抽样过程。先用KccC,.,1表示异质性数据集Nxx ,.,X1的隐含类别属性集合， 用Kww ,.,1表示 K个类别的先验概率， 第 k 个类别的概率分布为kcG，则异质性数据集名师资料总结 - - -精品资料欢迎下载 - - - -
3、- - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 6 页 - - - - - - - - - 的产生由两部分构成：(1)在 K 个类别中抽样一次的多项式分布),., 1(1KKwwMult(2)第 k 个类别的概率分布kcG用数学表达为：),., 1(,.,|11KKKnwwMultwwy(3) )(|kknncGcyx(4) 使用概率混合密度基于观测到的数据集Nxx ,.,X1进行聚类和密度估计，实质就是样本生成过程的逆过程。概率混合模型样本生成的两个步骤：首先，从K 个可能类别中按一定的分布抽出y，即选取类标签；然后对于该标签
4、中成分按一定的概率分布抽出样本x。样本可以分成可观测部分x 和不可观测的隐藏标签 y，y 属于隐含类别集合C。令 x,y 的联合概率分布为P(x,y)，则 x 的边缘分布KkkkKkkkKkkxPwcPcyxPcyxPxP111)|()()|(),()(5) 将第 k 个类别的概率分布密度函数参数k代入， 同时用kw代替kcP表示第 k 个成分在整个混合模型中所占的权重。式(5)即是式 (2)。下面介绍一下高斯 (正态)分布，高斯分布一般表示为),(N，其概率密度函数为名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理
5、 - - - - - - - 第 2 页，共 6 页 - - - - - - - - - xxxD121221exp21),|(P(6) 其参数集为,。假设高斯混合模型有K 个成分，则高斯混合模型可以定义为KkkkkDkxxwx1121221exp2)(P(7) 极大似然估计是数学模型模拟数据集的常用方法，最优参数由下式得到：),(maxarg)|(logmaxarg),|(logmaxarg?,?*,11,1,kkwNnKkknkwNnkknwkkwLxPwwxPwkkkkkk(8) 求此函数的最大值，可化为求目标函数偏导的跟求得，即0,*kkkwL(9) 0,*kkkwwL(10) 期望最
6、大化算法提供一种迭代计算途径用于使用观测到的数据来估计不可观测的数据。 假设我们所需要估算数据集NzzZ,.,1的概率分布。我们只能观测到它的一部分， 用Nxx ,.,X1表示可观测部分的集合，Nyy ,.,Y1表示隐含部分的集合， 且nnnyxz，n=1,2,.N。当隐含变量为连续变量时，可观测部分X 概率分布可表示为dZZPXXZ)()|(|P(11) 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 6 页 - - - - - - - - - 当隐含变量为离散变量时，
7、可观测部分X 概率分布可表示为)()|(|PXZZPX(12) 其中 Z(X)表示满足 X(Z)=X 的 Z 的取值。 本文只考虑隐含变量为离散的情况。由模型参数为极大似然估计为)()|(logmaxarg)|(logmaxarg?XZZPXP(13) 由于没有完整的数据Z 用于计算)()|(logXZZP，我们对于隐含变量的认识只能来源在给定参数数据和任意参数时它的后验概率),|(XYP，我们可以转而计算关于隐含变量后验概率的期望，即|logEYZP，为此，我们定义如下函数Q )|,(log)?,|(?,|)|(log)?|(YXPXYPXZPEQYY(14) 其中?表示当前给定的参数， Y
8、 的分布由观测变量X 和当前参数?唯一确定。期望最大化算法的一般框架：1.初始化模型参数?；2.循环下列两步直至?不再变化：E 步骤：计算观测数据的后验概率),|(XYP；M 步骤：寻找新的?使式 (14)最大。下面以高斯混合模型为例，用期望最大化算法求解极大似然估名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 6 页 - - - - - - - - - 计。完整数据 (X,Y)的极大似然估计knknyknNnKkykkkxPwwYXP.)|(),|,(11(15) 两边
9、取对数，并建立Q 函数knkNnKkkknknYNnKkkkknkknYkkkkYkkkkxPwwxyEwXxPwyEwXwYXPEwwQ|loglog?,?,|?,?,|loglog?,?,|),|,(log?,?|,)?|(11.11.(16) 条件期望kknknYwxyE?,?,|.即为观测变量 X 的后验概率kknknwxyP?,?,|.，根据贝叶斯定理及后验概率总和为1 的约束条件得到：KkknkknkkknknxPwxPwwxy1.?|?|?,?,|P(17) 对 Q 求偏导可求出kkkw,。增量式混合模型是一种常见的在线学习模型，它能够用新颖的样本对当前的模型进行更新。此文提出一
10、种基于“一般到特定”的学习策略递归式混合模型。假定有 Z 个离线学习任务， 每个学习任务都有一定的样本域，我们基于所有离线任务样本域中正样本的集合（可以人工筛选），学习一个关于待测类概率混合模型*。 我们把基于离线学习任务中正样本集合得到的概率混合模型*称作“一般模型”。对于在线获得的特定样本域 X，必存在该样本的正样本X的子集SX，其在一般模型*的最大似然)|(*SXP可以无限趋近于该样本域特定模型?上的似然名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 6 页 - - - - - - - - - )?|(SXP，所以把一般模型*应用到特定样本域X 时，可以把 X 中的SX检测出来，检测出来的SX可以作为种子样本，通过一定的技术（针对不同的实际应用） 从种子样本出发收集更多该特定域的潜在正样本用于对一般模型*进行增量式更新。更新后的模型再次用于检测同一特定样本域X 以收集更多的新颖样本用于对当前模型的增量式更新，如此递归，直至收敛。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 6 页 - - - - - - - - -