多元统计模型讲稿.ppt

《多元统计模型讲稿.ppt》由会员分享，可在线阅读，更多相关《多元统计模型讲稿.ppt（46页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、多元统计模型第一页，讲稿共四十六页哦1问题引入2思路点拨3判别分析方法4DNA序列分类问题的求解5.参考文献目 录第二页，讲稿共四十六页哦 首先，我们来考虑一下2000年“网易杯”全国大学生数学建模竞赛的A题是关于“DNA序列分类”的问题 1问题引入第三页，讲稿共四十六页哦 人类基因组中的DNA全序列是由4个碱基A，T，C，G按一定顺序排成的长约30亿的序列，毫无疑问，这是一本记录着人类自身生老病死及遗传进化的全部信息的“天书”。但是，除了这四种碱基外，人们对它所包含的内容知之甚少，如何破译这部“天书”是二十一世纪最重要的任务之一。在这个目标中，研究DNA全序列具有什么结构，由这4个字符排成的

2、看似随机的序列中隐藏着什么规律，又是解读这部天书的基础，是生物信息学（Bioinformatics）最重要的课题之一。第四页，讲稿共四十六页哦虽然人类对这部“天书”知之甚少，但也发现了DNA序列中的一些规律性和结构。例如，在全序列中有一些是用于编码蛋白质的序列片段，即由这4个字符组成的64种不同的3字符串，其中大多数用于编码构成蛋白质的20种氨基酸。又例如，在不用于编码蛋白质的序列片段中，A和T的含量特别多些，于是以某些碱基特别丰富作为特征去研究DNA序列的结构也取得了一些结果。此外，利用统计的方法还发现序列的某些片段之间具有相关性，等等。这些发现让人们相信，DNA序列中存在着局部的和全局性的

3、结构，充分发掘序列的结构对理解DNA全序列是十分有意义的。第五页，讲稿共四十六页哦作为研究DNA序列的结构的尝试，试对以下序列进行分类：问题一：下面有20个已知类别的人工制造的序列（见附件1），其中序列标号110 为A类，11-20为B类。请从中提取特征，构造分类方法，并用这些已知类别的序列，衡量你的方法是否足够好。然后用你认为满意的方法，对另外20个未标明类别的人工序列（标号2140）进行分类，把结果用序号（按从小到大的顺序）标明它们的类别（无法分类的不写入）：A类 ；B类 。第六页，讲稿共四十六页哦问题二：请对 182个自然DNA序列（http:/ 问题的本 质对另外20个未标明类别的DN

4、A序列进行分类 根据所给的20个已知类别的DNA序列所提供的信息 对182个自然DNA序列进行分类 第八页，讲稿共四十六页哦 如果将每一个DNA序列都看作样本，那么该问题就进一步提炼成一个纯粹的数学问题：设有两个总体（类）和 ，其分布特征（来自各个总体的样本）已知，对给定的新品 ，我们需要判断其属于哪个总体（类）。对于上面的数学问题，可以用很多成熟的方法来解决，例如：（1）BP神经网络；（2）聚类分析；（3）判别分析；等等。1G2GX第九页，讲稿共四十六页哦 如何选取方法是建模过程中需要解决的另外一个问题：BP神经网络是人工神经网络的一种，它通过对训练样本的学习，提取样本的隐含信息，进而对新样

5、本的类别进行预测。BP神经网络可以用以解决上面的DNA序列分类问题，但是，如何提取特征、如何提高网络的训练效率、如何提高网络的容错能力、如何建立网络结构是能否成功解决DNA序列分类问题的关键所在；聚类分析和判别分析都是多元统计分析中的经典方法，都可以用来将对象（或观测值）分成不同的集合或类别，但是，聚类分析更侧重于“探索”对象（或观测值）的自然分组方式，而判别分析则侧重于将未知类别的对象（或观测值）“归结”（或者说，分配）到已知类别中。显然，判别分析更适合用来解决上面的DNA序列分类问题。第十页，讲稿共四十六页哦3判别分析方法 判别分析是用于判别样品所属类别的一种多元统计分析方法。判别分析问题

6、都可以这样描述：设有 个 维的总体 ，其分布特征已知（如已知分布函数分别为 或者已知来自各个总体的样本），对给定的一个新样品 ，我们需要判断其属于哪个总体。一般来说，根据判别规则的不同，可以得到不同的判别方法，例如，距离判别、贝叶斯（Bayes）判别、费希尔（Fisher）判别、逐步判别、序贯判别等。这里，我们简单介绍三个常用的判别方法：距离判别、贝叶斯（Bayes）判别和费希尔（Fisher）判别。km12,kG GG12(),(),()kFx F xF xX第十一页，讲稿共四十六页哦判 别 分 析 方 法1.距离判别2.贝叶斯（Bayes）判别3.费希尔（Fisher）判别4.判别分析模型

7、的 显著性检验 第十二页，讲稿共四十六页哦3.1 距离判别 距离判别的基本思想：样品 X离哪个总体的距离最近，就判断 X 属于哪个总体。这里的“距离”是通常意义下的距离（欧几里得距离：在 m 维欧几里得空间 R 中，两点 与 的欧几里得距离，也就是通常我们所说的距离为 ）吗？带着这个疑问，我们来考虑这样一个问题：TmxxxX),(21TmyyyY),(2122222112)()()(),(mmYXYXYXYXd第十三页，讲稿共四十六页哦21,GG),(21NX)6,(22NY 设有两个正态总体 ，和 ，现在有一个新的样品位于 A 处（参见图1）1d2d 从图中不难看出：，是否 A 处的样品属于

8、总体 呢？21d d1G图 1第十四页，讲稿共四十六页哦 显然不是，因为从概率的角度来看，总体 的样本比较分散，而总体 的样本则非常集中，因此 处的样品属于总体 的概率明显大于属于总体 的概率，也就是说，处的样品属于总体 的“可能性”明显大于属于总体 的“可能性”！这也说明了用欧几里得距离来度量样品到总体距离的局限性。因此，需要引入新的距离概念这就是下面给出的马氏距离。2G1G2G1GA1G2GA2G第十五页，讲稿共四十六页哦定义1（马氏距离）：设总体 G 为 m 维总体（m 个因素或指标），其均值向量为 （这里 T 表示转置），协方差阵为 ，则样品 到总体 G 的马氏距离定义为Tm),(21

9、mmij)(TmxxxX),(21)()(),(12XXGXdT第十六页，讲稿共四十六页哦3.1.1 两总体的距离判别 先考虑两个总体（）的情况。设有两个总体 和 ,和 分别是 和 的协方差阵，和 分别是 和 的均值。对于新的样品 ，需要判断它来自那个总体。设来自（）的训练样本为其中 表示来自哪个总体，表示来自总体 的样本量。2k1G2G121G2G121G2GXiG2,1iTijmijijijxxxX),(212,1iinj,2,1 iG第十七页，讲稿共四十六页哦要判断新样品 来自哪个总体，一般的想法是分别计算新样品到两个总体的马氏距离 和 ：如果 则判定 ；反之，如果 则判定 ：即 （1）

10、A.时的判别方法21X),(12GXd),(22GXd),(),(2212GXdGXd1GX),(),(2212GXdGXd2GX2211222212,(,)(,),(,)(,)X Gd XGd XGX Gd XGd XG if:if:第十八页，讲稿共四十六页哦其中 ，记 为了得到更简单的判别规则，我们下面计算新样品到两个总体的马氏距离 和 的差221211112211121112211221(,)(,)()()()()2()2()()22()TTTTTTTdX GdX GXXXXXXX ),(12GXd),(22GXd)(2121)(211)()(XXWT第十九页，讲稿共四十六页哦显然，判别

11、规则（1）式等价于 （2）通常，称 为判别系数向量称 为线性判别函数。注意判别准则（1）式或者（2）式将 维空间 划分成两部分：和 也即 。距离判别的实质就是：给出空间 的一个划分 和 ，如果样品 落入 之中，则判定 ；如果样品 落入 之中，则判定 。12,()0,()0X GW XX GW Xif:if:)(XWmmR 0)(|1XWXD 0)(|2XWXD21DDRmmR1D2DX1D1GXX2D2GX第二十页，讲稿共四十六页哦 当 时，根据判别准则（1）式，我们同样的给出判别函数 为相应的判别规则为 （3）B.时的判别方法2121)(XW)()()()()(21221111XXXXXWT

12、T12,()0,:()0XGW XXGif W Xif:第二十一页，讲稿共四十六页哦 在实际应用中，总体的均值和协方差阵一般是未知的，我们所知道的仅仅是一组样本或者观测值，在这种情况下，就需要利用数理统计的知识，对 进行估计。利用已知样本，易得 的无偏估计分别为C.的估计 2121,2121,2121,111111njjXnX212221njjXnX11111111)(11njTjjXXXXnS21222222)(11njTjjXXXXnS第二十二页，讲稿共四十六页哦 对于多个总体的情况，可以类似于两个总体的处理过程，我们给出如下的步骤：第一步：计算样品 到每个总体的马氏距离 ；第二步：比较

13、的大小，将样品 判为距离最小的那个总体。如果均值为：和协方差：未知，可以类似两个总体的情形运用训练样本来进行估计。这里不再赘述。3.1.2 多总体的距离判别X),2,1)(2kiXdi),2,1)(2kiXdiX),2,1(kii),2,1(kii第二十三页，讲稿共四十六页哦3.1.3 距离判别的不足 距离判别方法简单实用，容易实现，并且结论的意义明确。但是，距离判别没有考虑：（1）各总体本身出现的可能性在距离判别中没有考虑；（2）错判造成的损失在距离判别中也没有考虑。在很多情况下，不考虑上面的两种因素是不合理的。贝叶斯（Bayes）判别方法克服了距离判别的不足。第二十四页，讲稿共四十六页哦与

14、前面距离判别方法不同的是：所谓贝叶斯（Bayes）判别，就是在考虑各总体的先验概率和错判损失的情况下，给出空间 的一个划分：，使得运用此划分来判别归类时，所带来的平均错判损失最小。3.2 贝叶斯判别mR,21kDDDD第二十五页，讲稿共四十六页哦贝叶斯（Bayes）判别问题的数学描述为：设有 个 维的总体 ，其密度函数分别为 ，若已知这 个总体各自出现的概率（先验概率）为 （，且 ），假设已知将本来属于总体 的样品错判为总体 所造成的损失为 。在这样的情形下，对于新的样品 ，需要判断它来自那个总体。为了给出贝叶斯（Bayes）判别准则，我们从下面几个方面来讨论：kmkGGG,21)(,),()

15、,(21xfxfxfkk12,kqqq0iq11kiiqiGjG),2,1,)(|(kjiijLX第二十六页，讲稿共四十六页哦 先验概率表示对各总体的先知认识，或者说，事先对所研究的问题所具有的认识。一般来说，先验概率并不容易获得，其更多的来自于长期累积的经验。先验概率可以通过下面几种赋值方法得到：基于经验或者历史资料进行估计；利用训练样本中各种样品所占的比例 作为 的值。其中 表示第 类总体的样品数，是总训练样本数，该方法要求训练样本是通过随机抽样得到的；3.假定 。nniiqiniknnnn21kqqqk/121A.确定先验概率第二十七页，讲稿共四十六页哦 这里用 表示将本来属于总体 的样

16、品错判为总体 的概率，即误判概率，显然，根据概率的定义，易得：（）（4）实际上，（4）式的几何意义是很明显的，见图2。B.确定错判概率 )|(ijPiGjGjDidXXfijP)()|(ij 图2表示的是两个正态总体的误判概率示意图。第二十八页，讲稿共四十六页哦误判概率的估计方法有以下几种：（1）利用训练样本为检验集，用判别方法对训练样本进行判断，统计误判的样本个数，计算误判样本占总样本的比例，并作为误判概率的估计值；（2）当训练样本足够大时，从训练样本中预留一部分作为检验集，并记录判错的比率，作为误判概率的估计值；（3）运用舍一法：每次预留一个样本来检验，用剩下 的样本建立判别准则，循环检验

17、完所有训练样本，记录判错的比率，以此作为误判概率的估计值。1n第二十九页，讲稿共四十六页哦C.确定错判损失 错判必然带来损失。现实中，错判的损失一般来说很难定量给出。但是可以运用赋值法来确定：（1）根据经验或者实际问题的特征人为 确定；（2）假设各种误判损失都相等。第三十页，讲稿共四十六页哦 基于前面的讨论，运用概率知识：判别法 将本来属于总体 的样本错判给其它总体的平均损失为那么，关于先验概率的平均错判损失 为 （5）如果能找到 使得平均损失 达到最小，那么 就称为贝叶斯（Bayes）判别的解。DiGkjiijLijPDr1)|()|()()(DgkjkiiikiiijLijPqDrqDg1

18、11)|()|()()(*D)(*Dg*DD.确定平均损失第三十一页，讲稿共四十六页哦定理1：设有 个总体：，已知 的联合密度函数为 ，先验概率为 ，错判损失为 ，则贝叶斯（Bayes）判别的解为 其中 （6）下面给出贝叶斯（Bayes）判别的解的主要结论：kkGGG,21iG)(Xfi),2,1(kiqi)|(ijL,*2*1*kDDDD),2,1(,2,1,),()(|*kikjijXhXhXDjiikiiijXfijLqXh1)()|()(第三十二页，讲稿共四十六页哦 3.3 费希尔判别 费希尔判别的基本思想：借助于方差分析的思想，利用投影将 元的数据投影到某一个方向，使得投影后组与组之

19、间的差异尽可能的大，然后根据一定的判别规则对新样本的类别进行判断。首先构造一个线性判别函数 （7）可见上面的函数将 元的数据投影到了一个方向，系数 的确定原则是使得总体间的差异最大，总体内部的离差最小。mmmTXaXaXaXAXU2211)(mTmaaaA),(21第三十三页，讲稿共四十六页哦A.确定线性判别函数 设有 个 元总体：，它们的均值为：；协方差为：。在 的条件下，有 令这里确定 ，使得 个总体间的差异最大，总体内部的离差最小，则 应该达到最大。kmkGGG,21),2,1(kii),2,1(kiiiGX iTTTAXEAXAE)()(ki,2,1AAAXDAXADiTTT)()(k

20、i,2,1AAAAeTkiiT1BAAAkAAAbTkiiiTkiTiT)(112kiik11kii1kBkiii1AkAABAAebATT)(第三十四页，讲稿共四十六页哦为了确保 的唯一性，不妨设 。因此，问题转化为：在条件 约束下，求 使得 式达到最大这是大家非常熟悉的条件极值的问题。根据拉格朗日乘子法：求解得 （8）由方程（8）第一式知，是 的特征根，是相应的特征向量。可以证明 （的大小可以衡量判别函数 的判别效果，故称 为判别效率）。设 的非零特征根为 ，相应的满足约束条件的特征向量为 ，显然，取 时 达到最大。A1AAT1AATABAAT)1()(AABAAATT010)(2AAdd

21、ABdAdTB1A)(A)(A)(XU)(AB1021rrlll,211lA 1)(A第三十五页，讲稿共四十六页哦B.确定判别规则 假设系数 已经求出，那么线性判别函数 就完全确定下来，对于一个新的样品 ，可以构造下面的判别规则：（9）TmaaaA),(21)(XUX1,|min|iTTTTijj kX GA X AA X A if:第三十六页，讲稿共四十六页哦3.4 判别分析模型的显著性检验 建立了判别分析模型以后还需要对模型进行评价，这就需要对判别分析模型的显著性进行检验，主要包括两个方面：判别效果的检验和各变量判别能力的检验1，2。所谓判别效果的检验就是检验 k 个总体的均值是否有显著的

22、差异，反映了采用判别分析模型的有效性问题；各变量判别能力的检验反映的是各指标（因素）对判别分类所起的作用时候显著。具体的检验方法因为过于复杂，这里不再赘述。需要说明的是，作为多元统计分析中的经典方法，判别分析在许多关于多元统计分析的教材中均有详细而深刻的论述。第三十七页，讲稿共四十六页哦4DNA序列分类问题的求解 关于DNA序列分类问题的讨论和分析，我们在第1部分和第2部分已经作了详细的分析和讨论。这里，我们将根据多元统计分析的知识建立判别分析模型来求解DNA序列的分类问题（这里只求解问题一）。首先，需要提取每条序列的所蕴含的特征因为将序列的全部信息都作为指标（因素）来建立判别模型是不可能的。

23、第三十八页，讲稿共四十六页哦A.特征的提取 DNA序列中所蕴含的信息是非常丰富的，因此，如何提取特征、提取什么特征是一个非常困难的问题这个问题涉及到生物学的知识，此处将不深入展开讨论。我们考虑采用序列中4个碱基A，T，C，G的含量百分比作为DNA序列的特征。为了便于讨论，我们用 表示碱基A在序列中所占的百分比；表示碱基T在序列中所占的百分比；表示碱基C在序列中所占的百分比；表示碱基G在序列中所占的百分比。因为，+=1，因此 、和 中只有三个变量是独立的，不失一般性，我们选取 、和 为指标，以 表示第 个DNA序列的特征向量，换句话说，“完全”代表第 个DNA序列。axtxcxgxaxtxcxg

24、xaxtxcxgxaxtxcxTctaixxxX),(iTctaixxxX),(i第三十九页，讲稿共四十六页哦 正如前面第2部分中所分析的：在此DNA序列分类问题中，共有两个已知的总体（类）（A类）和 （B类），而且，训练样本共有 个，其中，前10个样本（记为 ）属于总体（类）；后 10个样本（记为 ）属于总体 （类）。需要解决的问题是：对给定的新样品 ，我们需要判断其属于哪个总体（类）。1G2G20n1021,XXX1G201211,XXX2GX第四十页，讲稿共四十六页哦B.建立判别模型 这里分别建立距离判别和费希尔（Fisher）判别模型。（1）距离判别模型在距离判别模型中，首先需要估计总

25、体（类）和 的均值 和协方差阵 ，运用前面3.1.1小节的公式，可以得到均值 和协方差阵 的无偏估计。然后，计算样本 到总体（类）和 的马氏距离 ；根据判别准则（1），可得：若 ，则判定 为A类；若 ，则判定 为B类。1G2G)2,1(ii)2,1(ii)2,1(ii)2,1(iiX1G2G)()(),(111112XXGXdT)()(),(212222XXGXdT),(),(2212GXdGXdX),(),(2212GXdGXdX第四十一页，讲稿共四十六页哦（2）费希尔判别模型 首先，确定判别函数 利用费希尔(Fisher)判别准则，可以求出 确定了判别函数，就可以根据费希尔(Fisher)

26、判别准则（9）式，判断新的DNA序列的类别问题了。ctaxaxaxay3219377.0,087.0,3365.0321aaa第四十二页，讲稿共四十六页哦C.模型求解和软件实现 判别分析的计算机实现是非常简单的，运用Matlab和SPSS等软件都可以进行判别分析。经过计算，结果如下：（1）距离判别：运用上面算法对已知类别的训练本进行判定，结果为：A类：1，2，3，5，6，7，8，9，10B类：4，11，12，13，14，15，16，17，18，19，20只有第4个样本发生了误判，故正确率为95%。运用上面算法对21-40进行分类，结果为A类：22，23，25，27，29，30，32，33，34

27、，35，36，37B类：21，24，26，28，31，38，39，40第四十三页，讲稿共四十六页哦（2）费希尔判别 运用上面算法对已知类别的训练本进行判定，结果为：A类：1，2，3，5，6，7，8，9，10 B类：4，11，12，13，14，15，16，17，18，19，20 只有第4个样本发生了误判，故正确率为95%。运用上面算法对21-40进行分类，结果为：A类：22，23，25，27，29，34，35，36，37B类：21，24，26，28，30，31，32，33，38，39，40第四十四页，讲稿共四十六页哦参考文献1 高惠璇，应用多元统计分析，北京大学出版社，2005。2 张尧庭,方开泰，多元统计分析引论，科学出版社，1982。3 陈家鼎，孙山泽，李东风，数理统计学讲义，高等教 育出版社，1998。4 梁之舜，邓集贤，杨维权等，概率论与数理统计（第 二版）（上），高等教育出版社，1998。5 朱建平，应用多元统计分析，科学出版社，2006。6 全国大学生数学建模竞赛优秀论文汇编（1999-2000），中国物价出版社，2002。第四十五页，讲稿共四十六页哦第四十六页，讲稿共四十六页哦