KL变换和主成分分析.ppt

《KL变换和主成分分析.ppt》由会员分享，可在线阅读，更多相关《KL变换和主成分分析.ppt（55页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、1K-L展开式展开式1jjajuXaj：随机系数；用有限项估计X时 ：djja1juX引起的均方误差：)()(TXXXX E12djjaEijij, 0, 1Tjiuu代入X、 ，利用X12djjaE1jjajuX由 两边 左乘 得 。TjuXujTja1TTdjEjjuXXu1TdjtEjjuXXuuj为确定性向量 1TdjRjjuuR：自相关矩阵。 ) 1()(1T1TdjdjgjjjjjjuuuRuuj：拉格朗日乘数 0)(jjuIR, 1 dj说明：当用X的自相关矩阵R的特征值对应的特征向量展开X 时，截断误差最小。 选前d项估计X时引起的均方误差为1T11Ttrdjjdjdjjjjj

2、uRuuRu 因此，当用X的正交展开式中前d项估计X时，展开式中的uj应当是前d个较大的特征值对应的特征向量。) 1()(1T1TdjdjgjjjjjjuuuRuuK-L变换方法：对R的特征值由大到小进行排队： 121dd均方误差最小的X的近似式：djja1juXUaX IuuuuuuUUddTTTT2121矩阵形式： 式中， ， 。 T21,daaaa,duuuUjdn1T21,jnjjuuuju其中： （5-49） K-L展开式 对式(5-49)两边左乘U t ：XUaT K-L变换 系数向量a就是变换后的模式向量。 2利用自相关矩阵的利用自相关矩阵的K-L变换进行特征提取变换进行特征提取

3、第一步：求样本集X的总体自相关矩阵R。 NjjjNE1TT1XXXXR,duuuU21XUXT*1）变换在均方误差最小的意义下使新样本集X *逼近原样本集 X的分布，既压缩了维数又保留了类别鉴别信息。利用K-L变换进行特征提取的优点：2）变换后的新模式向量各分量相对总体均值的方差等于原样本 集总体自相关矩阵的大特征值，表明变换突出了模式类之间 的差异性。dE00)(21T*MXMXC3）C*为对角矩阵说明了变换后样本各分量互不相关，亦即消 除了原来特征之间的相关性，便于进一步进行特征的选择。K-L变换的不足之处： 1）对两类问题容易得到较满意的结果。类别愈多，效果愈差。2）需要通过足够多的样本

4、估计样本集的协方差矩阵或其它类型的散布矩阵。当样本数不足时，矩阵的估计会变得十分粗略，变换的优越性也就不能充分的地显示出来。例5.3 两个模式类的样本分别为利用自相关矩阵R作K-L变换，把原样本集压缩成一维样本集。 解：第一步：计算总体自相关矩阵R。3 . 73 . 63 . 67 . 56161TTjjjEXXXXR第二步：计算R的本征值，并选择较大者。由 得 0| IRT75. 0,66. 01u5.2 主成分分析 主成分分析PCA Principle Component Analysis 通过K-L变换实现主成分分析 PCA的变换矩阵是协方差矩阵，K-L变换的变换矩阵可以有很多种（二阶矩

5、阵、协方差矩阵、总类内离散度矩阵等等）。当K-L变换矩阵为协方差矩阵时，等同于PCA。 K-L变换特征提取思想 用映射（或变换）的方法把原始特征变换为较少的新特征 降维 主成分分析(PCA)基本思想 进行特征降维变换，不能完全地表示原有的对象，能量总会有损失。 希望找到一种能量最为集中的的变换方法使损失最小内 容u 一、一、前前 言言u 二、二、问题的提出问题的提出u 三、三、主成分分析主成分分析 1. 二维数据的例子二维数据的例子 2. PCA的几何意义的几何意义 3. 均值和协方差、均值和协方差、 特征值和特征向量特征值和特征向量 4. PCA的性质的性质 u 四、四、主成分分析的算法主成

6、分分析的算法u 五、五、具体实例具体实例 u 六、六、 结论结论七、七、练习练习1. 前前 言言 假定你是一个公司的财务经理，掌握了公司的所有数假定你是一个公司的财务经理，掌握了公司的所有数据，比如据，比如固定资产、流动资金、每一笔借贷的数额和固定资产、流动资金、每一笔借贷的数额和期限、各种税费、工资支出、原料消耗、产值、利润、期限、各种税费、工资支出、原料消耗、产值、利润、折旧、职工人数、职工的分工和教育程度等等折旧、职工人数、职工的分工和教育程度等等。 如果让你介绍公司状况，你能够把这些指标和数字都如果让你介绍公司状况，你能够把这些指标和数字都原封不动地摆出去吗原封不动地摆出去吗？ 当然不

7、能当然不能 你必须要把各个方面作出你必须要把各个方面作出高度概括高度概括，用一两个指标简用一两个指标简单明了地把情况说清楚。单明了地把情况说清楚。 PCA 多变量问题是经常会遇到的。多变量问题是经常会遇到的。变量太多，无疑会增加分析变量太多，无疑会增加分析问题的难度与复杂性问题的难度与复杂性. 在许多实际问题中，多个变量之间是具有一定的相关关系在许多实际问题中，多个变量之间是具有一定的相关关系的。因此，能否在各个变量之间相关关系研究的基础上，的。因此，能否在各个变量之间相关关系研究的基础上，用用较少的新变量代替原来较多的变量较少的新变量代替原来较多的变量，而且使这些较少的，而且使这些较少的新变

8、量新变量尽可能多地保留原来较多的变量所反映的信息尽可能多地保留原来较多的变量所反映的信息？事？事实上，这种想法是可以实现的实上，这种想法是可以实现的. 主成分分析原理主成分分析原理: 是把原来多个变量化为少数几个综合指标是把原来多个变量化为少数几个综合指标的一种统计分析方法，从数学角度来看，这是一种降维处的一种统计分析方法，从数学角度来看，这是一种降维处理技术。理技术。 主成分分析方法就是综合处理这种问题的一种强有力的方主成分分析方法就是综合处理这种问题的一种强有力的方法。法。 (1) (1) 如何作主成分分析如何作主成分分析? ? 当分析中所选择的变量具有不同的量纲，当分析中所选择的变量具有

9、不同的量纲，变量水平差异很大变量水平差异很大，应该选择基于相关系数，应该选择基于相关系数矩阵的主成分分析。矩阵的主成分分析。 在力求数据信息丢失最少的原则下，对高维的在力求数据信息丢失最少的原则下，对高维的变量空间降维，即研究指标体系的少数几个线性组变量空间降维，即研究指标体系的少数几个线性组合，并且这几个线性组合所构成的综合指标将尽可合，并且这几个线性组合所构成的综合指标将尽可能多地保留原来指标变异方面的信息。这些综合指能多地保留原来指标变异方面的信息。这些综合指标就称为主成分。标就称为主成分。要讨论的问题是：要讨论的问题是：2. 问题的提出问题的提出各个变量之间差异很大各个变量之间差异很大

10、 （2 2） 如何选择几个主成分。如何选择几个主成分。 主成分分析的目的是简化变量，一般情主成分分析的目的是简化变量，一般情况下主成分的个数应该小于原始变量的个数。况下主成分的个数应该小于原始变量的个数。关于保留几个主成分，应该权衡主成分个数关于保留几个主成分，应该权衡主成分个数和保留的信息。和保留的信息。 （3 3）如何解释主成分所包含的几何意义如何解释主成分所包含的几何意义或经济意义或其它。或经济意义或其它。 美国的统计学家斯通美国的统计学家斯通(Stone)(Stone)在在19471947年关于国民年关于国民经济的研究是经济的研究是一项十分著名的工作一项十分著名的工作。他曾利用美国。他

11、曾利用美国19291929一一19381938年各年的数据，得到了年各年的数据，得到了1717个反映国民收个反映国民收入与支出的变量要素，例如入与支出的变量要素，例如雇主补贴、消费资料和雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息、生产资料、纯公共支出、净增库存、股息、利息、外贸平衡等等。外贸平衡等等。l 在进行主成分分析后，竟以在进行主成分分析后，竟以97.4的精度，用的精度，用三个新变量就取代了原三个新变量就取代了原17个变量。个变量。实例实例1: 经济分析经济分析 根据经济学知识，斯通给这三个新根据经济学知识，斯通给这三个新变量分别命名为变量分别命名为总收入总收入F1F

12、1、总收入变化、总收入变化率率F2F2和经济发展或衰退的趋势和经济发展或衰退的趋势F3F3。更有。更有意思的是，这三个变量其实都是可以直意思的是，这三个变量其实都是可以直接测量的。接测量的。 主成分分析就是试图在力保数据信息丢主成分分析就是试图在力保数据信息丢失最少的原则下，对这种多变量的数据表进失最少的原则下，对这种多变量的数据表进行最佳综合简化，也就是说，行最佳综合简化，也就是说，对高维变量空对高维变量空间进行降维处理。间进行降维处理。 很显然，识辨系统在一个低维空间要比很显然，识辨系统在一个低维空间要比在一个高维空间容易得多。在一个高维空间容易得多。实例实例2: 成绩数据成绩数据 100

13、个学生的数学、物理、化学、语文、历个学生的数学、物理、化学、语文、历史、英语的成绩如下表（部分）。史、英语的成绩如下表（部分）。 从本例可能提出的问题从本例可能提出的问题 目前的问题是，能不能把这个数据的目前的问题是，能不能把这个数据的6 6个变量用一两个综合变量来表示个变量用一两个综合变量来表示呢？呢？ 这一两个综合变量这一两个综合变量包含有多少原来的包含有多少原来的信息信息呢？呢？ 能不能能不能利用找到的综合变量来对学生利用找到的综合变量来对学生排序排序呢？这一类数据所涉及的问题可呢？这一类数据所涉及的问题可以推广到对企业，对学校进行分析、以推广到对企业，对学校进行分析、排序、判别和分类等

14、问题。排序、判别和分类等问题。 例中的的数据点是六维的；也就是说，每个观测例中的的数据点是六维的；也就是说，每个观测值是值是6维空间中的一个点。维空间中的一个点。我们希望把我们希望把6维空间用维空间用低维空间表示。低维空间表示。 3.1 PCA: 二维数据分析二维数据分析 先假定数据只有二维，即只有两个先假定数据只有二维，即只有两个变量，它们由横坐标和纵坐标所代表；变量，它们由横坐标和纵坐标所代表；因此每个观测值都有相应于这两个坐因此每个观测值都有相应于这两个坐标轴的两个坐标值；标轴的两个坐标值； 如果这些数据形成一个如果这些数据形成一个椭圆形状椭圆形状的的点阵（这在变量的二维正态的假定下点阵

15、（这在变量的二维正态的假定下是可能的）是可能的）. . 3.2 PCA: 进一步解释进一步解释-4-2024-4-2024 椭圆有一个长轴和一椭圆有一个长轴和一个短轴。在短轴方向上，个短轴。在短轴方向上，数据变化很少；在极端的数据变化很少；在极端的情况，短轴如果退化成一情况，短轴如果退化成一点，那只有在长轴的方向点，那只有在长轴的方向才能够解释这些点的变化才能够解释这些点的变化了；这样，由二维到一维了；这样，由二维到一维的降维就自然完成了。的降维就自然完成了。 当坐标轴和椭圆的长短轴平行，那么代表长轴当坐标轴和椭圆的长短轴平行，那么代表长轴的变量就描述了数据的主要变化，而代表短轴的变量就描述了

16、数据的主要变化，而代表短轴的变量就描述了数据的次要变化。的变量就描述了数据的次要变化。 但是，但是，坐标轴通常并不和椭圆的长短轴平行坐标轴通常并不和椭圆的长短轴平行。因此，需要寻找椭圆的长短轴，并进行变换，因此，需要寻找椭圆的长短轴，并进行变换，使得新变量和椭圆的长短轴平行。使得新变量和椭圆的长短轴平行。 如果长轴变量代表了数据包含的大部分信息，如果长轴变量代表了数据包含的大部分信息，就用该变量代替原先的两个变量（舍去次要的就用该变量代替原先的两个变量（舍去次要的一维），降维就完成了。一维），降维就完成了。 椭圆（球）的长短轴相差得越大，降维也越有椭圆（球）的长短轴相差得越大，降维也越有道理。

17、道理。进一步解释进一步解释PCA(续续) 对于多维变量的情况和二维类似，也对于多维变量的情况和二维类似，也有高维的椭球，只不过无法直观地看有高维的椭球，只不过无法直观地看见罢了。见罢了。 首先把高维椭球的主轴找出来，再用首先把高维椭球的主轴找出来，再用代表大多数数据信息的最长的几个轴代表大多数数据信息的最长的几个轴作为新变量；这样，主成分分析就基作为新变量；这样，主成分分析就基本完成了。本完成了。 注意，和二维情况类似，高维椭球的注意，和二维情况类似，高维椭球的主轴也是互相垂直的。这些互相正交主轴也是互相垂直的。这些互相正交的新变量是原先变量的线性组合，叫的新变量是原先变量的线性组合，叫做主成

18、分做主成分(principal component)。 正如二维椭圆有两个主轴，三维椭球正如二维椭圆有两个主轴，三维椭球有三个主轴一样，有几个变量，就有有三个主轴一样，有几个变量，就有几个主成分。几个主成分。 选择越少的主成分，降维就越好。什选择越少的主成分，降维就越好。什么是标准呢？那就是这些被选的主成么是标准呢？那就是这些被选的主成分所代表的主轴的长度之和占了主轴分所代表的主轴的长度之和占了主轴长度总和的大部分。长度总和的大部分。有些文献建议，有些文献建议，所选的主轴总长度占所有主轴长度之所选的主轴总长度占所有主轴长度之和的大约和的大约85%85%即可，即可，其实，这只是一个其实，这只是一

19、个大体的说法；具体选几个，要看实际大体的说法；具体选几个，要看实际情况而定。情况而定。3.3. 均值和协方差均值和协方差 特征值和特征向量特征值和特征向量111221221212pnpnppnnnppxxxxxxxxxXXXX设有设有n个样本，每个样本观测个样本，每个样本观测p个指标（变量）：个指标（变量）：X1，X2，Xn, 得到原始数据矩阵：得到原始数据矩阵：.1()nn12MX +X +XkkX= X- M1. 样本均值样本均值显然显然,样本均值是数据散列图的样本均值是数据散列图的中心中心.于是于是 p*n 矩阵的列矩阵的列B具有零样本均值具有零样本均值,称为平均偏差形式称为平均偏差形式

20、12,nBX XX-4-2024-4-2024M11TnSBB2. 样本协方差样本协方差 中心中心中心中心 协方差的大小在一定程度上反映了多变协方差的大小在一定程度上反映了多变量之间的关系，但它还受变量自身度量量之间的关系，但它还受变量自身度量单位的影响单位的影响.为阶方阵，为阶方阵，为数，为数，X为维非零向量，为维非零向量，AXX 若若则则称为称为的的特征值特征值，X称为称为的的特征向量特征向量并不一定唯一；并不一定唯一；,X 阶方阵阶方阵的特征值，就是使齐次线性方程组的特征值，就是使齐次线性方程组特征向量特征向量 ，特征值问题只针对与方阵；，特征值问题只针对与方阵；0X 0IA x 有非零

21、解的有非零解的值，即满足值，即满足的的都是都是方阵方阵的特征值的特征值0IA 0IA 称以称以为未知数的一元次方程为未知数的一元次方程为为的的特征方程特征方程 例例1:1: 从一个总体中随机抽取从一个总体中随机抽取4 4个样本作三个样本作三次测量次测量, ,每一个样本的观测向量为每一个样本的观测向量为: :123414782 ,2 ,8 ,411315 XXXX 计算样本均值计算样本均值M M和协方差矩阵和协方差矩阵S S以以及及S S的特征值和特征向量的特征值和特征向量. .11niinMX11TnSBBSXX pcacov 功能：运用协方差矩阵进行主成分分析Syntax C = cov(X

22、) AlgorithmThe algorithm for cov is n,p = size(X);X = X - ones(n,1) * mean(X);Y = X*X/(n-1);See Also corrcoef, mean, std, var3.4 PCA3.4 PCA的性质的性质 一、两个线性代数的结论一、两个线性代数的结论 1、若A是p阶实对称阵，则一定可以找到正交阵U，使ppp00000021AUU1pii. 2 . 1, 其中 是A A的特征根。 2、若上述矩阵的特征根所对应的单位特征向量为 ppppppuuuuuuuuu212222111211),(p1uuU 则实对称阵 属

23、于不同特征根所对应的特征向量是正交的，即有p1uu,令AIUUUU 3.4 PCA的性质的性质(续续)3 3、均值、均值()TTExMUU4 4、方差为所有特征根之和、方差为所有特征根之和1()piiVar F2221212pp 说明主成分分析把说明主成分分析把P P个随机变量的总方差分解成为个随机变量的总方差分解成为P P个不相关的随机变量的方差之和。个不相关的随机变量的方差之和。 协方差矩阵协方差矩阵 的的对角线上的元素之和等于特征根对角线上的元素之和等于特征根之和。之和。 3.4 3.4、精度分析、精度分析 1）贡献率：第i个主成分的方差在全部方差中所占比重 ，称为贡献率 ，反映了原来P

24、个指标多大的信息，有多大的综合能力 。piii1 2）累积贡献率：前k个主成分共有多大的综合能力，用这k个主成分的方差和在全部方差中所占比重来描述，称为累积贡献率。piikii11PCA常用统计量： .特征根i .各成分贡献率 .前各成分累计贡献率 .特征向量 各成分表达式中标准化原始变量的系数向量，就是各成分的特征向量。ii 我们进行主成分分析的目的之一是希望用我们进行主成分分析的目的之一是希望用尽可能少的尽可能少的主成分主成分F F1 1，F F2 2，F Fk k（kpkp）代替）代替原来的原来的P P个指标个指标。到底应该选择多少个主成分，。到底应该选择多少个主成分，在实际工作中，主成

25、分个数的多少取决于能够在实际工作中，主成分个数的多少取决于能够反映原来变量反映原来变量80%80%以上的信息量为依据，即当累以上的信息量为依据，即当累积贡献率积贡献率80%80%时的主成分的个数就足够了。最时的主成分的个数就足够了。最常见的情况是主成分为常见的情况是主成分为2 2到到3 3个。个。 例例 设 的协方差矩阵为 321,xxx200052021 解得特征根为 ， ，83. 51 00. 22 17. 03 ，000. 0924. 0383. 01U1002U000. 0383. 0924. 03U 第一个主成分的贡献率为5.83/（5.83+2.00+0.17）=72.875%，尽

26、管第一个主成分的贡献率并不小，但应该取两个主成分。97.88%4 4 主成分分析的步骤主成分分析的步骤)21(21nlxxxplll，lXppjjlnliilxxxxxn)(111 第一步：由X的协方差阵x，求出其特征根，即解方程 ，可得特征根 。021p 一、基于协方差矩阵0I 第二步：求出分别所对应的特征向量U1，U2，Up， 12TiipiuuuiU， ，第三步：计算累积贡献率，给出恰当的主成分个数。1 2()TFik kpiiUX， ，第四步：计算所选出的k个主成分的得分。将原始数据的中心化值: 代入前k个主成分的表达式，分别计算出各单位k个主成分的得分，并按得分值的大小排队。*112

27、2TiipipxxxxxxiiXXX， ， 例例 应收账款是指企业因对外销售产品、材料、提供劳务及应收账款是指企业因对外销售产品、材料、提供劳务及其它原因，应向购货单位或接受劳务的单位收取的款项，包括应其它原因，应向购货单位或接受劳务的单位收取的款项，包括应收销货款、其它应收款和应收票据等。出于扩大销售的竞争需要，收销货款、其它应收款和应收票据等。出于扩大销售的竞争需要，企业不得不以赊销或其它优惠的方式招揽顾客，由于销售和收款企业不得不以赊销或其它优惠的方式招揽顾客，由于销售和收款的时间差，于是产生了应收款项。应收款赊销的效果的好坏，不的时间差，于是产生了应收款项。应收款赊销的效果的好坏，不仅

28、依赖于企业的信用政策，还依赖于顾客的信用程度。由此，仅依赖于企业的信用政策，还依赖于顾客的信用程度。由此，评评价顾客的信用等级，了解顾客的综合信用程度，做到价顾客的信用等级，了解顾客的综合信用程度，做到“知己知彼，知己知彼，百战不殆百战不殆”，对加强企业的应收账款管理大有帮助，对加强企业的应收账款管理大有帮助。某企业为了。某企业为了了解其客户的信用程度，采用西方银行信用评估常用的了解其客户的信用程度，采用西方银行信用评估常用的5C5C方法，方法，5C5C的目的是说明顾客违约的可能性。的目的是说明顾客违约的可能性。 5 PCA的应用的应用 1、品格（用品格（用X1表示），表示），指顾客的信誉，履

29、行偿还义指顾客的信誉，履行偿还义务的可能性。企业可以通过过去的付款记录得到此务的可能性。企业可以通过过去的付款记录得到此项。项。2、能力（用能力（用X2表示），表示），指顾客的偿还能力。即其流指顾客的偿还能力。即其流动资产的数量和质量以及流动负载的比率。顾客的动资产的数量和质量以及流动负载的比率。顾客的流动资产越多，其转化为现金支付款项的能力越强。流动资产越多，其转化为现金支付款项的能力越强。同时，还应注意顾客流动资产的质量，看其是否会同时，还应注意顾客流动资产的质量，看其是否会出现存货过多过时质量下降，影响其变现能力和支出现存货过多过时质量下降，影响其变现能力和支付能力。付能力。3、资本（用

30、资本（用X3表示），表示），指顾客的财务势力和财务状指顾客的财务势力和财务状况，表明顾客可能偿还债务的背景。况，表明顾客可能偿还债务的背景。4、附带的担保品（用附带的担保品（用X4表示），表示），指借款人以容易出指借款人以容易出售的资产做抵押。售的资产做抵押。5 5、环境条件（用环境条件（用X5表示），表示），指企业的外部因素，即指企业的外部因素，即指非企业本身能控制或操纵的因素。指非企业本身能控制或操纵的因素。 首先并抽取了10家具有可比性的同类企业作为样本，又请8位专家分别给10个企业的5个指标打分，然后分别计算企业5个指标的平均值，如表。 76.581.57675.871.78579.2

31、80.384.476.570.67367.668.178.5949487.589.59290.787.39181.58084.666.968.864.866.477.573.670.969.874.857.760.457.460.86585.668.57062.276.57069.271.764.968.9； Eigenvalues of the Covariance Matrix Eigenvalue Difference Proportion Cumulative PRIN1 410.506 367.242 0.845854 0.84585 PRIN2 43.264 22.594 0.08

32、9146 0.93500 PRIN3 20.670 12.599 0.042591 0.97759 PRIN4 8.071 5.266 0.016630 0.99422 PRIN5 2.805 0. 0 0.005779 1.00000 Eigenvectors PRIN1 PRIN2 PRIN3 PRIN4 PRIN5 X1 0.468814 -.830612 0.021406 0.254654 -.158081 X2 0.484876 0.329916 0.014801 -.287720 -.757000 X3 0.472744 -.021174 -.412719 -.588582 0.5

33、09213 X4 0.461747 0.430904 -.240845 0.706283 0.210403 X5 0.329259 0.122930 0.878054 -.084286 0.313677 第一主成份的贡献率为第一主成份的贡献率为84.6%84.6%，第一主成份，第一主成份 Z Z1 1=0.469X=0.469X1 1+0.485X+0.485X2 2+0.473X+0.473X3 3+0.462X+0.462X4 4+0.329X+0.329X5 5 的各项系数大致相等，且均为正数，说明第一的各项系数大致相等，且均为正数，说明第一主成份是对所有指标的一个综合测度，可以作为主成

34、份是对所有指标的一个综合测度，可以作为综合的信用等级指标。可以用来排序。将原始数综合的信用等级指标。可以用来排序。将原始数据的值中心化后，代入第一主成份据的值中心化后，代入第一主成份Z Z1 1的表示式，的表示式，计算各企业的得分，并按分值大小排序计算各企业的得分，并按分值大小排序: : 在正确评估了顾客的信用等级后，就能正确制定出对在正确评估了顾客的信用等级后，就能正确制定出对其的信用期、收帐政策等，这对于加强应收帐款的管理其的信用期、收帐政策等，这对于加强应收帐款的管理大有帮助。大有帮助。序号序号1 12 23 34 45 56 67 78 89 91010得分得分3.163.1613.6

35、13.6- -9.019.0135.935.925.125.1-10.3-10.3- -4.364.36-33.8-33.8- -6.416.41-13.8-13.8排序排序4 43 37 71 12 28 85 510106 69 9 根据主成分分析的定义及性质，我们已大体上根据主成分分析的定义及性质，我们已大体上能看出主成分分析的一些应用。概括起来说，主成能看出主成分分析的一些应用。概括起来说，主成分分析主要有以下几方面的应用。分分析主要有以下几方面的应用。 1 1主成分分析能降低所研究的数据空间的维主成分分析能降低所研究的数据空间的维数。即用研究数。即用研究m m维的维的Y Y空间代替空

36、间代替p p维的维的X X空间空间(m(mp)p)，而低维的而低维的Y Y空间代替空间代替 高维的高维的x x空间所损失的信息很空间所损失的信息很少。即：使只有一个主成分少。即：使只有一个主成分Y Yl l( (即即 m m1)1)时，这个时，这个Y Yl l仍是使用全部仍是使用全部X X变量变量(p(p个个) )得到的。例如要计算得到的。例如要计算Y Yl l的的均值也得使用全部均值也得使用全部x x的均值。在所选的前的均值。在所选的前m m个主成分个主成分中，如果某个中，如果某个X Xi i的系数全部近似于零的话，就可以的系数全部近似于零的话，就可以把这个把这个X Xi i删除，这也是一种

37、删除多余变量的方法。删除，这也是一种删除多余变量的方法。6 6 主成分分析结论主成分分析结论 2.2. 多维数据的一种图形表示方法。我们知多维数据的一种图形表示方法。我们知道当维数大于道当维数大于3 3时便不能画出几何图形，多元统时便不能画出几何图形，多元统计研究的问题大都多于计研究的问题大都多于3 3个变量。要把研究的问个变量。要把研究的问题用图形表示出来是不可能的。然而，经过主成题用图形表示出来是不可能的。然而，经过主成分分析后，我们可以选取前两个主成分或其中某分分析后，我们可以选取前两个主成分或其中某两个主成分，根据主成分的得分，画出两个主成分，根据主成分的得分，画出n n个样品个样品在

38、二维平面上的分布况，由图形可直观地看出各在二维平面上的分布况，由图形可直观地看出各样本在主分量中的地位。样本在主分量中的地位。 3 3由主成分分析法构造回归模型。即把各由主成分分析法构造回归模型。即把各主成分作为新自变量代替原来自变量主成分作为新自变量代替原来自变量x x做回归分做回归分析。析。 4 4用主成分分析筛选回归变量。回归变量用主成分分析筛选回归变量。回归变量的选择有着重的实际意义，为了使模型本身易的选择有着重的实际意义，为了使模型本身易于做结构分析、控制和预报，好从原始变量所于做结构分析、控制和预报，好从原始变量所构成的子集合中选择最佳变量，构成最佳变量构成的子集合中选择最佳变量，构成最佳变量集合。用主成分分析筛选变量，可以用较少的集合。用主成分分析筛选变量，可以用较少的计算量来选择量，获得选择最佳变量子集合的计算量来选择量，获得选择最佳变量子集合的效果。效果。结束结束