第十一讲主成分分析课件.ppt

《第十一讲主成分分析课件.ppt》由会员分享，可在线阅读，更多相关《第十一讲主成分分析课件.ppt（74页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、第十一讲主成分分析第十一讲主成分分析第1页，此课件共74页哦研究需求：在社会经济的研究中，为了全面系统的分析和研究问题，必须考虑许多经济指标，这些指标能从不同的侧面反映我们所研究的对象的特征，但在某种程度上存在信息的重叠，具有一定的相关性。第2页，此课件共74页哦 一项十分著名的工作是美国的统计学家斯通(stone)在1947年关于国民经济的研究。他曾利用美国1929一1938年各年的数据，得到了17个反映国民收入与支出的变量要素，例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息外贸平衡等等。一 基本思想第3页，此课件共74页哦 在进行主成分分析后，竟以97.4的精度，用三新

2、变量就取代了原17个变量。根据经济学知识，斯通给这三个新变量分别命名为总收入F1、总收入变化率F2和经济发展或衰退的趋势F3。更有意思的是，这三个变量其实都是可以直接测量的。斯通将他得到的主成分与实际测量的总收入I、总收入变化率I以及时间t因素做相关分析，得到下表：第4页，此课件共74页哦F1F1F2F2F3F3i ii it tF1F11 1F2F20 01 1F3F30 00 01 1i i0.9950.995-0.041-0.0410.0570.057l li i-0.056-0.0560.9480.948-0.124-0.124-0.102-0.102l lt t-0.369-0.36

3、9-0.282-0.282-0.836-0.836-0.414-0.414-0.112-0.1121 1第5页，此课件共74页哦 概念：主成分分析是一种通过降维技术把多个指标约化为少数几个综合指标的综合统计分析方法，而这些综合指标能够反映原始指标的绝大部分信息，它们通常表现为原始几个指标的线性组合。第6页，此课件共74页哦基本思想及意义哲学理念：抓住问题的主要矛盾。主成分分析将具有一定相关性的众多指标重新组合成新的无相互关系的综合指标来代替。通常数学上的处理就是将这P个指标进行线性组合作为新的综合指标。问题是：这样的线性组合会很多，如何选择？第7页，此课件共74页哦 如果将选取的第一个线性组合

4、即第一个综合指标记为F1，希望它能尽可能多地反映原来指标的信息，即var(F1)越大，所包含的原指标信息就越多，F1的方差应该最大，称F1为第一主成分。第8页，此课件共74页哦 如果第一主成分F1不足以代表原来p个指标的信息，再考虑选取F2即选择第二个线性组合。为了有效地反映原来的信息，F1中已包含的信息，无须出现在F2中，即cov(F1,F2)，称F2为第二主成分。仿此可以得到p个主成分。第9页，此课件共74页哦 我们可以发现这些主成分之间互不相互不相关关且方差递减方差递减，即数据的信息包含在前若干个主成分中，因而只需挑选前几个主成分就基本上反映了原始指标的信息。这种既减少了变量的数目又抓住

5、了主要矛盾的做法有利于问题的解决。第10页，此课件共74页哦二 数学模型与几何解释 假设我们所讨论的实际问题中，有p个指标，我们把这p个指标看作p个随机变量，记为X1，X2，Xp，主成分分析就是要把这p个指标的问题，转变为讨论p个指标的线性组合的问题，而这些新的指标F1，F2，Fk(kp），按照保留主要信息量的原则充分反映原指标的信息，并且相互独立。第11页，此课件共74页哦 这种由讨论多个指标降为少数几个综合指标的过程在数学上就叫做降维。主成分分析通常的做法是，寻求原指标的线性组合Fi。简记为第12页，此课件共74页哦满足如下的条件：主成分之间相互独立，即无重叠的信息。即主成分之间相互独立，

6、即无重叠的信息。即主成分的方差依次递减，重要性依次递减，即主成分的方差依次递减，重要性依次递减，即每个主成分的系数平方和为每个主成分的系数平方和为1。即。即第13页，此课件共74页哦主成分分析的几何解释平移、旋转坐标轴第14页，此课件共74页哦主成分分析的几何解释平移、旋转坐标轴第15页，此课件共74页哦主成分分析的几何解释平移、旋转坐标轴第16页，此课件共74页哦主成分分析的几何解释平移、旋转坐标轴第17页，此课件共74页哦 为了方便，我们在二维空间中讨论主成分的几何意义。设有n个样品，每个样品有两个观测变量xl和x2，在由变量xl和x2 所确定的二维平面中，n个样本点所散布的情况如椭圆状。

7、由图可以看出这n个样本点无论是沿着xl 轴方向或x2轴方向都具有较大的离散性，其离散的程度可以分别用观测变量xl 的方差和x2 的方差定量地表示。显然，如果只考虑xl和x2 中的任何一个，那么包含在原始数据中的经济信息将会有较大的损失。第18页，此课件共74页哦 如果我们将xl 轴和x2轴先平移，再同时按逆时针方向旋转角度，得到新坐标轴Fl和F2。Fl和F2是两个新变量。第19页，此课件共74页哦 根据旋转变换的公式：第20页，此课件共74页哦 旋转变换的目的是为了使得n个样品点在Fl轴方向上的离 散程度最大，即Fl的方差最大。变量Fl代表了原始数据的绝大 部分信息，在研究某经济问题时，即使不

8、考虑变量F2也无损大局。经过上述旋转变换原始数据的大部分信息集中到Fl轴上，对数据中包含的信息起到了浓缩作用。第21页，此课件共74页哦 Fl，F2除了可以对包含在Xl，X2中的信息起着浓缩作用之外，还具有不相关的性质，这就使得在研究复杂的问题时避免了信息重叠所带来的虚假性。二维平面上的各点的方差大部分都归结在Fl轴上，而F2轴上的方差很小。Fl和F2称为原始变量x1和x2的综合变量。F简化了系统结构，抓住了主要矛盾。第22页，此课件共74页哦三三 主成分的推导及性质主成分的推导及性质 1 1、两个线性代数的结论、两个线性代数的结论 1）、若A是p阶实对称阵，则一定可以找到正交阵U，使其中 是

9、A A的特征根。第23页，此课件共74页哦 2）、若上述矩阵的特征根所对应的单位正交特征向量为 则实对称阵 属于不同特征根所对应的特征向量是正交的，即有令第24页，此课件共74页哦 2、主成分的推导 （一）（一）第一主成分第一主成分设X的协方差阵为由于x为非负定的对称阵，则有利用线性代数的知识可得，必存在正交阵U，使得第25页，此课件共74页哦 其中1，2，p为x的特征根，不妨假设1 2 p。而U恰好是由特征根相对应的单位特征向量所组成的正交阵。下面我们来看，是否由U的第一列元素所构成为原始变量的线性组合是否有最大的方差。第26页，此课件共74页哦设有P维正交向量且第27页，此课件共74页哦第

10、28页，此课件共74页哦 当且仅当a1=u1时，即 时，有最大的方差1。因为Var(F1)=U1xU1=1。如果第一主成分的信息不够，则需要寻找第二主成分。第29页，此课件共74页哦（二）（二）第二主成分第二主成分在约束条件 下，寻找第二主成分 因为所以 则，对p维向量 ，有第30页，此课件共74页哦 所以如果取线性变换：则 的方差次大。类推 第31页，此课件共74页哦写为矩阵形式：第32页，此课件共74页哦四四 主成分的性质主成分的性质1 1、均值、均值2 2、方差为所有特征根之和、方差为所有特征根之和 说明主成分分析把P个随机变量的总方差分解成为P个不相关的随机变量的方差之和。协方差矩阵的

11、对角线上的元素之和等于特征根之和。第33页，此课件共74页哦 3 3、精度分析、精度分析 1）贡献率：第i个主成分的方差在全部方差中所占比重 ，称为贡献率，反映了原来P个指标多大的信息，有多大的综合能力。2）累积贡献率：前k个主成分共有多大的综合能力，用这k个主成分的方差和在全部方差中所占比重来描述，称为累积贡献率。第34页，此课件共74页哦 我们进行主成分分析的目的之一是希望用尽可能少的主成分F1，F2，Fk（kp）代替原来的P个指标。到底应该选择多少个主成分，在实际工作中，主成分个数的多少取决于能够反映原来变量85%以上的信息量为依据，即当累积贡献率85%时的主成分的个数就足够了。最常见的

12、情况是主成分为2到3个。第35页，此课件共74页哦4、原始变量与主成分之间的相关系数变量与主成分之间的相关系数第36页，此课件共74页哦 可见，和 的相关的密切程度取决于对应线性组合系数的大小。第37页，此课件共74页哦第38页，此课件共74页哦5、原始变量被主成分的提取率原始变量被主成分的提取率 前面我们讨论了主成分的贡献率和累计贡献率，他度度量量了了F F1 1，F F2 2，F Fm m分分别别从从原原始始变变量量X X1 1，X X2 2，X XP P中中提提取取了了多多少少信信息息。那那么么X X1 1，X X2 2，X XP P各各有有多多少少信信息息分分别别F F1 1，F F2

13、 2，F Fm m被被提提取取了了。应该用什么指标来度量？我们考虑到当讨论F1分别与X1，X2，XP的关系时，可以讨论F1分别与X1，X2，XP的相关系数，但是由于相关系数有正有负，所以只有考虑相关系数的平方。第39页，此课件共74页哦 如果我们仅仅提出了m个主成分，则第i 原始变量信息的被提取率为：是Fj 能说明的第i 原始变量的方差是Fj 提取的第i 原始变量信息的比重第40页，此课件共74页哦 例例 设 的协方差矩阵为 解得特征根为 ，第一个主成分的贡献率为5.83/（5.83+2.00+0.17）=72.875%，尽管第一个主成分的贡献率并不小，但在本题中第一主成分不含第三个原始变量的

14、信息，所以应该取两个主成分。第41页，此课件共74页哦Xi与F1的相关系数平方Xi与F2的相关系数平方信息提取率xi10.9250.855000.8552-0.9980.996000.996300111第42页，此课件共74页哦 定义：如果一个主成分仅仅对某一个原始变量有作用，则称为特殊成分。如果一个主成分所有的原始变量都起作用称为公共成分。(该题无公共因子）第43页，此课件共74页哦6 6、载荷矩阵、载荷矩阵 第44页，此课件共74页哦五五五五 标准化变量主成分标准化变量主成分标准化变量主成分标准化变量主成分 在实际问题中，不同的变量往往有不同的量纲量纲，由于不同的量纲会引起各变量取值的分散

15、程度差异较大，这时，总体方差则主要受方差较大方差较大的变量的控制。若用求主成分，则优先照顾了方差大的变量，有时会造成很不合理的结果。为了消除由于量纲的不同可能带来的影响，常采用变量标准化的方法，即令，第45页，此课件共74页哦这时，的协方差矩阵便是的相关系数阵 ，其中 利用X的相关矩阵作主成分分析，平行于前面的结论，可以有如下的定理:第46页，此课件共74页哦定理：设 为标准化的随机向量，其协方差矩阵（即X的相关矩阵）为，则X*的第i个主成分 并且第47页，此课件共74页哦其中为相关矩阵的特征值，为相应的正交单位化特征向量。这时第i个主成分的贡献为 前m个主成分的累积贡献为 第48页，此课件共

16、74页哦例题：对比标准化和非标准化数据的主成分 设 协方差矩阵和对应的相关矩阵分别为 第49页，此课件共74页哦 如果从出发作主成分分析，易求得其特征值和相应的单位正交化特征向量为 则X的两个主成分分别为：第一主成分的贡献率为：由由于于X2的的方方差差很很大大，完完全全控控制制了了提提取取信信息息量量占占99.2%的的第第一一主主成成分分（X2在在F1中中的的系系数数为为0.999），淹淹没没了了变量变量X1的作用。的作用。第50页，此课件共74页哦 如果从出发作主成分分析，可求得其特征值和相应的单位正交化特征向量为 则X*的两个主成分分别为：此时，第一主成分的贡献率有所下降，为：第51页，此

17、课件共74页哦由此看到，原变量在第一主成分中的相对重要性由于标准化而有很大的变化。在由所求得的第一主成分中，X1和X2和的权重系数分别为0.040和0.999，主要由大方差的变量控制。而在由所求得的第一主成分中，X1和X2和的权重系数反而成了0.707和0.0707，即X1的相对重要性得到提升。此例也表明，由和求得的主成分一般是不相同的，而且，其中第一组主成分也不是第二组主成分的某简单函数。在实际应用中，当涉及的各变量的变化范围差异较大时，从出发求主成分比较合理。第52页，此课件共74页哦185%原则记方差的累积贡献率为六六 主成分个数的选取主成分个数的选取 根据我国主成分分析的实践来看，通常

18、可以保证分析结果的可靠性。该原则是在实践中总结出来的，与其它原则相比，通常有选取较多主成分的倾向。第53页，此课件共74页哦实践中，该准则通常容易选取较少的主成分。先计算 ，然后将 与之进行比较，选取 的前q个变量的主成分。由于 由样本数据的相关矩阵R所求得，所以 ，故只要选取 的前q个变量作为主成分即可。2 的原则第54页，此课件共74页哦3斯格理（Screet）原则具体做法：计算特征根的差 ，如果前q个 比较近，即出现了较为稳定的差值，则后p-q个变量 可以确定为非主成分。这是从相反的方向来确定主成分的一种做法。实践中，该准则也倾向于选择较多的主成分，而且一般不单独使用。第55页，此课件共

19、74页哦4巴特莱特检验（Bartlet）原则H0：最后p-q个分量均等于或不显著地大于零。该检验的精确性受到样本容量n大小的影响，当n较小时，有可能低估突出变量的数目；当n较大时，有可能高估突出变量的数目。具体做法：从q=1开始，一直检验到最后p-q个变量不显著为止。其中：检验统计量：第56页，此课件共74页哦1、主成分的解释 1）、从特征向量Uij的各个分量数值的大小入手进行分析与概括。Uij表明了变量xj(xj*)与主成分Fi之间的关系。主成分Fi在变量xj(xj*)上的系数Uij越大，说明该主成分主要代表了该变量xj(xj*)的信息；反之，若越接近于0，则表明几乎没有该变量什么信息。七七

20、 主成分的解释主成分的解释第57页，此课件共74页哦2）从特征向量的各个分量Uij数值的符号入手进行分析与概括 主成分系数Uij的符号表明了变量xj(xj*)与主成分Fi之间的作用关系，一般地，正号表示变量与主成分的作用同方向；而负号则表示变量与主成分作用是逆向变动关系。第58页，此课件共74页哦3）如果变量分组较有规则，则从特征向量各分量Uij数值作出组内、组间对比分析4）如果主成分中，各变量的系数都大致相同，则要考虑是否存在一个一般性的影响因素第59页，此课件共74页哦2、主成分分析适用的场合3.不完全相关主成分分析效 果 较 好能实施主成分分析高度相关中度相关低度相关1.完全相关2.完全

21、不相关不必实施主成分分析第60页，此课件共74页哦八八 主成分分析的步骤主成分分析的步骤STEP03：求相关系数矩阵R的特征根 12 p 0及相应的单位正交特征向量U1,U2,Up；STEP02：计算X的相关系数矩阵R；STEP01：将原始数据X进行标准化，得X*；STEP04：计算方差累积贡献率，确定主成分的个数q；STEP05：写出主成分F=X*U，解释其实际经济意义并指导实践。第61页，此课件共74页哦主成分分析方法应用实例 下面，我们根据表一给出的数据，对某农业生态经济系统做主成分分析，表一表一 某农业生态经济系统各区域单元的有关数据某农业生态经济系统各区域单元的有关数据 第62页，此

22、课件共74页哦第63页，此课件共74页哦步骤如下：（1）将表一中的数据作标准差标准化处理，然后将它们代入公式计算相关系数矩阵（见表二）。表二相关系数矩阵表二相关系数矩阵 第64页，此课件共74页哦 （2）由相关系数矩阵计算特征值，以及各个主成分的贡献率与累计贡献率（见表三）。由表3.5.2可知，第一，第二，第三主成分的累计贡献率已高达86.596%（大于85%），故只需要求出第一、第二、第三主成分z1，z2，z3即可。第65页，此课件共74页哦表三特征值及主成分贡献率表三特征值及主成分贡献率 第66页，此课件共74页哦 （3）对于特征值=4.6610，=2.0890，=1.0430分别求出其特

23、征向量e1，e2，e3，再用公式计算各变量x1，x2，x9在主成分z1，z2，z3上的载荷第67页，此课件共74页哦表四表四 主成分载荷主成分载荷 第68页，此课件共74页哦 第一主成分z1与x1，x5，x6，x7，x9呈显出较强的正相关，与x3呈显出较强的负相关，而这几个变量则综合反映了生态经济结构状况，因此可以认为第一主成分z1是生态经济结构的代表。第二主成分z2与x2，x4，x5呈显出较强的正相关，与x1呈显出较强的负相关，其中，除了x1为人口总数外，x2，x4，x5都反映了人均占有资源量的情况，因此可以认为第二主成分z2代表了人均资源量。分析：分析：第69页，此课件共74页哦显然，用三

24、个主成分z1、z2、z3代替原来9个变量（x1，x2，x9），描述农业生态经济系统，可以使问题更进一步简化、明了。第三主成分z3，与x8呈显出的正相关程度最高，其次是x6，而与x7呈负相关，因此可以认为第三主成分在一定程度上代表了农业经济结构。另外，表3.5.3中最后一列（占方差的百分数），在一定程度反映了三个主成分z1、z2、z3包含原变量（x1，x2，x9）的信息量多少。第70页，此课件共74页哦例2：经济效益分析 某主管局管辖20个工厂，现对每个工厂作经济效益分析，选取五个指标作分析。数据文件：f108_factor.sav实验要求：1、确定出主成分 2、利用主成分排序第71页，此课件共74页哦计算综合得分 以前两个主成分的方差贡献率为权数，对这两个主成分得分进行加权，算出一个综合得分即第72页，此课件共74页哦第73页，此课件共74页哦例3 食品业的经营决策Word文档第74页，此课件共74页哦