《统计学13典型相关分析.ppt》由会员分享，可在线阅读，更多相关《统计学13典型相关分析.ppt（31页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、统计学从数据到结论第十三章 典型相关分析13.1两组变量的相关问题两组变量的相关问题 n我们知道如何衡量两个变量之间是我们知道如何衡量两个变量之间是否相关的问题；这是一个简单的公否相关的问题；这是一个简单的公式就可以解决的问题式就可以解决的问题(Pearson相关相关系数、系数、Kendalls t t、Spearman 秩相关系数秩相关系数)。公式公式n如果我们有两组变量，如何能够表如果我们有两组变量，如何能够表明它们之间的关系呢？明它们之间的关系呢？例子（数据例子（数据tv.txt)n业内人士和观众对于一些电视节目的观点有业内人士和观众对于一些电视节目的观点有什么样的关系呢？什么样的关系呢
2、？该数据该数据是不同的人群对是不同的人群对30个电视节目所作的平均评分。个电视节目所作的平均评分。n观众评分来自低学历观众评分来自低学历(led)、高学历高学历(hed)和和网络网络(net)调查三种调查三种,它们形成它们形成第一组变量第一组变量；n而业内人士分评分来自包括演员和导演在内而业内人士分评分来自包括演员和导演在内的艺术家的艺术家(arti)、发行发行(com)与业内各部门主与业内各部门主管管(man)三种，形成三种，形成第二组变量第二组变量。人们对这样。人们对这样两组变量之间的关系感到兴趣。两组变量之间的关系感到兴趣。寻找代表寻找代表 n如直接对这六个变量的相关进行两两分如直接对这
3、六个变量的相关进行两两分析，很难得到关于这两组变量之间关系析，很难得到关于这两组变量之间关系的一个清楚的印象。的一个清楚的印象。n希望能够把多个变量与多个变量之间的希望能够把多个变量与多个变量之间的相关化为相关化为两个两个变量之间的相关。变量之间的相关。n现在的问题是为每一组变量现在的问题是为每一组变量选取一个综选取一个综合变量作为代表合变量作为代表；n而一组变量最简单的综合形式就是该组而一组变量最简单的综合形式就是该组变量的变量的线性组合线性组合。13.2 典型相关分析典型相关分析n由于一组变量可以有无数种线性组合由于一组变量可以有无数种线性组合（线性组合由相应的系数确定），因此（线性组合由
4、相应的系数确定），因此必须找到必须找到既有意义又可以确定的线性组既有意义又可以确定的线性组合。合。n典型相关分析典型相关分析(canonical correlation analysis)就是要找到这两组变量线性组就是要找到这两组变量线性组合的系数使得这两个由线性组合生成的合的系数使得这两个由线性组合生成的变量（和其他线性组合相比）之间的变量（和其他线性组合相比）之间的相相关系数最大。关系数最大。典型变量典型变量n假假定定两两组组变变量量为为X1,X2,Xp和和Y1,Y2,Yq，那那么么，问问题题就就在在于于要要寻寻找找系系数数a1,a2,ap和和b1,b2,bq，和和使使得得新新的的综综合合
5、变变量量（亦亦称称为为典典型型变变量量(canonical variable)）之之间间的的相相关关关关系系最最大大。这这种种相相关关关关系系是是用用典典型型 相相 关关 系系 数数（canonical correlation coefficient）来衡量的。来衡量的。典型相关系数典型相关系数 n这这里里所所涉涉及及的的主主要要的的数数学学工工具具还还是是矩矩阵阵的的特特征征值值和和特特征征向向量量问问题题。而而所所得得的的特特征征值值与与V和和W的的典典型型相相关关系系数有直接联系。数有直接联系。n由由于于特特征征值值问问题题的的特特点点，实实际际上上找找到到的的是是多多组组典典型型变变量
6、量(V1,W1),(V2,W2),，其其中中V1和和W1最最相相关关，而而V2和和W2次之等等，次之等等，典型相关系数典型相关系数 n而而且且V1,V2,V3,之之间间及及而而且且W1,W2,W3,之之间间互互不不相相关关。这这样样又又出出现现了了选选择择多多少少组组典典型型变变量量(V,W)的的问问题题了了。实实际际上上，只只要要选选择择特特征征值值累累积积总总贡贡献献占占主主要部分的那些即可。要部分的那些即可。n软软件件还还会会输输出出一一些些检检验验结结果果；于于是是只只要要选择显著的那些选择显著的那些(V,W)。n对对实实际际问问题题，还还要要看看选选取取的的(V,W)是是否否有有意意
7、义义，是是否否能能够够说说明明问问题题才才行行。至至于于得得到到(V,W)的的计计算算，则则很很简简单单，下下面面就就tv.txt数据进行分析。数据进行分析。数学原理？数学原理？计算结果计算结果 n第第一一个个表表为为判判断断这这两两组组变变量量相相关关性性的的若若干干检检验验，包包括括Pillai迹迹检检验验，Hotelling-Lawley迹迹检检验验，Wilks l l检检验验和和Roy的的最最大大根根检检验验；它它们们都都是是有有两两个个自自由由度度的的F检检验验。该该表表给给出出了了每每个个检检验验的的F值，两个自由度和值，两个自由度和p值（均为值（均为0.000）。）。计算结果计算
8、结果 n下下面面一一个个表表给给出出了了特特征征根根(Eigenvalue)，特特征征根根所所占占的的百百分分比比(Pct)和和累累积积百百分分比比(Cum.Pct)和和典典型型相相关关系系数数(Canon Cor)及及其其平平方方(Sq.Cor)。看看来来，头头两两对对典典型型变变量量(V,W)的的累累积积特特征征根根已已经经占占了了总总量量的的99.427%。它它们们的典型相关系数也都在的典型相关系数也都在0.95之上。之上。计算结果计算结果 n对对于于众众多多的的计计算算机机输输出出挑挑出出一一些些来来介介绍绍。下下面面表表格格给给出出的的是是第第一一组组变变量量相相应应于于上上面面三三
9、个个特特征征根根的的三三个个典典 型型 变变 量量 V1、V2和和 V3的的 系系 数数，即即 典典 型型 系系 数数(canonical coefficient)。注注意意，SPSS把把第第一一组组变变量量称称为为因因变变量量(dependent variables)，而而把把第第二二组组称称为为协协变变量量(covariates)；显显然然，这这两两组组变变量量是是完完全对称的。这种命名仅仅是为了叙述方便。全对称的。这种命名仅仅是为了叙述方便。n这这些些系系数数以以两两种种方方式式给给出出；一一种种是是没没有有标标准准化化的的原原始始变变量量的的线线性性组组合合的的典典型型系系数数(raw
10、 canonical coefficient)，一一 种种 是是 标标 准准 化化 之之 后后 的的 典典 型型 系系 数数(standardized canonical coefficient)。标标准准化化的的典典型型系系数数直直观观上上对对典典型型变变量量的的构构成成给给人人以以更更加加清清楚楚的印象。的印象。可以看出，头一个典型变量可以看出，头一个典型变量V1相应于前相应于前面第一个（也是最重要的）特征值，主面第一个（也是最重要的）特征值，主要代表高学历变量要代表高学历变量hed；而相应于前面而相应于前面第二个（次要的）特征值的第二个典型第二个（次要的）特征值的第二个典型变量变量V2主
11、要代表低学历变量主要代表低学历变量led和部分的和部分的网民变量网民变量net，但高学历变量在这里起负但高学历变量在这里起负面作用。面作用。计算结果计算结果 n类类似似地地，也也可可以以得得到到被被称称为为协协变变量量(covariate)的的标标准准化化的的第第二二组组变变量量的的相相应应于于头头三三个个特特征征值值得得三个典型变量三个典型变量W1、W2和和W2的系数：的系数：。例子结论例子结论 n从从这这两两个个表表中中可可以以看看出出，V1主主要要和和变变量量hed相相关关，而而V2主主要要和和led及及net相相关关；W1主主要要和和变变量量arti及及man相相关关，而而W2主主要要
12、和和com相相关关；这这和和它它们们的的典型系数是一致的。典型系数是一致的。n由由于于V1和和W1最最相相关关，这这说说明明V1所所代代表表的的高高学学历历观观众众和和W1所所主主要要代代表表的的艺艺术术家家(arti)及及各各部部门门经经理理(man)观观点点相相关关；而而由由于于V2和和W2也也相相关关，这这说说明明V2所所代代表表的的低低学学历历(led)及及以以年年轻轻人人为为主主的的网网民民(net)观观众众和和W2所所主主要要代代表表的的看看重重经经济济效效益益的的发发行行人人(com)观观点点相相关关，但但远远远远不不如如V1和和W1的的相关那么显著（根据特征值的贡献率）。相关那
13、么显著（根据特征值的贡献率）。SPSS的的实现实现n对例对例tv.sav，首先打开例首先打开例14.1的的SPSS数据数据tv.sav，n通通过过FileNewSyntax打打开开一一个个空空白白文文件件（默默认认文文件件名名为为Syntax1.sps），再再在在其其中中键键入入下下面面命命令令行：行：nMANOVA led hed net WITH arti com mann/DISCRIM ALL ALPHA(1)n/PRINT=SIG(EIGEN DIM).n再点击一个向右的三角形图标再点击一个向右的三角形图标(运行目前程序，运行目前程序，Run current)，就可以得到所需结果了。
14、就可以得到所需结果了。n还可以把还可以把Syntax1.sps另以其他名字（比如另以其他名字（比如tv.sps）存入一个文件夹。下次使用时就可以通过存入一个文件夹。下次使用时就可以通过FileOpenSyntax来打开这个文件了。来打开这个文件了。SPSS的的实现实现n注注意意1：典典型型相相关关分分析析是是本本书书内内容容中中唯唯一一不不能能用用SPSS的的点点击击鼠鼠标标的的“傻傻瓜瓜”方方式式，而而必必须须用用写写入入程程序序行行来来运运行行的的模模型型。读读者者不不必必要要再再去去研研究究语语法法的的细细节节，只只要要能能够够举举一一反反三三，套套用用这这个个例例子子的的程程序即可。序
15、即可。n当当然然，如如果果读读者者愿愿意意学学习习SPSS的的语语法法，则在处理数据时，肯定会更方便。则在处理数据时，肯定会更方便。SPSS的的实现实现n注注意意2：一一些些SPSS的的输输出出很很长长，这这时时输输出出窗窗口口截截去去了了一一些些内内容容没没有有显显示示（这这有有些些随随意意性性）。这这时时输输出出窗窗口口(SPSS Viewer)中中结结果果的的左左下下角有一个红色的三角型。角有一个红色的三角型。n如如果果想想要要看看全全部部内内容容，可可以以先先点点击击鼠鼠标标左左键键，选选中中输输出出结结果果，然然后后从从点点右右键键得得到到的的菜菜单单中中选选择择Export，就就可
16、可以以把把全全部部结结果果（包包括括截截去去的的部部分分）存存入入一一个个htm形形式式的的文文件件了了供供研研究究和和打印之用。打印之用。附录附录 两个变量时两个变量时,用线性相关系数用线性相关系数研究两研究两个变量之间的线性相关性个变量之间的线性相关性:返回返回典型相关分析典型相关分析n目的目的:研究多个变量之间的相关性研究多个变量之间的相关性n方法方法:利用主成分思想利用主成分思想,可以把多个可以把多个变量与多个变量之间的相关化为两变量与多个变量之间的相关化为两个变量之间的相关个变量之间的相关.即找一组系数即找一组系数(向量向量)l和和m,使新变量使新变量U=lX(1)和和V=mX(2)
17、有最大可能的相关关系有最大可能的相关关系.数学数学:设两组随机变量设两组随机变量而而的协方差阵的协方差阵S S0,均值向量均值向量m m=0,S S的剖分为的剖分为:对于前面的新变量对于前面的新变量U=lX(1)和和V=mX(2)Var(U)=Var(lX(1)=lS S11lVar(V)=Var(mX(2)=mS S22mCov(U,V)=lS S12m,r rUV=lS S12m/(lS S11l)(mS S22m)我们试图在约束条件我们试图在约束条件Var(U)=1,Var(V)=1下下寻求寻求l和和m使使r rUV=Cov(U,V)=lS S12m达到最大达到最大.这是这是Lagran
18、ge乘数法求下面乘数法求下面f f的极大值的极大值经过求偏导数和解方程经过求偏导数和解方程,得到得到l=nl=n=lS S12m=Cov(U,V),及及因此因此l l2 2既是既是A又是又是B的特征值的特征值,而相应的特征而相应的特征向量为向量为l,m可可得到得到p1对线性组合对线性组合Ui=l(i)X(1),Vi=m(i)X(2),称每一对变量为称每一对变量为典型变量典型变量.其其极大值极大值称为称为第一典型相关系数第一典型相关系数.一般只取前几个影一般只取前几个影响大的典型变量和典型相关系数来分析响大的典型变量和典型相关系数来分析.A和和B的特征根有如下性质的特征根有如下性质:(1)A和和
19、B有相有相同的非零特征根同的非零特征根,(2)其数目为其数目为p1.A和和B的的特征根非负特征根非负.(3)A和和B的特征根均在的特征根均在0和和1之间之间.我们表示这些称为我们表示这些称为典型相关系数典型相关系数的非零特的非零特征值和相应的特征向量为征值和相应的特征向量为典型变量的性质典型变量的性质:(1)X(1)和和X(2)中的一切典型变量都不相关中的一切典型变量都不相关.(2)X(1)和和X(2)的同一对典型变量的同一对典型变量Ui和和Vi之间之间的相关系数为的相关系数为l li,不同对的不同对的Ui和和Vj(ij)之之间不相关间不相关.样本情况样本情况,只要把只要把S S用样本协差阵或
20、样本相关阵用样本协差阵或样本相关阵R代替代替.下面回到我们的例子。下面回到我们的例子。典型相关系数的显著性检验典型相关系数的显著性检验:首先看首先看X(1)和和X(2)是否相关是否相关,如不相关如不相关,就不必讨论就不必讨论.如如果果这是为检验第这是为检验第1个典型相关系数的显著性个典型相关系数的显著性检验统计量为检验统计量为其中其中 为为 的特征根的特征根.如果如果H0为检验第为检验第r(rk)个个典型相关系数的显著性典型相关系数的显著性检验统计量为检验统计量为当然在实际例子中一般并不知道当然在实际例子中一般并不知道S S。因此因此在只有样本数据的情况下在只有样本数据的情况下,只要把只要把S S用样用样本协差阵或样本相关阵代替就行了。但本协差阵或样本相关阵代替就行了。但是这时的特征根可能不在是这时的特征根可能不在0和和1的范围，的范围，因此会出现软件输出中的特征根（比如因此会出现软件输出中的特征根（比如大于大于1）不等于相关系数的平方的情况，）不等于相关系数的平方的情况，这时，各种软件会给出调整后的相关系这时，各种软件会给出调整后的相关系数。数。典型相关和回归分析的关系典型相关和回归分析的关系把把X(1)和和X(2)换成回归中的换成回归中的X和和Y,这就是因这就是因变量和自变量之间的相关问题变量和自变量之间的相关问题.而而Y在在X上上的投影的投影,就是回归了就是回归了.