《《主成分分析与》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《主成分分析与》PPT课件.ppt（32页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、主成分分析与主成分分析与因子分析因子分析 山西医科大学卫生统计教研室山西医科大学卫生统计教研室山西医科大学卫生统计教研室山西医科大学卫生统计教研室 刘桂芬刘桂芬刘桂芬刘桂芬 多变量大样本分析中，变量间存多变量大样本分析中，变量间存在共线性，增加了分析的复杂性。在共线性，增加了分析的复杂性。若分别分析各个指标，分析有可能若分别分析各个指标，分析有可能是孤立的，而不是综合的；盲目地是孤立的，而不是综合的；盲目地减少指标又有可能损失很多信息，减少指标又有可能损失很多信息，得出错误结论。欲采用较少指标，得出错误结论。欲采用较少指标，反映原资料大部分信息，可采用主反映原资料大部分信息，可采用主成分分析和
2、因子分析。成分分析和因子分析。主成分分析主成分分析概 念 主成分分析主成分分析(principal component analysis)是将分散在一组变量上的信息是将分散在一组变量上的信息,集中到某几个综合指标集中到某几个综合指标(主成分主成分)上的一上的一种探索性统计分析方法。它利用降维的种探索性统计分析方法。它利用降维的思想思想,将多个变量化为少数几个互不相关将多个变量化为少数几个互不相关的主成分的主成分,从而描述数据集的内部结构。从而描述数据集的内部结构。主成分的几何意义对应对应m个变量的个变量的q个主成分如下个主成分如下:其中()分别是变量相关阵的前q个特征根对应的特征向量。的方差分
3、别是q个特征根12q。()是第i个变量在各个主成分上的载荷。而实际上载荷往往是指 ，它是第i个变量在各个标准化主成分上的载荷。据此可用最小二乘法解得标准主成分得分。标准化主成分的方差为1。PCA常用统计量：.特征根i .各成分贡献率.前各成分累计贡献率.特征向量 各成分表达式中标准化原始变量的系数向量，就是各成分的特征向量。因子分析一、因子分析模型一、因子分析模型设设X=(x1,x2,xp)为可观测的为可观测的随机变量，且有随机变量，且有f=(f1,f2,fm)为公共（共性）为公共（共性）因子（因子（common factor），简称因子），简称因子（factor）e=(ee=(e1 1,e,
4、e2 2,e,ep p)为特殊因子为特殊因子（specific factorspecific factor）f f和和e e均为不可直接观测的随机变量均为不可直接观测的随机变量=(=(1 1,2 2,p p)为总体为总体x x的的均值均值A=(aA=(aijij)p*mp*m为因子负荷（载荷）为因子负荷（载荷）（factor loadingfactor loading）矩阵）矩阵通常先对通常先对x作标准化处理，使其均值为零，作标准化处理，使其均值为零，方差为这样就有方差为这样就有假定（）假定（）fi的均数为，方差为；的均数为，方差为；（）（）e ei i的均数为，方差为的均数为，方差为i i；
5、（）（）fi与与e ei i相互独立相互独立则称则称x x为具有为具有m m个公共因子的因子模型个公共因子的因子模型如果再满足（）如果再满足（）f fi i与与f fj j相互独立相互独立（ijij），则称该因子模型为正交因），则称该因子模型为正交因子模型。子模型。正交因子模型具有如下特性：正交因子模型具有如下特性：x x的方差可表示为的方差可表示为设设（）（）h hi i2 2是是m m个公共因子对第个公共因子对第i i个变量个变量的贡献，称为第的贡献，称为第i i个共同度个共同度（communalitycommunality）或共性方差，公因）或共性方差，公因子方差（子方差（common
6、variancecommon variance）（）（）i i称为特殊方差（称为特殊方差（specific specific variancevariance），是不能由公共因子解），是不能由公共因子解释的部分释的部分因子载荷（负荷）因子载荷（负荷）a aijij是随机变量是随机变量x xi i与与公共因子公共因子f fj j的相关系数。的相关系数。设设称称g gj j2 2为公共因子为公共因子f fj j对对x x的的“贡献贡献”，是，是衡量公共因子衡量公共因子f fj j重要性的一个指标。重要性的一个指标。二、因子分析的步骤二、因子分析的步骤1.输入原始数据输入原始数据xn*p，计算样本均
7、值和方，计算样本均值和方 差，进行标准化计算（处理）；差，进行标准化计算（处理）；2.求样本相关系数矩阵求样本相关系数矩阵R=(rij)p*p；3.求相关系数矩阵的特征根求相关系数矩阵的特征根i i(1 1,2 2,p p0)0)和相应的标准正交的和相应的标准正交的特征向量特征向量li；4.确定公共因子数；确定公共因子数；5.计算公共因子的共性方差计算公共因子的共性方差hi2;6.对载荷矩阵进行旋转，以求能更好地对载荷矩阵进行旋转，以求能更好地解释公共因子；解释公共因子；7.对公共因子作出专业性的解释。对公共因子作出专业性的解释。三、因子分析提取因子的方法三、因子分析提取因子的方法主成分法主成
8、分法（principal component factor）每一个公共因子的载荷系数之平每一个公共因子的载荷系数之平方和等于对应的特征根，即该公共因方和等于对应的特征根，即该公共因子的方差。子的方差。极大似然法（极大似然法（maximum likelihood factor）假定原变量服从正态分布，公假定原变量服从正态分布，公共因子和特殊因子也服从正态分布，共因子和特殊因子也服从正态分布，构造因子负荷和特殊方差的似然函构造因子负荷和特殊方差的似然函数，求其极大，得到唯一解。数，求其极大，得到唯一解。主因子法（主因子法（principal factor）设原变量的相关矩阵为设原变量的相关矩阵为R
9、=(rij)，其逆矩阵为其逆矩阵为R-1=(rij)。各变量特征。各变量特征方差的初始值取为逆相关矩阵对角方差的初始值取为逆相关矩阵对角线元素的倒数，线元素的倒数，i i=1/r=1/riiii。则共则共同度的初始值为同度的初始值为(hi)。以以(hi)2代替相关矩阵中的对角线上的代替相关矩阵中的对角线上的元素，得到约化相关矩阵元素，得到约化相关矩阵R。R的前的前m个特征根及其对应的单位化特征向量个特征根及其对应的单位化特征向量就是主因子解。就是主因子解。迭代主因子法迭代主因子法（iterated principal factor）主因子的解很不稳定。因此，常以主因子的解很不稳定。因此，常以估
10、计的共同度为初始值，构造新的约估计的共同度为初始值，构造新的约化矩阵，再计算其特征根及其特征向化矩阵，再计算其特征根及其特征向量，并由此再估计因子负荷及其各变量，并由此再估计因子负荷及其各变量的共同度和特殊方差，再由此新估量的共同度和特殊方差，再由此新估计的共同度为初始值继续迭代，直到计的共同度为初始值继续迭代，直到解稳定为止。解稳定为止。因子载荷（负荷）因子载荷（负荷）a aijij是随机变量是随机变量x xi i与公共与公共因子因子f fj j的相关系数。的相关系数。设设 称称g gj j2 2为公共因子为公共因子f fj j对对x x的的“贡献贡献”，是，是衡量公共因子衡量公共因子f f
11、j j重要性的一个指标。重要性的一个指标。四、因子旋转四、因子旋转目的：使因子负荷两极分化，要么目的：使因子负荷两极分化，要么接近于接近于0，要么接近于，要么接近于1。常用的旋转方法：常用的旋转方法：（1 1）方差最大正交旋转）方差最大正交旋转（varimax varimax orthogonal rotationorthogonal rotation）基本思想：使公共因子的相对负荷基本思想：使公共因子的相对负荷（l lijij/h/hi i2 2）的方差之和最大，且保持原）的方差之和最大，且保持原公共因子的正交性和公共方差总和不公共因子的正交性和公共方差总和不变。变。可使每个因子上的具有最大
12、载荷的变可使每个因子上的具有最大载荷的变量数最小，因此可以简化对因子的解量数最小，因此可以简化对因子的解释。释。（2 2）斜交旋转）斜交旋转（oblique rotationoblique rotation）因子斜交旋转后，各因子负荷发生了因子斜交旋转后，各因子负荷发生了较大变化，出现了两极分化。各因子较大变化，出现了两极分化。各因子间不再相互独立，而彼此相关。各因间不再相互独立，而彼此相关。各因子对各变量的贡献的总和也发生了改子对各变量的贡献的总和也发生了改变。变。适用于大数据集的因子分析。适用于大数据集的因子分析。五、因子得分五、因子得分Thomson法，即回归法法，即回归法 回归法得分是
13、由回归法得分是由Bayes思想导出的，思想导出的，得到的因子得分是有偏的，但计算结果得到的因子得分是有偏的，但计算结果误差较小。误差较小。Bartlett法法 Bartlett因子得分是极大似然估计，也因子得分是极大似然估计，也是加权最小二乘回归，得到的因子得分是是加权最小二乘回归，得到的因子得分是无偏的，但计算结果误差较大。无偏的，但计算结果误差较大。因子得分可用于模型诊断，也可用作进一因子得分可用于模型诊断，也可用作进一步分析的原始资料。步分析的原始资料。六、因子分析应用的注意事项六、因子分析应用的注意事项应用条件应用条件 （1）变量是计量的，能用线性相）变量是计量的，能用线性相关系数（关系数（Pearson积叉相关系数）表积叉相关系数）表示。示。（2）总体的同质性）总体的同质性样本量样本量 没有估计公式。至少要保证样本没有估计公式。至少要保证样本相关系数稳定可靠。相关系数稳定可靠。因子数目因子数目 一般认为，累积贡献要达到一般认为，累积贡献要达到80%以以上。但要注意上。但要注意Heywood现象。现象。