《作聚类分析标准化课件.ppt》由会员分享，可在线阅读，更多相关《作聚类分析标准化课件.ppt（30页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、关于作聚类分析标准化关于作聚类分析标准化现在学习的是第1页，共30页 常言道：常言道：“物以类聚物以类聚”，对事物分门别类进行研究，有利于，对事物分门别类进行研究，有利于我们做出正确的判断。日常生活中，我们不自觉地用定性方法我们做出正确的判断。日常生活中，我们不自觉地用定性方法将人分为将人分为“好人好人”、“坏人坏人”；按熟悉程度分为；按熟悉程度分为“朋友朋友”、“熟人熟人”、“陌生人陌生人” 等等。等等。 数理统计中的数值分类有两种问题：数理统计中的数值分类有两种问题： ：已知分类情况，将未知个体归入正确类别：已知分类情况，将未知个体归入正确类别 ：分类情况未知，对数据结构进行分类：分类情况
2、未知，对数据结构进行分类 通过分类，有利于我们抓住重点，从总体上去把握事物，找通过分类，有利于我们抓住重点，从总体上去把握事物，找出解决问题的方法。例如将股票进行分类，可以为我们投资提出解决问题的方法。例如将股票进行分类，可以为我们投资提供参考。供参考。一、聚类分析（一、聚类分析（Cluster Analysis）简介）简介聚类分析是直接比较各事物之间的性质，将性质相近的聚类分析是直接比较各事物之间的性质，将性质相近的归为一类，将性质差别较大的归入不同的类的分析技术。归为一类，将性质差别较大的归入不同的类的分析技术。现在学习的是第2页，共30页 要做聚类分析，首先得按照我们聚类的目的，从对象中
3、要做聚类分析，首先得按照我们聚类的目的，从对象中提取提取出能表现这个目的的出能表现这个目的的特征指标特征指标；然后根据亲疏程度进行；然后根据亲疏程度进行分类。分类。聚类分析根据分类对象的不同可分为聚类分析根据分类对象的不同可分为Q型和型和R型两大类型两大类Q型是对样本进行分类处理，其作用在于型是对样本进行分类处理，其作用在于:能利用多个变量对样本进行分类能利用多个变量对样本进行分类分类结果直观，聚类谱系图能明确、清楚地表达其分类结果直观，聚类谱系图能明确、清楚地表达其数值分类结果数值分类结果1. 所得结果比传统的定性分类方法更细致、全面、合所得结果比传统的定性分类方法更细致、全面、合理理二、聚
4、类对象二、聚类对象现在学习的是第3页，共30页R型是对变量进行分类处理，其作用在于：型是对变量进行分类处理，其作用在于：可以了解变量间及变量组合间的亲疏关系可以了解变量间及变量组合间的亲疏关系1. 可以根据变量的聚类结果及它们之间的关系，选择主可以根据变量的聚类结果及它们之间的关系，选择主要变量进行回归分析或要变量进行回归分析或Q型聚类分析型聚类分析聚类的主要过程一般可分为如下四个步骤：聚类的主要过程一般可分为如下四个步骤：数据预处理（标准化）数据预处理（标准化）构造关系矩阵（亲疏关系的描述）构造关系矩阵（亲疏关系的描述）聚类（根据不同方法进行分类）聚类（根据不同方法进行分类）1. 确定最佳分
5、类（类别数）确定最佳分类（类别数） 以下我们结合实际例子分步进行讨论。以下我们结合实际例子分步进行讨论。三、聚类过程与方法三、聚类过程与方法现在学习的是第4页，共30页为什么要做数据变换为什么要做数据变换指标变量的量纲不同或数量级相差很大，为了使这些数据指标变量的量纲不同或数量级相差很大，为了使这些数据能放到一起加以比较，常需做变换。能放到一起加以比较，常需做变换。在在SPSS中如何选择标准化方法中如何选择标准化方法:Analyze Classify Hierachical Cluster Analysis Method 然后从对话框中进行如下选择然后从对话框中进行如下选择1. 数据预处理（标
6、准化）数据预处理（标准化）例、下表给出了例、下表给出了1982年全国年全国28个省、市、自治区农民家庭收支情个省、市、自治区农民家庭收支情况，有六个指标，是利用调查资料进行聚类分析，为经济发展决况，有六个指标，是利用调查资料进行聚类分析，为经济发展决策提供依据。策提供依据。（详见文件（详见文件1982“农民生活消费聚类农民生活消费聚类.sav”）现在学习的是第5页，共30页从从Transform Values框中框中点击向下箭头，将出现点击向下箭头，将出现如下可选项，从中选一如下可选项，从中选一即可：即可：常用标准化方法（选项说明）：常用标准化方法（选项说明）：None：不进行标准化，这是系统
7、默认值：不进行标准化，这是系统默认值现在学习的是第6页，共30页Z Scores：标准化变换：标准化变换为了便于后面的说明，作如下假设：为了便于后面的说明，作如下假设： nmnmxxxxX1111均值表示为均值表示为 niijjxnx11标准差表示为标准差表示为 nijijjxxnS1211所有样本表示为所有样本表示为极差表示为极差表示为ijniijnijxxR 11minmax mjniSSSxxxjjjjijij, 2 , 1, 2 , 1000*若若若若现在学习的是第7页，共30页：变换后的数据均值为：变换后的数据均值为0，标准差为，标准差为1，消去了量，消去了量纲的影响；当抽样样本改变
8、时，它仍能保持相对稳纲的影响；当抽样样本改变时，它仍能保持相对稳定性。定性。Range 1 to 1：极差标准化变换：极差标准化变换 mjniRxRRxxxjijjjjijij, 2 , 1, 2 , 100*若若若若：变换后的数据均值为：变换后的数据均值为0，极差为，极差为1，且，且|xij*|1，消，消去了量纲的影响；在以后的分析计算中可以减少误去了量纲的影响；在以后的分析计算中可以减少误差的产生。差的产生。现在学习的是第8页，共30页Maximum magnitude of 1 mjnixxxxxxxijniijniijijniijniijij, 2 , 1, 2 , 10max1min
9、0maxmax1111*若若若若：变换后的数据最大值为：变换后的数据最大值为1。Range 0 to 1（极差正规化变换（极差正规化变换 / 规格化变换）规格化变换） mjniRRRxxxjjjijniijij, 2 , 1, 2 , 105 . 00min1*若若若若现在学习的是第9页，共30页：变换后的数据最小为：变换后的数据最小为0，最大为，最大为1，其余在区间，其余在区间0，1内，极差为内，极差为1，无量纲。，无量纲。Mean of 1 mjnixxxxxxjijjjijij, 2 , 1, 2 , 1010*若若若若：变换后的数据均值为：变换后的数据均值为1。现在学习的是第10页，共
10、30页Standard deviation of 1 mjniSxSSxxjijjjijij, 2 , 1, 2 , 100*若若若若：变换后的数据标准差为：变换后的数据标准差为1。现在学习的是第11页，共30页在在SPSS中如何选择测度中如何选择测度:Analyze Classify Hierachical Cluster Analysis Method 然后从对话框中进行如下选择然后从对话框中进行如下选择2. 构造关系矩阵构造关系矩阵描述变量或样本的亲疏程度的数量指标有两种：描述变量或样本的亲疏程度的数量指标有两种： 相似系数相似系数性质越接近的样品，相似系数越接近于性质越接近的样品，相似
11、系数越接近于1或或-1；彼此无关的样品相似系数则接近于彼此无关的样品相似系数则接近于0，聚类时相似的样品聚，聚类时相似的样品聚为一类为一类 距离距离将每一个样品看作将每一个样品看作m维空间的一个点，在这维空间的一个点，在这m维空间中定义距离，距离较近的点归为一类。维空间中定义距离，距离较近的点归为一类。v 相似系数与距离有相似系数与距离有40多种，但常用的只是少数多种，但常用的只是少数现在学习的是第12页，共30页从从Measure框中点击框中点击Interval项的向下箭头，项的向下箭头，将出现如左可选项，从中将出现如左可选项，从中选一即可。选一即可。常用测度（选项说明）：常用测度（选项说明
12、）：Euclidean distance：欧氏距离：欧氏距离（二阶（二阶Minkowski距离）距离） iiiyxyxd2)(),(现在学习的是第13页，共30页Squared Eucidean distance：平方欧氏距离：平方欧氏距离：聚类分析中用得最广泛的距离聚类分析中用得最广泛的距离但与各变量的量纲有关，未考虑指标间的相关性，也未但与各变量的量纲有关，未考虑指标间的相关性，也未考虑各变量方差的不同考虑各变量方差的不同：聚类分析中用得最广泛的距离聚类分析中用得最广泛的距离 iiiyxyxd2)(),(现在学习的是第14页，共30页Cosine：夹角余弦：夹角余弦(相似性测度相似性测度)
13、：计算两个向量在原点处的夹角余弦。当两夹角为：计算两个向量在原点处的夹角余弦。当两夹角为0o时，取值为时，取值为1，说明极相似；当夹角为，说明极相似；当夹角为90o时，取值为时，取值为0，说明两者不相关。说明两者不相关。取值范围：取值范围：01 iiiiiiiyxyxyx22),cos(Pearson correlation：皮尔逊相关系数：皮尔逊相关系数的的标标准准值值是是iiiiixZxnZyZxyx,1),cos( 现在学习的是第15页，共30页Chebychev：切比雪夫距离：切比雪夫距离iiiyxyxd max),(：计算两个向量的皮尔逊相关系数：计算两个向量的皮尔逊相关系数：计算两
14、个向量的切比雪夫距离：计算两个向量的切比雪夫距离Block：绝对值距离（一阶：绝对值距离（一阶Minkowski度量）度量）（又称（又称Manhattan度量或网格度量）度量或网格度量） iiiyxyxd),(1：计算两个向量的绝对值距离：计算两个向量的绝对值距离现在学习的是第16页，共30页Minkowski：明科夫斯基距离：明科夫斯基距离qiqiiqyxyxd/1),( ：计算两个向量的明科夫斯基距离：计算两个向量的明科夫斯基距离Customized：自定义距离：自定义距离riqiiqyxyxd/ 1),( ：计算两个向量的自定义距离：计算两个向量的自定义距离现在学习的是第17页，共30页
15、 确定了样品或变量间的距离或相似系数后，就要对样确定了样品或变量间的距离或相似系数后，就要对样品或变量进行分类。分类的一种方法是品或变量进行分类。分类的一种方法是系统聚类法系统聚类法（又（又称谱系聚类）；另一种方法是称谱系聚类）；另一种方法是调优法调优法（如动态聚类法就属于（如动态聚类法就属于这种类型）。此外还有这种类型）。此外还有模糊聚类模糊聚类、图论聚类图论聚类、聚类预报聚类预报等等多种方法。多种方法。 我们主要介绍系统聚类法我们主要介绍系统聚类法(实际应用中使用最多实际应用中使用最多)。 系统聚类法的系统聚类法的：令：令n个样品个样品自成一类自成一类，计算出，计算出相相似性测度似性测度，
16、此时类间距离与样品间距离是等价的，把测度，此时类间距离与样品间距离是等价的，把测度最小的两个最小的两个类合并类合并；然后按照某种聚类方法计算；然后按照某种聚类方法计算类间的距类间的距离离，再按，再按最小距离准则最小距离准则并类；这样每次减少一类，持续下去并类；这样每次减少一类，持续下去直到所有样品都归为一类为止。聚类过程可做成聚类谱系图直到所有样品都归为一类为止。聚类过程可做成聚类谱系图(Hierarchical diagram)。3. 选择聚类方法选择聚类方法现在学习的是第18页，共30页 系统聚类法的聚类原则决定于样品间的距离（或相似系统聚类法的聚类原则决定于样品间的距离（或相似系数）及类
17、间距离的定义，类间距离的不同定义就产生系数）及类间距离的定义，类间距离的不同定义就产生了不同的系统聚类分析方法。了不同的系统聚类分析方法。SPSS中如何选择系统聚类法中如何选择系统聚类法从从Cluster Method框中点框中点击向下箭头，将出现如左击向下箭头，将出现如左可选项，从中选一即可。可选项，从中选一即可。1) 系统聚类法的产生系统聚类法的产生现在学习的是第19页，共30页Between-groups linkage 组间平均距离连接法组间平均距离连接法：非最大距离，也非最小距离：非最大距离，也非最小距离方法简述：合并两类的结果使所有的两两项对之间的方法简述：合并两类的结果使所有的两
18、两项对之间的平均距离最小。（项对的两成员分属不同类）平均距离最小。（项对的两成员分属不同类）Within-groups linkage 组内平均连接法组内平均连接法方法简述：两类合并为一类后，合并后的类中所有项之间的方法简述：两类合并为一类后，合并后的类中所有项之间的平均距离最小平均距离最小3) 常用系统聚类方法常用系统聚类方法现在学习的是第20页，共30页Nearest neighbor 最近邻法（最短距离法）最近邻法（最短距离法）：样品有链接聚合的趋势，这是其缺点，不适合一：样品有链接聚合的趋势，这是其缺点，不适合一般数据的分类处理，除去特殊数据外，不提倡用这般数据的分类处理，除去特殊数据
19、外，不提倡用这种方法。种方法。方法简述：首先合并最近或最相似的两项方法简述：首先合并最近或最相似的两项Furthest neighbor 最远邻法（最长距离法）最远邻法（最长距离法）方法简述：用两类之间最远点的距离代表两类之间的方法简述：用两类之间最远点的距离代表两类之间的距离，也称之为完全连接法距离，也称之为完全连接法现在学习的是第21页，共30页Centroid clustering 重心聚类法重心聚类法：该距离随聚类地进行不断缩小。该法的谱系树状图：该距离随聚类地进行不断缩小。该法的谱系树状图很难跟踪，且符号改变频繁，计算较烦。很难跟踪，且符号改变频繁，计算较烦。方法简述：两类间的距离定
20、义为两类重心之间的距离，方法简述：两类间的距离定义为两类重心之间的距离，对样品分类而言，每一类中心就是属于该类样品的均对样品分类而言，每一类中心就是属于该类样品的均值值Median clustering 中位数法中位数法：图形将出现递转，谱系树状图很难跟踪，因而这个方：图形将出现递转，谱系树状图很难跟踪，因而这个方法几乎不被人们采用。法几乎不被人们采用。方法简述：两类间的距离既不采用两类间的最近距离，也方法简述：两类间的距离既不采用两类间的最近距离，也不采用最远距离，而采用介于两者间的距离不采用最远距离，而采用介于两者间的距离现在学习的是第22页，共30页Wards method 离差平方和法
21、离差平方和法：实际应用中分类效果较好，应用较广；要求样品：实际应用中分类效果较好，应用较广；要求样品间的距离必须是欧氏距离。间的距离必须是欧氏距离。方法简述：基于方差分析思想，如果分类合理，则同方法简述：基于方差分析思想，如果分类合理，则同类样品间离差平方和应当较小，类与类间离差平方和类样品间离差平方和应当较小，类与类间离差平方和应当较大应当较大现在学习的是第23页，共30页 经过系统聚类法处理后，得到聚类树状谱系图，经过系统聚类法处理后，得到聚类树状谱系图，Demirmen(1972)提出了应根据研究的目的来确定适当的分提出了应根据研究的目的来确定适当的分类方法，并提出了一些根据谱系图来分类
22、的准则：类方法，并提出了一些根据谱系图来分类的准则：任何类都必须在临近各类中是突出的，即各类重心任何类都必须在临近各类中是突出的，即各类重心间距离必须极大间距离必须极大确定的类中，各类所包含的元素都不要过分地多确定的类中，各类所包含的元素都不要过分地多分类的数目必须符合实用目的分类的数目必须符合实用目的若采用几种不同的聚类方法处理，则在各自的聚类图若采用几种不同的聚类方法处理，则在各自的聚类图中应发现相同的类中应发现相同的类四、谱系分类的确定四、谱系分类的确定现在学习的是第24页，共30页SPSS中其他选项（通过实例演示）中其他选项（通过实例演示）例、下表给出了例、下表给出了1982年全国年全
23、国28个省、市、自治区农民家个省、市、自治区农民家庭收支情况，有六个指标，是利用调查资料进行聚类分庭收支情况，有六个指标，是利用调查资料进行聚类分析，为经济发展决策提供依据。析，为经济发展决策提供依据。（详见文件（详见文件1982“农民生活消费聚类农民生活消费聚类.sav”）现在学习的是第25页，共30页生成树形图生成树形图生成冰柱图生成冰柱图凝聚状态表，显示凝聚状态表，显示聚类过程聚类过程各项间的距离矩阵各项间的距离矩阵类成员栏类成员栏现在学习的是第26页，共30页结果分析：结果分析： （方法选择如下）（方法选择如下）现在学习的是第27页，共30页通过比较，可知离差平方和法（通过比较，可知离
24、差平方和法（Wards method）分类结果较好，）分类结果较好，将将28各样本分为三类：各样本分为三类：第一类包含第一类包含6个元素：个元素：2、15、10、11、6、7第二类包含第二类包含10个元素：个元素：8、17、28、12、13、18、14、20、21、22第三类包含第三类包含9个元素：个元素：3、16、23、24、4、27、5、25、26v另有三个元素另有三个元素1、9、19为孤立点。为孤立点。从分类结果可以看出：从分类结果可以看出：1、9、19表示北京、上海、广东三地农民表示北京、上海、广东三地农民属高消费生活水平；天津等第一类的农民生活水平较高；安徽等属高消费生活水平；天津等第一类的农民生活水平较高；安徽等第二类的农民生活水平为中等；陕西等地的农民生活水平较低。第二类的农民生活水平为中等；陕西等地的农民生活水平较低。现在学习的是第28页，共30页试用不同方法对变量进行聚类，并分析结果的含试用不同方法对变量进行聚类，并分析结果的含义义现在学习的是第29页，共30页感谢大家观看现在学习的是第30页，共30页