《统计学非参数检验(课堂PPT).ppt》由会员分享，可在线阅读，更多相关《统计学非参数检验(课堂PPT).ppt（92页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第六章第六章 非参数检验非参数检验1方法的回顾方法的回顾l单个因素（两水平）的作用评价：两组比较完全随机设计下的单因素两组比较匹配设计的两组比较l单个因素（多水平）的作用评价：多组比较完全随机设计下的单因素多水平比较l两个因素的分析问题无交互作用、有交互作用2l单因素两组比较：t检验完全随机两组均数比较的t检验（独立t检验）匹配设计下两组均数比较的t检验（匹配t检验）l单因素多组比较：方差分析完全随机设计下的多组均数比较3局限性局限性lt检验独立t检验要求：正态、方差相等（或不相等）、个体独立匹配t检验要求：差值正态、个体独立l方差分析单因素多水平比较方差分析要求：正态、方差相等、个体独立4未
2、解决问题未解决问题l两组性别结构是否相同？l疗效用痊愈、显效、有效、无效四级分类法进行评价时，两组或多组如何比较？l如何检验样本数据来自的总体服从正态分布？l总体不是正态分布，小样本情况下，如何检验总体的集中趋势？l有6名歌手参加比赛，4名评委进行评判打分，推断评委的评判标准是否一致l5l参数检验：样本被视为从分布族的某个参数族抽取出来的总体的代表，而未知的仅仅是总体分布具体的参数值推断问题就转化为对分布族的若干个未知参数的估计问题，用样本对这些参数做出估计或者进行某种形式的假设检验，这类推断方法称为参数方法。6l非参数检验（nonparametric tests）又称为任意分布检验（dist
3、ribution-free test），它不考虑研究对象总体分布具体形式，也不对总体参数进行统计推断仅仅依赖于数据观测值的相对大小(秩)等，而是通过检验样本所代表的总体分布形式是否一致来得出统计结论。7l非参数统计的名字中的“非参数(nonparametric)”意味着其方法不涉及描述总体分布的有关参数；l它被称为“和分布无关”(distributionfree)，是因为其推断方法和总体分布无关；不应理解为与所有分布(例如有关秩的分布)无关 8l对总体假定较少，有广泛的适用性，对总体假定较少，有广泛的适用性，结果稳定性较好。结果稳定性较好。假定较少假定较少不需要对总体参数的假定不需要对总体参数
4、的假定与参数结果接近与参数结果接近l针对几乎所有类型的数据形态。针对几乎所有类型的数据形态。l容易计算容易计算在计算机盛行之前就已经发展起来。在计算机盛行之前就已经发展起来。非参数检验的优点9l可能会浪费一些信息可能会浪费一些信息特别当数据可以使用参数模型特别当数据可以使用参数模型的时候的时候l大样本手算相当麻烦大样本手算相当麻烦l一些表不易得到一些表不易得到非参数检验的弱点10已知总体分布类型已知总体分布类型已知总体分布类型已知总体分布类型，对，对，对，对未知参数进行统计推断未知参数进行统计推断未知参数进行统计推断未知参数进行统计推断依赖于特定分布类依赖于特定分布类依赖于特定分布类依赖于特定
5、分布类型，比较的是型，比较的是型，比较的是型，比较的是参数参数参数参数 参数检验参数检验 （parametric testparametric test）非参数检验非参数检验 （nonparametric testnonparametric test）对总体的分布类型对总体的分布类型对总体的分布类型对总体的分布类型不作严格要求不作严格要求不作严格要求不作严格要求 不受分布类型的影响，比不受分布类型的影响，比不受分布类型的影响，比不受分布类型的影响，比较的是较的是较的是较的是总体分布位置总体分布位置总体分布位置总体分布位置 优点优点优点优点：方法简便、易学易用，易于推广使用、：方法简便、易学易用
6、，易于推广使用、：方法简便、易学易用，易于推广使用、：方法简便、易学易用，易于推广使用、应用范围广；可用于参数检验难以处理的资料应用范围广；可用于参数检验难以处理的资料应用范围广；可用于参数检验难以处理的资料应用范围广；可用于参数检验难以处理的资料(如等级资料，或含数值如等级资料，或含数值如等级资料，或含数值如等级资料，或含数值“50mg”“50mg”等等等等)缺点缺点缺点缺点：方法比较粗糙，对于符合参数检验条件者，采用：方法比较粗糙，对于符合参数检验条件者，采用：方法比较粗糙，对于符合参数检验条件者，采用：方法比较粗糙，对于符合参数检验条件者，采用非参数检验会损失部分信息，其非参数检验会损失
7、部分信息，其非参数检验会损失部分信息，其非参数检验会损失部分信息，其检验效能较低检验效能较低检验效能较低检验效能较低；样本含；样本含；样本含；样本含量较大时，两者结论常相同量较大时，两者结论常相同量较大时，两者结论常相同量较大时，两者结论常相同11非参数检验的特点非参数检验的特点非参数检验不需要严格假设条件，因而比参数检验有更广泛的适用面。非参数检验几乎可以处理包括定类数据和定序数据在内的所有类型的数据，而参数检验通常只能用于定量数据的分析。在参数检验和非参数检验都可以使用的情况下，非参数检验的功效（power）要低于参数检验方法。12以下情况下应当首选非参数方法以下情况下应当首选非参数方法参
8、数检验中的假设条件不满足，从而无法应用。例如总体分布为偏态或分布形式未知，且样本为小样本时。检验中涉及的数据为定类或定序数据。所涉及的问题中并不包含参数，如判断某样本是否来自正态分布等，判断某样本是否为随机样本。13常用的非参数检验方法常用的非参数检验方法l用于单个样本的c2拟合优度检验、K-S拟合优度检验、中位数的符号检验l用于两个匹配样本的Wilcoxon符号秩检验l用于两个独立样本的Wlicoxon秩和检验l用于多个独立样本的Kruskal-Wallis检验。14第六章第六章 非参数检验非参数检验l非参数检验概述非参数检验、特点及应用l单样本的非参数检验l两个样本和多个样本的非参数检验1
9、5单样本的非参数检验单样本的非参数检验lc2拟合优度检验lK-S拟合优度检验l中位数的符号检验分类数据检验分布对中位数的推断16lc2统计量用来测定定类变量之间的相关程度c2统计量的分布与自由度有关；c2统计量描述了观察值与期望值的接近程度17l拟合优度检验（goodness of fit test）用c2统计量进行统计显著性检验的重要内容之一；依据总体分布状况，计算出分类变量中各类别的期望频数，与分布的观察频数进行对比，判断期望频数与观察频数是否有显著差异，从而达到对分类变量进行分析的目的。18l1912年4月15日，豪华巨轮泰坦尼克号与冰山相撞沉没。当时船上共有2208人，其中男性1738
10、人，女性470人。l海难发生后，幸存者共718人，其中男性374人，女性344人，以显著性水平为0.1检验存活状况与性别是否有关？19l提出零假设和备择假设H0：观察频数与期望频数一致H1：观察频数与期望频数不一致l计算期望频数 男性的期望频数 ，女性为153人l计量c2统计量l查表 （自由度为类别数-1）l做出判断：决绝原假设，认为存活状况与性别显著相关20l一种饮料的容器材料可以选择玻璃、塑料或者金属。l为了比较消费者对包装材料的偏好，抽样调查了120名消费者发现，最喜欢玻璃、塑料和金属容器的分别有55、25和40人。l根据调查结果，能否认为消费者对3种材料的偏好程度是无差异的（显著性水平
11、a=0.05）？21分析分析l如果消费者对3种材料的偏好程度是无差异的，也就是说消费者对材料的偏好服从均匀分布，则理论上来说，调查120名消费者，偏好每种材料的人数应该是相等的，也就是40人。l各组观测到的人数与理论人数（期望值）之间的差异应该都是由于抽样的随机性造成的，因此不应该太大。l如果二者之间的差异特别大，则说明我们所作的假设（消费者对3种材料的偏好程度是无差异的）很可能不成立。22l检验统计量k是样本分类的个数，表示实际观察到的频数，表示理论频数。观察频数与期望频数越接近，则c2值越小。根据皮尔逊定理，当n充分大时，c2统计量渐近服从于k-1个自由度的c2分布。23软件操作：数据录入
12、软件操作：数据录入24软件操作：方法设定软件操作：方法设定l选择“分析”“非参数检验”“卡方”，在弹出的对话框中将“材料”设定为检验变量；单击对话框中的“精确”，选中弹出对话框中的“精确”，单击“继续”、“确定”25软件操作：结果分析（软件操作：结果分析（1）观察数观察数 期望数期望数残差残差1.005540.015.02.002540.0-15.03.004040.0.0总数总数12026软件操作：结果分析（软件操作：结果分析（2）材料卡方11.250df2渐近显著性.004精确显著性.003点概率.00027结果分析（结果分析（3）l结论：计算出的c2统计量的值为11.250，自由度为2，
13、相应的p值（渐近显著性）为0.004，小于a=0.05。所以检验的结论是拒绝总体中消费者对3种材料的偏好程度无差异的零假设。28特别说明特别说明l大样本、每个单元中的期望频数大于等于5时可以使用c2分布。l小样本时应该按照精确方法计算得到的p值得出结论。lc2检验也可以按照同样的思想对正态分布或者任何想象的其他分布进行检验，但主要用于对定性变量的检验。另外，c2检验也可以用于对两个总体分布的比较。29单样本的非参数检验单样本的非参数检验lc2拟合优度检验对定类变量用c2统计量进行统计显著性检验lK-S拟合优度检验l中位数的符号检验检验分布30l单样本K-S检验检验总体分布是否为理论分布（正态、
14、Possion、均匀、指数）是以两位苏联数学家Kolmogorov 和 Smirnov 命名的，全称为Kolmogorov-Smirnov检验。通过对两个分布差异的分析确定能否认为样本的观察值来自所设定的理论分布总体。31l定义 ，显然若对每一个x值来说，如果经验分布函数与特定分布函数的拟合程度很高，则有理由认为样本数据来自具有该理论分布的总体。l检验统计量：l根据检验统计量的精确分布或渐进分布，可以计算出假设检验的p值，从而得出检验的结论。32lSPSS K-S检验中检验统计量Z的计算33lSPSS K-S检验中p值的计算34l有100名儿童每周看电视时间的数据（数据文件：电视时间.sav）
15、。检验能否认为总体中儿童每周看电视的时间服从正态分布（显著性水平a=0.05）。l这里K-S检验的零假设和备择假设为：H0：总体中儿童每周看电视的时间服从正态分布。H1：总体中儿童每周看电视的时间不服从正态分布。3536l在SPSS软件中打开数据文件，选择“分析”“非参数检验”“1样本K-S”，在弹出的对话框中将“时间”设定为检验变量；检验分布为默认的“常规”（正态分布）。单击“确定”37时间N100正态参数a,b均值27.191标准差8.3728最极端差别绝对值.096正.096负-.039Kolmogorov-Smirnov Z.960渐近显著性(双侧).31538l检验结论相应的p值（渐
16、近显著性）为0.315。由于0.315大于0.05，所以在5%的显著性水平下不能拒绝原假设，也就是说根据样本数据不能认为总体分布是非正态的。注意这里并不能得出总体服从正态分布的严格结论。总体服从正态分布的结论可能犯第二类错误（取伪错误），这个概率是未知的，在有些情况下可能会很大。39l特别声明在K-S检验中如果使用的是小样本，则根据渐进分布计算p值的误差会增大。这时应该通过相应的设定要求软件输出精确检验的p值，根据精确检验的p值得出检验结论。K-S检验也可以用于对两个总体分布是否一致的检验。40单样本的非参数检验单样本的非参数检验lc2拟合优度检验对定类变量用c2统计量进行统计显著性检验lK-
17、S拟合优度检验检验总体分布形态l中位数的符号检验对中位数的推断41l单样本中位数的检验秩符号检验Wilcoxon符号秩检验42l秩（rank）是指全部观察值按某种顺序排列的位序；通常是将数据按照升幂排列之后，每个观测值的位置，秩次在一定程度上反映了等级的高低。下面一行Ri就是上面一行数据Xi的秩。43l数据中有相同的数值，称为结。结中数字的秩为它们所占位置的平均值Xi159173178513719Ri758.518.542631044A组：、+、+、+、+、+、+、+、+、+、+-+1 2 3 4 5 6 7 8 9 10 11 12 1 2 4.5 4.5 4.5 4.5 8.5 8.5 8
18、.5 8.5 11.5 11.5平均秩次平均秩次=（3+6)/2=4.545l利用秩的大小进行推断就避免了不知道背景分布的困难。这也是非参数检验的优点。l多数非参数检验明显地或隐含地利用了秩的性质；但也有一些非参数方法没有涉及秩的性质。46l符号检验（sign test）在非正态总体小样本的情况下，如果要对总体分布的位置进行推断，由于t检验不适用，也可使用符号检验的方法。在数据呈偏态分布的情况下，我们可能对总体的中位数更感兴趣，希望对总体的中位数作出推断，这时可以使用符号检验的方法。47l例6.3 在某地区随机调查了60个家庭的月收入。（数据文件：家庭月收入.sav）。根据样本数据能否认为总体
19、中家庭月收入的中位数等于5000元（显著性水平a=0.05）？4849l符号检验的基本思想：每个数据都减去零假设中的中位数，记录其差值的符号。计算正、负符号的个数（差值为0的不计算在任何一个中）当原假设为真时二者应该很接近；若两者相差太远，就有理由拒绝原假设。50l检验统计量原假设成立时，检验统计量S服从二项分布。根据二项分布计算得到p值，从而得出检验的结论。当正号和负号个数之和大于25时，可以按照正态分布进行近似计算。51l例6.3 在某地区随机调查了60个家庭的月收入。（数据文件：家庭月收入.sav）。根据样本数据能否认为总体中家庭月收入的中位数等于5000元（显著性水平a=0.05）？5
20、2l在SPSS中打开数据文件。为了对中位数进行检验，先在SPSS中生成一个新的变量Median，取值为5000：单击“转换”“计算变量”，在弹出的对话框中按照图6-3进行设置，单击确定。53l选择“分析”“非参数检验”“2个相关样本”，在弹出的对话框中将“Median”和“家庭月收入”设定检验的一对变量；选中“符号检验”，取消选择“Wilcoxon”，单击“确定”5455l用正态分布进行近似计算时，Z统计量的值为-0.129，双侧检验的p值为0.897。由于p值大于0.05，检验的结论是不能拒绝原假设，即没有充分证据证明中位数不等于5000。56l特别声明如果样本量较小，则需要使用软件输出的精
21、确检验的p值进行推断在小样本时，如果要求进行精确检验，SPSS会自动按照二项分布进行概率计算。57lWilcoxon符号秩检验符号检验只用到差值的符号，而对差值数值的大小未能考虑，因而失去了部分信息。Wilcoxon符号秩检验既考虑差值的符号，又考虑差值的大小，因此在所需的假设条件满足时其功效比符号检验高。58lWilcoxon符号秩检验计算差值绝对值的秩。将差值绝对值从小到大排序，其位次就是的秩（rank），等于0值不参与排序。分别计算出差值序列中正数的秩和W+以及负数的秩和W-。显然，如果零假设成立，W+与W-应该比较接近。如果二者过大或过小，则说明零假设不成立。将正数的秩和或者负数的秩作
22、为检验统计量，根据其统计分布计算p值，从而可以得出检验的结论。前提假设：样本点来自连续对称总体分布59lWilcoxon符号秩检验计算 ，将其按照大小排序，得到 的秩；把 的正负号加到相应的秩上；计算计算检验统计量做出判断，W太小时，决绝零假设6061第六章第六章 非参数检验非参数检验l非参数检验概述非参数检验、特点及应用l单样本的非参数检验c2拟合优度检验、K-S检验、中位数的符号检验及Wilcoxon符号秩检验l两个样本和多个样本的非参数检验62l两个样本和多个样本的非参数检验两个匹配样本的Wilcoxon符号秩检验两个独立样本的Wlicoxon秩和检验多个独立样本的Kruskal-Wal
23、lis检验 63l匹配样本的非参数检验如果t检验的假设条件不满足，t检验就不适用了。符号检验和Wilcoxon符号秩检验都可以用做替代的检验方法。用样本数据中对应的数值相减得到新的序列：零假设：差值总体的中位数=0；备择假设：差值总体的中位数0。64l例6.4 从实施适时管理（JIT）的企业中随机抽取10家进行效益分析，得到它们在实施JIT前后三年的平均资产报酬率（数据文件：JIT管理.sav）。在5的显著性水平下企业在实施JIT前后的资产报酬率是否有显著差异？6566l在SPSS软件中打开数据文件，选择“分析”“非参数检验”“2个相关样本”，在弹出的对话框中将“JIT后”和“JIT前”设定检
24、验的一对变量；选中“Wilcoxon”和“符号检验”。由于这里样本量很小，我们要求进行精确检验：单击对话框中的“精确”，选中弹出对话框中的“精确”，单击“继续”、“确定”67l符号检验结果（1）NJIT前-JIT后 负差分a7正差分b3结c0总数1068l符号检验结果（2）l结论：不能拒绝零假设，没有证据表明小于企业在实施JIT前后的资产报酬率有显著变化 JIT前-JIT后精确显著性（双侧）.344a精确显著性（单侧）.172点概率.11769lWilcoxon符号秩检验结果（1）N秩均值秩和JIT前-JIT后负秩7a4.3630.50正秩3b8.1724.50结0c总数1070lWilcox
25、on符号秩检验结果（2）JIT前-JIT后Z-.307a渐近显著性(双侧).759精确显著性（双侧）.787精确显著性（单侧）.394点概率.02071l两个独立样本的Wlicoxon秩和检验在两个独立样本的t检验不适用时，Wlicoxon秩和检验可以作为一种替代的非参数检验方法使用。这一检验可以用来对两个总体的中位数进行检验。72l基本原理如果两个总体具有相似的分布形状，并且中位数相同，那么由m个x、n个y组成的m十nN个观察值可以被看作来自同一总体的一个随机样本。将全部x和y从小到大排序确定每个数值的秩，然后计算m个x的秩的和W x、n个y的秩的和W y。由于抽样的随机性，x、y应较均匀地
26、分布在混合排列的样本中。如果零假设成立，在样本量相同的情况下两个秩和应该比较接近；样本量不同的情况下平均秩和的平均秩应该比较接近。否则就说明两个总体的中位数是不相等的。73l由于对称性，两个秩和W x、W y都可以用作Wilcoxon秩和检验的检验统计量。lSPSS软件中使用的是平均秩较小的一组的秩和。l统计量W的统计分布可以精确推导出来l在样本量较大时（m和n都不小于10）可以用正态分布来进行近似。l得到p值之后，再通过比较p值和a的大小得出结论。74l相关说明由于Wilcoxon秩和检验与Mann和Whitney提出的U检验完全等价，因此这种方法也被称为Wlicoxon-Mann-Whit
27、ney检验，或者Mann-Whitney U检验。在样本量较小时，应当使用精确检验的结果严格来说用Wilcoxon秩和检验对中位数进行假设检验，需要假定两个总体分布有类似的形状才能得出可靠的结论。75l例6.5 已知某企业职工的收入调查中20名本科毕业生和15名研究生的月收入（元）（数据文件：本科研究生收入.sav），试比较本科生和研究生的收入水平（显著性水平a=0.05）。76l分析由于收入一般是右偏分布，因此不适合用t检验进行分析。我们用Wilcoxon秩和检验来比较两个总体的中位数。检验的零假设和备择假设如下：H0：本科和研究生月收入的中位数相等；H1：本科和研究生月收入的中位数不相等。
28、77l在SPSS软件中打开数据文件，选择“分析”“非参数检验”“2个独立样本”，在弹出的对话框中将“月收入”设定为检验变量，“学历”设定为分组变量，然后单击“定义组”，按照“学历”的取值进行设定，然后单击“继续”，检验类型使用默认“Mann-Whitney U”，单击“确定”78l结果分析：学历N秩均值秩和月收入本科2013.55271.00研究生1523.93359.00总数3579l根据精确检验的p值，在显著性水平大于0.002时我们应该拒绝原假设，结论是本科与研究生的收入的中位数不相等。月收入Mann-Whitney U61.000Wilcoxon W271.000Z-2.967渐近显著
29、性(双侧).003精确显著性2*（单侧显著性）.002a80l多个独立样本的Kruskal-Wallis检验Kruskal-Wallis检验是Wlicoxon秩和检验的推广，用来对多个总体的中位数进行比较。在单因素方差分析模型不适用于所研究的问题时，Kruskal-Wallis往往是一种可以替代的非参数检验方法。81l基本原理Kruskal-Wallis检验也是根据秩和来构造检验统计量的。将所有样本的数据合在一起，从小到大排序得到每个数值的秩，然后计算各样本的秩和以及平均秩。如果各组没有显著性差异，则各组的平均秩应该趋于相等；如果各组的平均秩相差较大，则各组中位数有显著性差异的可能性较大。82
30、l检验统计量83l基本原理：当样本组数k，每组样本样本容量ni不是很小时，检验统计量H的抽样分布近似服从自由度为k-1的c2分布。在k=3，n5时，用c2分布近似的误差较大，应该使用精确检验方法如果p值小于显著性水平a，则拒绝零假设，说明k个总体中位数之间存在显著差异84l例5.1用单因素方差分析的方法对4个专业的平均起薪进行了比较分析（数据文件起薪1.xls）。由于不确定总体是否服从正态分布，请使用Kruskal-Wallis检验比较四个专业毕业生的起薪是否有显著差异。H0:四个专业起薪的中位数都相等；H1:四个专业起薪的中位数不全相等。85l在SPSS软件中打开数据文件，选择“分析”“非参
31、数检验”“k个独立样本”，在弹出的对话框中将“起薪”设定为检验变量，“专业”设定为分组变量，然后单击“定义组”，按照“专业”的取值进行设定，然后单击“继续”，检验类型使用默认“Kruskal-Wallis H”，单击“确定”86l结果分析（1）专业N秩均值起薪1617.502617.25369.42465.83总数2487l结论：p值为0.006。由于p值很小，所以有理由拒绝原假设，即认为这四个专业起薪的中位数不全相等。起薪卡方12.316df3渐近显著性.00688l特别说明在样本量较小时，应当使用精确检验的结果，根据c2分布进行近似会有较大的误差。严格来说用Kruskal-Wallis检验
32、对多个总体的中位数进行假设检验，需要假设多个总体分布有类似的形状才能得出可靠的结论。89第六章第六章 非参数检验非参数检验l非参数检验概述非参数检验、特点及应用l单样本的非参数检验c2拟合优度检验、K-S检验、中位数的符号检验及Wilcoxon符号秩检验l两个样本和多个样本的非参数检验匹配样本的Wilcoxon符号秩检验、两个独立样本的Wilcoxon秩和检验，多个独立样本的Kruskal-Wallis检验90小结小结l非参数检验是与总体分布无关的检验，检验中不需要对总体分布的具体形式作出严格假设，或者只需要很弱的假设。lc2检验和K-S检验都可以帮助我们检验能否认为样本数据来自某种概率分布。前者一般用于定性数据，后者用于定量数据。l符号检验和Wilcoxon符号秩检验都可以用于单样本中位数检验和两个匹配样本的检验，与正态分布时单样本的t检验和匹配样本的t检验相对应。91小结小结lWlicoxon秩和检验可以用来检验两个独立样本的中位数的差异，与正态分布时独立样本的t检验相对应。lKruskal-Wallis检验是与单因素方差分析相对应的非参数检验方法，可以用来检验多个总体中位数的差异。l小样本时，按照渐进方法的计算结果误差会比较大。这时应该使用精确检验的方法计算p值。l在一些非参数检验中需要有一些关于总体分布的假设，如连续对称分布等，在使用中要注意判断。92