《第二章非参数统计分析ppt课件.ppt》由会员分享，可在线阅读，更多相关《第二章非参数统计分析ppt课件.ppt（88页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第二章单样本非参数检验2023/2/51思考的要点各种检验方法的思路各种检验方法统计量的构造各种检验方法的应用场合在SAS与R中如何完成2023/2/52第一节第一节 符号检验符号检验第二节第二节 Cox-StuartCox-Stuart趋势检验趋势检验 第三节第三节 游程检验游程检验第四节第四节 WilcoxonWilcoxon符号秩检验符号秩检验第五节第五节 正态记分检验正态记分检验第六节第六节 与参数检验相对效率比较与参数检验相对效率比较2023/2/53符号检验的统计量为B=得正号的个数。符号检验符号检验。设随机变量X1，Xn是从某个总体X中抽出的简单随机样本。且分布函数F(X)在X=
2、0是连续的。假设检验问题检验的统计量可以取B。第一节第一节 符号检验符号检验在原假设为真的条件下，B服从参数为n和0.5的二项分布b(n,0.5)。由于原假设为真时，B应该不太大，也不太小，如果B太大或太小，应该拒绝原假设。2023/2/54 精确的符号检验是指检验的p值是由精确的概率给出的。我我们们利用正号和负号的数目，来检验某假设，这是一种最简单的非参数方法。【例4】联合国人员在世界上71个大城市的生活花费指数(上海是44位，数据为63.5)按自小至大的次序排列如下。一、精确中位数的符号检验一、精确中位数的符号检验2023/2/55有人说64应该是这种大城市花费指数的中位数，有人说64顶多
3、是低位数（下四分位数），进行检验。数据如下：122.4,109.4,105,104.6,104.1,100.6,100,99.3,99.1,98.2,97.5,95.2,92.8,91.8,90.8,90.3,89.5,89.4,86.4,86.2,85.7,82.6,81,80.9,79.1,77.9,77.7,76.8,76.6,76.2,74.5,74.3,73.9,71.7,71.2,67.7,66.7,66.2,65.4,65.3,65.3,65.3,64.6,63.5,62.7,60.8,58.2,55.5,55.3,55,54.9,52.7,51.8,49.9,48.2,47.6
4、,46,45.8,45.2,41.9,38.8,37.7,37.5,36.5,36.4,32.7,32.7,32.2,29.1,27.8,27.82023/2/562023/2/57通常在正态总体分布的假设下，关于总体均值的假设检验和区间估计是用与t检验有关的方法进行的。然而，在本例中，总体分布是未知的。为此，首先看该数据的直方图从图中很难说这是什么分布。假定用总体中位数来表示中间位置，这意味着样本点，取大于me的概率应该与取小于me的概率相等。所研究的问题，可以看作是只有两种可能“成功”或“失败”。2023/2/58符号检验的思路，记成功：X-0大于零，即大于中位数M，记为“+”；失败：X-
5、0小于零，即小于中位数M，记为“-”。令 S+=得正符号的数目S=得负符号得数目可以知道S+或S 均服从二项分布B（65，0.5）。则可以用来作检验的统计量。其假设为：2023/2/59关于非参数检验统计量需要说明的问题关于非参数检验统计量需要说明的问题在非参数检验中，可以得到两个相互等价的统计量，比如在符号检验中，得负号与得正好的个数，就是一对等价的统计量，因为S+S-=N。那么我们在检验时应该用那个呢？约定选择统计量2023/2/510假设检验统计量S-=28是得负号的个数得正号的个数43。P-值检验的结果拒绝零假设结论中位数大于642023/2/511该检验R的代码x-c(122.4,1
6、09.4,105,104.6,104.1,100.6,100,99.3,99.1,98.2,97.5,95.2,92.8,91.8,90.8,90.3,89.5,89.4,86.4,86.2,85.7,82.6,81,80.9,79.1,77.9,77.7,76.8,76.6,76.2,74.5,74.3,73.9,71.7,71.2,67.7,66.7,66.2,65.4,65.3,65.3,65.3,64.6,63.5,62.7,60.8,58.2,55.5,55.3,55,54.9,52.7,51.8,49.9,48.2,47.6,46,45.8,45.2,41.9,38.8,37.7,
7、37.5,36.5,36.4,32.7,32.7,32.2,29.1,27.8,27.8)y=sum(sign(x-64)=1)pbinom(71-y,71,0.50)2023/2/512二、大样本的情形 当样本容量足够大，我们可以利用二项分布的正态近似来对该问题进行检验。因为计数统计量在原假设为真时，服从b(n,0.5)。且其均值为0.5n，方差为0.25n。则检验的统计量为 2023/2/513第二节第二节 Cox-StuartCox-Stuart趋势检验趋势检验 人们经常要看某项发展的趋势但是从图表上很难看出是递增，递减，还是大致持平 【例 5】我 国 自 1985年 到 1996年 出
8、 口 和 进 口 的 差 额(balance)为(以亿美元为单位)149.0 119.7 37.7 77.5 66.0 87.4 80.5 43.5 122.2 54.0 167.0 122.2 从这个数字，我们能否说这个差额总的趋势是增长，还是减，还是都不明显呢?下图为该数据的点图从图可以看出，总趋势似乎是增长，但1993年有个低谷；这个低谷能否说明总趋势并不是增长的呢?我们希望能进行检验2023/2/5142023/2/515三种假设：怎么进行这些检验呢?可以把每一个观察值和相隔大约n2的另一个观察值配对比较；因此大约有n2个对子然后看增长的对子和减少的对子各有多少来判断总的趋势具体做法为
9、取 和 。这里2023/2/516 在这个例子中n=12，因而c6。这6个对子为(x1,x7)，(x2，x8)，(x3，x9)，(x4，x10)，(x5，xl1)，(x6，x12)。2023/2/517用每一对的两元素差Di=xi-xi+c的符号来衡量增减。令S+为正Di=xi-xi+c的数目，而令S-为负的Di=xi-xi+c的数。显然当正号太多时，即S+很大时(或S-很小时)，有下降趋势，反之，则有增长趋势在没有趋势的零假设下它们应服从二项分布b(6,0.5)，这里n为对子的数目(不包含差为0的对子)。该检验在某种意义上是符号检验的一个特例。2023/2/518 类似于符号检验，对于上面1
10、，2，3三种检验，分别取检验统计量K=S+,K=S-和K=min(S+,S-)。在本例中，这6个数据对的符号为 5负1正，所以我们不能拒绝原假设。假设统计量 P值K=min(S+,S-)P(Kk)K=min(S+,S-)P(Kk)K=min(S+,S-)2P(Kk)2023/2/519【例6】天津机场从1995年1月到2003年12月的108个月旅客旅客吞吐量数据如下：543794546155408597126077657635633357129670250768667556166427613305818667799763608620775509830208961475791808357217
11、961520667266062968549733108071967759703528282570541746316893853318626535857863292695357337962859728738726067559766477059058935581616405763051588076366357367708547994966992801406226055942583675667361039749588585967263871839757579988885016860058442689555683567021815478511870145950801061868610388548700
12、906555069223851388979999513981146817297366116820956651098818706875362882688518387909799762768750178100878131788116293120770104958109603讨论是否存在显著的增长趋势。2023/2/5202023/2/521SPSS无此检验，我们用R完成该检验，代码如下。x-c(54379,45461,55408,59712,60776,57635,63335,71296,70250,76866,75561,66427,61330,58186,67799,76360,86207,7
13、5509,83020,89614,75791,80835,72179,61520,66726,60629,68549,73310,80719,67759,70352,82825,70541,74631,68938,53318,62653,58578,63292,69535,73379,62859,72873,87260,67559,76647,70590,58935,58161,64057,63051,58807,63663,57367,70854,79949,66992,80140,62260,55942,58367,56673,61039,74958,85859,67263,87183,9
14、7575,79988,88501,68600,58442,68955,56835,67021,81547,85118,70145,95080,106186,86103,88548,70090,65550,69223,85138,89799,99513,98114,68172,97366,116820,95665,109881,87068,75362,88268,85183,87909,79976,27687,50178,100878,131788,116293,120770,104958,109603)d=x1:54-x55:108y=sum(sign(d)=1)pbinom(y,54,0.5
15、)直接得到p值=0.0019190.05，拒绝无趋势的原假设原假设。2023/2/522补充：检验的p值在假设检验中，常常通过检验的p值来决策。p值为拒绝原假设的最小概率。对于t检验，如果计算出的统计量的值为t0，则左尾检验的p值为概率p(tt0)右尾检验的p值为概率p(tt0)双尾检验的p值为概率p(|t|t0|)。但是对于非参数检验来说由于有两个等价的统计量，如得正号的个数与得负号的个数之和等于样本容量n；两个总体的秩和等于N（N+1)/2。2023/2/523比如是左侧检验，如果总体真实的中位数比假设的小，则检验的统计量w+表现出过小，w-表现出大,检验的p值为p(w+w小)，此时用的最
16、小的统计量。对于右侧检验，如果总体真实的中位数比假设的大，则检验的统计量w+表现出过大，w-表现出小。检验的p值为p(w+w大)。实际上p(w+w大)=p(-w+-w大)=pN(N+1)/2-w+N(N+1)/2-w大=pw-w小可见检验的统计量用k=min（w+，w-）是合理的。另外双侧检验的p值是单侧的两倍。2023/2/524 游程检验是样本的随机性检验，其用途很广。例如当我们要考察生产中次品出现是随机的，还是成群的，一个时间序列是平稳的还是非平稳的。第三节 游程检验2023/2/525 从生产线上抽取产品检验，是否应采用频繁抽取小样本的方法。在一个刚刚建成的制造厂内，质检员需要设计一种
17、抽样方法，以保证质量检验的可靠性。生产线上抽取的产品可以分成两类，有瑕疵，无瑕疵。检验费用与受检产品数量有关。一般情况下，有毛病的产品如果是成群出现的，则要频繁抽取小样本，进行检验。如果有毛病的产品是随机产生的，则每天以间隔较长地抽取一个大样本。现随机抽了28件产品，按生产线抽取的顺序排列：0000111111111111110001111111检验瑕疵的产品是随机出现的吗？有瑕疵的产品是随机出现有瑕疵的产品是成群出现2023/2/526 随机抽取的一个样本，其观察值按某种顺序排列，如果研究所关心的问题是：被有序排列的两种类型符号是否随机排列，则可以建立双侧备择假设组为 H0 H0：序列是随机
18、的序列是随机的 H1H1：序列不是随机的（双侧检验）序列不是随机的（双侧检验）如果关心的是序列是否具有某种倾向，则应建立单侧备择，假设组为 H0 H0：序列是随机的序列是随机的 H1:H1:序列具有混合的倾向（右侧检验，游程过多）序列具有混合的倾向（右侧检验，游程过多）H0H0：序列是随机的序列是随机的 H1:H1:序列具有成群的倾向（左侧检验，游程过小）序列具有成群的倾向（左侧检验，游程过小）游程：连续出现的具有相同特征的样本点为一个游程。游程：连续出现的具有相同特征的样本点为一个游程。2023/2/527检验统计量。在H0为真的情况下，两种类型符号出现的可能性相等，其在序列中是交互的。相对
19、于一定的m和n，序列游程的总数应在一个范围内。若游程的总数过少，表明某一游程的长度过长，意味着有较多的同一符号相连，序列存在成群的倾向；若游程总数过多，表明游程长度很短，意味着两个符号频繁交替，序列具有混合的倾向。选择的检验统计量为R游程的总数目。2023/2/528可以证明则2023/2/529游程R的分布为，奇数时关于此可以做如下的考虑游程R的分布为，偶数时2023/2/530先在m+n个抽屉里随机选择m个，抽出的抽屉里放入“1”，没有的放入“0”，所有可能基本的基本事件数为：有种。或先在m+n个抽屉里随机选择n个，抽出的抽屉里放入“0”，没有的放入“1”，所有可能基本的基本事件数为：有种
20、。2023/2/5311、必定有k+1个由“1”构成的游程和k个由“0”构成的游程；2、或必定有k+1个由“0”构成的游程和k个由“1”构成的游程。如果游程数为奇数R=2K1，这意味着：2023/2/532这就必须在m1个位置中插入K个“隔离元”，使有“1”有k+1个游程，可以有种，同样可以在n-1个“0”的n-1个空位上插入K-1个“隔离元”，有种。共有有利基本事件数。2023/2/533在第二种情形下，有故：得同理2023/2/534备择假设P值序列具有混合的倾向右尾概率序列具有聚类的倾向左尾概率序列是非随机的较小的左尾概率的两倍2023/2/535【例7】，在我国的工业和商业企业随机抽出
21、22家进行资产负债率行业间的差异比较。有如下资料：这两个行业的负债水平是否相等。首先，设“1”为工业，“2”为商业，将两个行业的数据排序，得行业编号得游程：1111121111222111222222工业64 76 55 82 59 82 70 75 61 64 73 83商业77 80 80 65 93 91 84 91 84 86 862023/2/536游程检验的菜单选择。2023/2/5372023/2/538游程检验的结果：共有21个个案，12个小于1.4286，9个大于等于1.4286。游程6个。检验的统计量的值为-2.19，相应的渐近p值=0.029，则拒绝原假设。2023/2/
22、539【例8】公司委托市场调查公司进行随机抽样调查。为了对调查表的真伪进行判断，市场调查公司按顺序抽取了20份问卷。其中消费者每年消费该公司的产品的花费数据如下表，分析问卷数据是否真实。用游程检验。样本编号12345678910消费额405205245465257234445375291291样本编号11121314151617181920消费额2612103052951252572601971601502023/2/540检验结果说明p值=0.808，不能拒绝随机数据的原假设。2023/2/541第四节第四节 单样本的单样本的Wilcoxon符号秩检验符号秩检验一、Wilcoxon符号秩检验
23、前面几种推断的方法都只依赖于数据的符号，即方向。没有考虑数据的大小，Wilcoxon符号秩检验是检验关于中位数对称的总体的中位数是否等于某个特定值，检验的假设：2023/2/542 检验的步骤检验的步骤:1.计算 ，它们代表这些样本点到 的距离；2.把上面的n个绝对值排序，并找出它们的n个秩；如果有相同的样本点，每个点取平均秩(如1，4，4，5的秩为1，2.5，2.5，4)，然后分别将得正号的秩和得负号的秩相加。另指满足括号里的条件等于1,不满足等于零。2023/2/543 3.双双在零假设下，和应差不多因而，当其中之一非常小时，应怀疑零假设；取检验统计量T=min(，)；2023/2/544
24、统计量的均值和方差如下：2023/2/545 5.根据得到的T值，查Wilcoxon符号秩检验的分布表以得到在零假设下p值如果n很大要用正态近似：得到一个与T有关的正态随机变量Z的值，再查表得P值或直接用计算机得到P值。2023/2/546Wilcoxon符号秩检验表符号秩检验表假设检验的统计量P值2023/2/547【例9】欧洲10个城镇每人每年平均消费酒类相当于纯酒精数（单位：升）。4.125.817.639.7410.3911.9212.3212.8913.5414.45。人们普遍认为其中位数为8。检验该假设。x-c(4.12,5.81,7.63,9.74,10.39,11.92,12.
25、32,12.89,13.54,14.45)wilcox.test(x-8)2023/2/548Wilcoxonsignedranktestdata:x-8V=46,p-value=0.06445alternativehypothesis:truelocationisnotequalto02023/2/549【例10】为了了解垃圾邮件对大型公司决策层工作的影响程度，某个网站收集了19家大型公司的CEO每天收到的垃圾邮件件数，得到如下数据：310,350,370,375,385,400,415,425,440,195,325,295,250,340,295,365,375,360,385检验收到的
26、垃圾邮件的数量的中间位置是否超过了320封。2023/2/550 x-c(310,350,370,375,385,400,415,425,440,195,325,295,250,340,295,365,375,360,385)wilcox.test(x-320)data:x-320V=146,p-value=0.04207alternativehypothesis:truelocationisnotequalto02023/2/551注Holdges-Lemmann估计量定义2.1假设X1,X2,Xn为简单随机样本，计算任意两个样本点的平均数，从而得到一个样本长度为n(n+1)/2的新的数据，
27、这组数据称为Walsh平均值，即2023/2/552定理由定义2.1，Wilcoxon符号秩统计量W+可以表示为即W+是Walsh平均值中符号为正的个数。如果中心是，则定义即W+()是检验的统计量。2023/2/553定义2.2假定假设X1,X2,Xn为F(X)的简单随机样本，如果F(X)为对称，则定义Walsh中位数如下：作为的Holdges-Lemmann估计量。2023/2/554从应用的角度看，这种中位数的计算对于样本容量非常小时，更为合理。比如X11季节调整中，季节变动和不规则变动相对数的平均值，就是计算的Holdges-Lemmann中位数估计量。补充：X11季节调整。2023/2
28、/555定理假定假设X1,X2,Xn为F(X)的简单随机样本，如果F(X)为对称，则定义Walsh平均，记为WA(1)，WA(），WA（）,则其中2023/2/556x-c(4.12,5.81,7.63,9.74,10.39,11.92,12.32,12.89,13.54,14.45)walsh=NULLi-c(1:10)for(iin1:10)for(jini:10)walsh=c(walsh,(xi+xj)/2)walsh=sort(walsh)qsignrank(0.025,10)2023/2/557为了了解垃圾邮件对大型公司决策层工作的影响程度，某个网站收集了19家大型公司的CEO影响
29、每天收到的垃圾邮件件数，得到如下数据：310350370375385400415425440195325295250340295365375360385从平均的意义看，收到的垃圾邮件的数量的中间位置是否超过了320封。2023/2/558data a;input x1-x19;cards;310 350 370 375 385 400 415 425 440 195 325 295 250 340 295 365 375 360 385;%macro PGI;data b;set a;%do i=1%to 19;%do j=&i%to 19;walsh=(x&i+X&j)/2;if walsh
30、 then output;keep walsh;%end;%end;%mend;%PGI;2023/2/559proc print data=b;run;proc sort data=b out=b2;by walsh;proc print data=b2;run;data b3;set b2;n+1;l=int(19*20/4-1.96*(19*20*39/24)*0.5)+1;if n=95 then output;if n=96 then output;else delete;proc print data=b3;run;2023/2/560Obswalshnl1355.09547235
31、7.596472023/2/561第五节正态得分检验 (一)思想 在各种各样的秩检验中，检验的统计量为秩的函数，而秩本身在没有结时是有限个自然数的排列，它的分布是均匀分布。人们自然会用其他分布的样本。自然我们会想到正态分布。正态记分检验的基本思想就是把升幂排列的秩Ri用升幂排列的正态分位点来替代。我们在Wilcoxon符号检验的基础上，建立线性符号秩统计量。2023/2/562 正态记分检验的基本思想就是：把升幂排列的秩用升幂排列的正态分位点来替代。首先将按升幂排列，记秩为2023/2/563例如Wilcoxon统计量为统计量为Wilcoxon记分函数记分函数1n-1n累积概率1/(n+1)(
32、n-1)/(n+1)n/(n+1)正态记分记分函数函数例如正态记分检验统计量为正态记分检验统计量为2023/2/564正态积分检验的统计量为：2023/2/565 (二)检验 检验的假设为：2023/2/566则检验的统计量为2023/2/567例、下面的数据是亚洲10个国家的新生儿死亡率（）333631159646577882023/2/568秩符号秩平方3311 0.090909-1.33518-1.335181.7827013622 0.181818-0.90846-0.908460.8252953133 0.272727-0.60459-0.604590.36552315194 0.3
33、63636-0.34876-0.348760.1216319255 0.454545-0.11419-0.114190.0130386286 0.5454550.1141850.1141850.0130384307 0.6363640.3487560.3487560.12163165318 0.7272730.6045850.6045850.36552377439 0.8181820.9084580.9084580.825295885410 0.9090911.3351781.3351781.782701合计6.2163762023/2/5692023/2/570接受原假设。接受原假设。202
34、3/2/571假定表示犯第一类错误的概率，而表示犯第二类错误的概率（检验的势为1-）。对于任意的检验T，理论上总可以找到样本容量n，使该检验满足固定的和。显然为了达到这个要求，需要样本容量大的检验就不如需要样本容量小的检验效率高。为了达到同样的和，检验T1需要n1个样本点，检验T2需要n2个样本点.我们用n1/n2来定义T2相对于T1的效率。当然这个比值越大,T2需要的样本容量越小，T2的效率越高。定义渐近相对效率ARE为2023/2/572第六节单个总体渐近相对效率的比较假定假设X1,X2,Xn为F(X)的简单随机样本，我们来讨论符号检验，Wilcoxon符号秩检验和t检验三者的渐近相对效率。我们需要检验前面我们已经学习了关于线性符号秩统计量，在一些条件成立下，线性符号秩统计量有计算功效的公式。2023/2/573类似还可以计算其他检验的效力因子。2023/2/5812各种统计量渐近相对效率的比较2023/2/582渐近相对效率的比较nt/nw(或B)分布U(-1.1)N(0,1)Logisti重指数密度函数ARE(W,T)1(一样)3/(T)3/2(W+)ARE(B,T)1/3(T)2/(T)2(B)2023/2/583