教育测量的质量指标信度课件.ppt

《教育测量的质量指标信度课件.ppt》由会员分享，可在线阅读，更多相关《教育测量的质量指标信度课件.ppt（47页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、教育测量的质量指标信度第1页，此课件共47页哦主要内容主要内容n教育测量与评价的信度教育测量与评价的信度n教育测量与评价的效度教育测量与评价的效度n教育测量与评价中题目（项目）的难度教育测量与评价中题目（项目）的难度n教育测量与评价中题目（项目）的区分度教育测量与评价中题目（项目）的区分度第2页，此课件共47页哦第一节信度第一节信度n一、信度的意义一、信度的意义n二、信度的统计定义二、信度的统计定义n三、信度系数的类型与估计方法三、信度系数的类型与估计方法n四、提高信度的方法四、提高信度的方法第3页，此课件共47页哦一、信度的意义一、信度的意义信度（信度（reliabilityreliabil

2、ity）测量结果的稳定性和可靠的程度测量结果的稳定性和可靠的程度是对测验工具及其操作的整体质量的一中量度，是对测验工具及其操作的整体质量的一中量度，是测验性能的重要质量指标。是测验性能的重要质量指标。记为记为r rxxxx第4页，此课件共47页哦一、信度的意义一、信度的意义n1.1.信度是任何一种测量的必要条件。因为教育测量的对信度是任何一种测量的必要条件。因为教育测量的对象主要是精神现象，所测量的特性不易把握，为了能真象主要是精神现象，所测量的特性不易把握，为了能真实地反应测验对象的某种特点，需要更加注意测量的信实地反应测验对象的某种特点，需要更加注意测量的信度，从而正确地判断测量结果的价值

3、。度，从而正确地判断测量结果的价值。n2.2.信度高的教育测量，能给教师和教育工作的领导者信度高的教育测量，能给教师和教育工作的领导者提供可靠的信息，为他们的教育预测和决策提供依据。提供可靠的信息，为他们的教育预测和决策提供依据。n3.3.信度高的教育测量，能使教师对学生的评价变得客信度高的教育测量，能使教师对学生的评价变得客观和可靠，也使学生对自己的认识更符合实际情况，观和可靠，也使学生对自己的认识更符合实际情况，从而有助于改进教与学的方法。从而有助于改进教与学的方法。n4.4.信度高的教育测量，有助于提高教师的工作效率。信度高的教育测量，有助于提高教师的工作效率。第5页，此课件共47页哦一

4、、一、信度的统计定义信度的统计定义x xT TE E（公式（公式1-11-1）（X X：观察分数，：观察分数，T T：真分数：真分数(未知的，可将多次测量的实测值的未知的，可将多次测量的实测值的平均值作为真值的近似值平均值作为真值的近似值)，E E：误差）：误差）1 1、试比较以下两次测量结果（只进行一次）的信度：、试比较以下两次测量结果（只进行一次）的信度：用尺子量用尺子量100cm100cm高的一个儿童，得到高的一个儿童，得到1cm1cm的绝对误差；的绝对误差；量量185cm185cm高的一位运动员，也得得到高的一位运动员，也得得到1cm1cm的绝对误差。的绝对误差。第6页，此课件共47页

5、哦n1 1、试比较以下两次测量结果（只进行一次）的信度：、试比较以下两次测量结果（只进行一次）的信度：n用尺子量用尺子量100cm100cm高的一个儿童，得到高的一个儿童，得到1cm1cm的绝对误差；量的绝对误差；量185cm185cm高的一位运动员，也得得到高的一位运动员，也得得到1cm1cm的绝对误差。的绝对误差。n要比较两种测量结果的信度，一定要看误差分数（要比较两种测量结果的信度，一定要看误差分数（E E）对于真分数（对于真分数（T T）所占的百分数是多少。）所占的百分数是多少。n相对误差相对误差E/TE/T100%100%公式（公式（1-31-3n最大绝对误差最大绝对误差E/x E/

6、x 100%100%公式（公式（1-41-4）第7页，此课件共47页哦 相对误差（甲）1/100100%1%相对误差（乙）1/185100%0.54%据此，度量乙的信度要比度量甲的信度高。第8页，此课件共47页哦怎样估计对一组人或一个人测量怎样估计对一组人或一个人测量多次多次的实测值与真值的实测值与真值（真分数）的差异程度呢？（真分数）的差异程度呢？n判别两组数据谁好谁差判别两组数据谁好谁差,不能只靠对不能只靠对平均数平均数的统计的统计和比较，关键是确定这两组数据偏离各自的平均数和比较，关键是确定这两组数据偏离各自的平均数的大小。为了消除数据容量的影响，我们借鉴研究的大小。为了消除数据容量的影

7、响，我们借鉴研究加权平均数加权平均数的方法，选用各个偏差的平方的平均数，的方法，选用各个偏差的平方的平均数，来描述一组数据偏离其平均数的大小，这就是来描述一组数据偏离其平均数的大小，这就是方差方差。n根据假设，观察分数的根据假设，观察分数的方差方差应等于真分数的方差加应等于真分数的方差加上测量误差的方差。即：上测量误差的方差。即：n 公式（公式（1-41-4）2E2T2x第9页，此课件共47页哦根据公式（根据公式（1-41-4）可以给出信度的统计定义：）可以给出信度的统计定义：n第一，信度是一个被测团体的真分数方差与观察第一，信度是一个被测团体的真分数方差与观察分数方差之比，即：分数方差之比，

8、即：公式（公式（1-51-5）公式（公式（1-61-6）可见，测验的信度一般在可见，测验的信度一般在00，11，越接近，越接近1 1，考试，考试的信度越高。的信度越高。2x2E2x2E2xxx1r22xTxxr第10页，此课件共47页哦例：对例：对5 5个人的某种智力因素的测验结果如个人的某种智力因素的测验结果如表表1-11-1，试，试估计测量的信度。估计测量的信度。n表表1-11-1测量测量5 5个学生的某种分数个学生的某种分数学生真分数误差分数实得分数A18-216B9+110C15+217D21+122E12-210第11页，此课件共47页哦 学生真分数误差分数实得分数A18216B9

9、110C15217D21122E12210平均数 150 15 方差182.820.8并列入表内。和、分别计算的方差公式，N)x(x（1）按2x2E2T22第12页，此课件共47页哦0.86520.82.811r7）代入公式（1若不知真分数方差，则0.86520.8186）r代入（17）计算r6）或（1（2）代入公式（12x2Exx2x2Txxxx第13页，此课件共47页哦第二，信度是一个被试团体的真分数与观察分数的相关系第二，信度是一个被试团体的真分数与观察分数的相关系数的平方。数的平方。TXrxx2第三，信度是一个被试团体在测试X（A卷）上的观察分数与在测验X的任意一个“平行测验”X（B卷

10、）上的观察分数的相关系数。XXrxx第14页，此课件共47页哦三、信度系数的类型与估计方法三、信度系数的类型与估计方法n（一）稳定性系数（一）稳定性系数n（二）等值性系数（二）等值性系数n（三）内部一致性系数（三）内部一致性系数n（四）论文式测验的信度系数（四）论文式测验的信度系数n（五）评分者信度（五）评分者信度第15页，此课件共47页哦（一）稳定性系数（一）稳定性系数（coefficient of stability coefficient of stability）n又称重测信度，是指用同一量表对相同又称重测信度，是指用同一量表对相同被试者（一组人）在不同时间测验两次被试者（一组人）在不

11、同时间测验两次的实得分数的相关系数。的实得分数的相关系数。估计稳定性系数的基本程序：估计稳定性系数的基本程序：测验测验A A1 1 适当时距适当时距 测验测验A A2 2第16页，此课件共47页哦（一）稳定性系数（一）稳定性系数n相关系数可以用不同方法计算，这取决于数据相关系数可以用不同方法计算，这取决于数据的性质。最为普遍的是皮尔逊积差相关系数：的性质。最为普遍的是皮尔逊积差相关系数：）10-1（)()(222221公式YYNXXNYxXYNrAA X为第一次测验的实得分数;Y为第一次测验的实得分数;N为应试者数.第17页，此课件共47页哦（一）稳定性系数（一）稳定性系数n用一个算术四则的速

12、度测验用一个算术四则的速度测验1212个小学生，得分记为个小学生，得分记为X X，为了考察测量结果的可靠性，于为了考察测量结果的可靠性，于3 3个月后再测一次，个月后再测一次，得分记为得分记为Y Y，问测验结果是否可靠？，问测验结果是否可靠？n序号序号 1 2 3 4 5 6 7 8 9 10 11 121 2 3 4 5 6 7 8 9 10 11 12nX 20 20 21 22 23 23 23 24 25 26 26 27X 20 20 21 22 23 23 23 24 25 26 26 27nY 20 21 21 20 23 23 25 25 26 26 27 29Y 20 21

13、21 20 23 23 25 25 26 26 27 29第18页，此课件共47页哦 A1A2X2Y2XYXY010203040506070809101112202021222323232425262627202121202323252526262729400400441484529529529576625676676729 400441441400529529625625676676729841 400420441440529529625625650676702783 X280Y286X26594Y26912XY6420第19页，此课件共47页哦 2866912122806594122862

14、80642012 )()(22222221YYNXXNYxXYNrAA解:(1)把资料列表于后,计算出公式(1-10)所需的各种统计量:X280 Y286 X26594Y26912 XY6420(2)把所计算的统计量代入公式(1-10):第20页，此课件共47页哦采用重测法计算稳定系数时，要注意的问题采用重测法计算稳定系数时，要注意的问题：n1 1、两次测验之间的时间间隔要适宜，尽可能在较短、两次测验之间的时间间隔要适宜，尽可能在较短的时距内进行。的时距内进行。n2 2、两次测验试卷要等值，即在内容范围、题型、两次测验试卷要等值，即在内容范围、题型、题数、难度、区分度等方面要基本相同。题数、难

15、度、区分度等方面要基本相同。n3 3、确定两测验是否等值，还要考察两次测绘结果的平、确定两测验是否等值，还要考察两次测绘结果的平均数与标准差。均数与标准差。n4 4、重测法适用于导质性测验，适用于速度测验而不、重测法适用于导质性测验，适用于速度测验而不适用于难度测验。适用于难度测验。n5 5、测试应注意提高被试者的积极性。、测试应注意提高被试者的积极性。第21页，此课件共47页哦（二）等值性系数（二）等值性系数（coefficient of equivalencecoefficient of equivalence ）n又名又名复本信度复本信度（alternate-forms reliabil

16、ityalternate-forms reliability）：）：是以是以两个等值两个等值（题型题数、难度、区分度相等）但（题型题数、难度、区分度相等）但具体内容不同具体内容不同的量表，在的量表，在最短时距内最短时距内，对相同应试对相同应试者先后施测两次所获得的两组对应分数的相关系者先后施测两次所获得的两组对应分数的相关系数。数。n其模式是：其模式是：11AB测验测验适当时距第22页，此课件共47页哦（二）等值性系数（二）等值性系数（coefficient of equivalencecoefficient of equivalence ）n以以A A、B B两型英语复本测验对初中三年级两型

17、英语复本测验对初中三年级1010个学生施测，个学生施测，为避免由测验施测顺序所造成的误差，其中为避免由测验施测顺序所造成的误差，其中5 5个学生个学生先做先做A A型测验，休息型测验，休息1515分钟后，再做分钟后，再做B B型测验；而另型测验；而另5 5个个学生先做学生先做B B型测验，休息型测验，休息1515分钟后，再做分钟后，再做A A型测验。型测验。1010个学生个学生A A型测验结果记为型测验结果记为X X，B B型测验结果记为型测验结果记为Y Y，其测，其测验的复本信度如何？验的复本信度如何？学生序号学生序号 1 2 3 4 5 6 7 8 9 101 2 3 4 5 6 7 8

18、9 10nX 19 19 18 17 16 15 15 14 13 12X 19 19 18 17 16 15 15 14 13 12nY 20 17 18 18 17 15 13 15 12 12Y 20 17 18 18 17 15 13 15 12 12第23页，此课件共47页哦（二）等值性系数（二）等值性系数（coefficient of equivalencecoefficient of equivalence ）n优点：优点：n1 1、测验的两个复本，如果在不同的时间使用，、测验的两个复本，如果在不同的时间使用，其信度既可以反映在不同时间的稳定性，又可其信度既可以反映在不同时间的稳

19、定性，又可以反映对于不同测题的一致性；以反映对于不同测题的一致性；n2 2、两个复本在同时使用时，可以避免再测信息的、两个复本在同时使用时，可以避免再测信息的一些缺点，如首测时再测在记忆、练习、效果的一些缺点，如首测时再测在记忆、练习、效果的影响，间隔期间获得新知识的影响，两次施测的影响，间隔期间获得新知识的影响，两次施测的环境不同和被试主观状态不同的影响，以及为了环境不同和被试主观状态不同的影响，以及为了应付测验所作训练的影响等。应付测验所作训练的影响等。第24页，此课件共47页哦（二）等值性系数（二）等值性系数（coefficient of equivalencecoefficient o

20、f equivalence ）n缺点：缺点：n1 1、编制两个完全相等的测验是很困难的，如果两个、编制两个完全相等的测验是很困难的，如果两个复本过分相似，则变成再测形式，而过分不相似，又复本过分相似，则变成再测形式，而过分不相似，又使等值的条件不存在；使等值的条件不存在；n2 2、两个复本测验有可能在某种程度上测量了不同的性、两个复本测验有可能在某种程度上测量了不同的性质，这就会低估测验的信度；质，这就会低估测验的信度；n3 3、被试同时接受性质相似的两个测验，可能减少完成、被试同时接受性质相似的两个测验，可能减少完成测验的积极性；测验的积极性；n4 4、虽然两个复本测验的题目材料不同，但被试

21、一旦、虽然两个复本测验的题目材料不同，但被试一旦掌握了解题的某一模式，就能触类旁通，有可能失去掌握了解题的某一模式，就能触类旁通，有可能失去复本的意义。复本的意义。第25页，此课件共47页哦（三）内部一致性系数（三）内部一致性系数（internal constancyinternal constancy）n又叫又叫同质性信度（同质性信度（homogeneity reliabilityhomogeneity reliability）。是同一测验量表是同一测验量表的两个部分（例如分为奇数题和偶数题，或者量表的前一半和后一的两个部分（例如分为奇数题和偶数题，或者量表的前一半和后一半）得分的相关系数。

22、半）得分的相关系数。n估计方法有两种：估计方法有两种：n1 1、分半法（、分半法（Split-half methodSplit-half method）：）：是将一次测验分成两个假定相是将一次测验分成两个假定相等而独立的两部分来记分。通常是以题目的奇数为一组，偶数为一等而独立的两部分来记分。通常是以题目的奇数为一组，偶数为一组，计算两级的相关系数，最后用组，计算两级的相关系数，最后用斯皮尔曼布朗公式斯皮尔曼布朗公式校正，求得校正，求得整个测验的信度系数。整个测验的信度系数。n斯皮尔曼布朗公式为：斯皮尔曼布朗公式为：）公式（11112xyxyttrrrn rxy 为两组测验分数的相关系数，rtt

23、表示整个测验的信度系数。第26页，此课件共47页哦问题：为什么不直接用奇数题总分与偶数题的部分计算出的相关系数作为整个测验的信度系数而要加以校正？这是因为测验的长度（指量表中所包含的题目数）对信度的大小有一定的影响，测验越长，信度越高。而用分半法，实际上等于把整个测验长度减小了一半，所以按分成两半的资料求出的信度必然低于整个测验的信度。第27页，此课件共47页哦n例：有一个由例：有一个由100100题构成的量表施行于题构成的量表施行于1010个高三学生（分个高三学生（分数见下表）。测验一次后，应试者即毕业离校。现在怎样评数见下表）。测验一次后，应试者即毕业离校。现在怎样评价测验结果的信度？价测

24、验结果的信度？得分被试奇数题总分偶数题总分XY010203040506070809103837384140363839403537373639393438393936方法：分半法第28页，此课件共47页哦得分被试奇数题总分偶数题总分X2Y2XYXY01020304050607080910383738414036383940353737363939343839393614441369144416811600129614441521160012251369126912961521152111561444152115211296140613691368159915601224144415211560

25、1260X382Y374X214624Y214014XY14311第29页，此课件共47页哦解：把有关统计量代入公式（1-10），求相关系数84.0)3741401410)(3821462410(374382143111022xyr用斯皮尔曼布朗公式校正，91.084.0184.0212xyxyttrrr经校正后的信度系数很大（0.91），说明整个测验的信度高。第30页，此课件共47页哦2 2、库德尔理查森公式法、库德尔理查森公式法（Kuder Richardson reliabilityKuder Richardson reliability）n用此法只需测验一次，然后以各个问题的正确反应数

26、用此法只需测验一次，然后以各个问题的正确反应数为基础（此可视为各题难度的信息），或根据各人总为基础（此可视为各题难度的信息），或根据各人总分的平均数和标准差，计算信度系数。此公式有几个，分的平均数和标准差，计算信度系数。此公式有几个，其中常用的有其中常用的有r rKR20KR20和和r rKR21KR21 。n（1 1）r rKR20KR20的用法的用法：这个公式以每题能正确回答的人这个公式以每题能正确回答的人数占总人数的百分数为基础计算（每题只有通过或未数占总人数的百分数为基础计算（每题只有通过或未通过两种分数）。通过两种分数）。第31页，此课件共47页哦例：有一种包含6个问题的测验，10个

27、应试者得分如下表（答对得1分，答错得0分），试估计应试者反应的一致性程度。和的方差。为各应试者各题得分之Sp）,1总人数的百分数（q各题错误反应的人数占q为数占总人数的百分数，p为各题正确反应的人，系数，K为测验题目数为整个测验结果的信度r12）)公式（1Spq(11KKr2KR202KR20第32页，此课件共47页哦题得目被试分123456Z0010020030040050060070080090101000001100100200001121110003010011311100031111004111100411011151101115Xp q pq 8 75544 0.8 0.7 0.5

28、0.50.40.4 0.2 0.3 0.50.50.60.6 0.16 0.21 0.25 0.25 0.24 0.24 pq=1.35第33页，此课件共47页哦解：1）列出得分矩阵，计算有关统计量：40.039.001.235.11166121201.2103.353.323.31S3.31063221X35.16K21KR2222）（）计算信度系统式（）把有关统计量代入公）（）（）（rpq这个测验的信度系数较低，说明内容一致性差，量表中的题目并非都可以测量相同的特性，即题目的同质性差或难度悬殊较大。第34页，此课件共47页哦（2 2）r rKR21KR21的用法的用法：n这个公式这个公式以

29、各应试者总分的平均数和方差为基础，无以各应试者总分的平均数和方差为基础，无需各题的难度信息。需各题的难度信息。公式如下：公式如下：0.402.0163.3)3.3(60.81r13）（2把下列统计量代入公式2.01K63.3SX已知上例是题目数。是各人总分的方差；KS是各人总分的平均数；X式中13）公式（1KS)X(KX0.81rKR21222KR21第35页，此课件共47页哦（四）论文式测验的信度系数（四）论文式测验的信度系数n论文式测验的评分没有严格的评分标准，以致同样一个题目，不论文式测验的评分没有严格的评分标准，以致同样一个题目，不同的应试者的回答和得分都不一样，所以无法用前面的公式，

30、而同的应试者的回答和得分都不一样，所以无法用前面的公式，而要用要用克龙巴赫（克龙巴赫（Cronbach,1951Cronbach,1951）所创的）所创的系数公式：系数公式：的方差。为每个被试者所得总分S方差之和；为每题各应试者得分的S方差；为每题各应试者得分的SK为题目数；其中，为信度系数，14）)公式（1SS(11KK2T2i2i2T2i第36页，此课件共47页哦被题 号 试ABCDESi2171181111483.04269789391.363610689392.564811683366.96571181111483.04671181111483.044062415452例：有一种包含6

31、个论文式题目的测验，对5个应试者施行，得分列入下表，试求该测验的信度。第37页，此课件共47页哦解：1）求每题各应试者得分的方差Si2(见表列)2）求每题各应试者得分的方差之和Si2Si23.041.363.0418.653）求所有应试者各自的总分的方差ST2（表格最下一行各数据的方差）ST268.964）代入公式（1-14）得信度系数875.0)96.6865.181(166第38页，此课件共47页哦（五）评分者信度（五）评分者信度n要计算评分者评分的一致性系数，需区分评要计算评分者评分的一致性系数，需区分评分者的人次数。若为分者的人次数。若为2 2人评人评N N份试卷，可用份试卷，可用斯斯

32、皮尔曼等级相关的公式皮尔曼等级相关的公式计算；若三个人以上计算；若三个人以上的评分者评的评分者评N N份试卷，则需计算份试卷，则需计算肯德尔和谐肯德尔和谐系数系数（以（以W W表示）表示）n1 1、斯皮尔曼等级相关公式：、斯皮尔曼等级相关公式：为被评分的试卷数。卷所评的等级之差；为两位评分者对同一试表示的）；用为等级相关系数（也有式中，）公式（ND151)1(6122prNNDrss第39页，此课件共47页哦例：甲乙两位教师评阅例：甲乙两位教师评阅10份试卷，他们对每份试卷各自所评的分数和等级列份试卷，他们对每份试卷各自所评的分数和等级列入下表，问这二位教师评分的一致性如何？入下表，问这二位教

33、师评分的一致性如何？试卷得分名次等级之差DD2甲评分乙评分甲名次乙名次ABCDEFGHIJ9490868672706866646193929270827665766860123.53.5567891012.52.5745.595.58100-0.51-3.510.5-22.51000.25112.2510.2546.2510第40页，此课件共47页哦解：1）计算所需统计量：D和 D2（见表）；N10；D200.25112.2510262）将统计量N和D2代入公式（1-15）84.0)110(102661)1(61222NNDrs答：甲乙两位教师阅卷的一致性系数较高，评分比较可靠。第41页，此课

34、件共47页哦2 2、肯德尔和谐系数（、肯德尔和谐系数（W W）卷数）是被评分的试题数（试K是评分者的人数；N的K个等级之和；为第i个被评价对象；RN)R(R即S的离均差的平方和，价对象的K个等级之和式中，S为每一个被评16）公式（1N)(NK121Swi2i2i32例：10个评委对7位参赛选手所评等级如下表所示，问这10位评委的评分是否具有一致性？第42页，此课件共47页哦选手N7评价者K7RiRi2123456789100102030405060735234432436 6 7 6 7 5 7 7 6 65 4 5 7 6 6 4 4 5 41 1 1 2 2 2 2 1 1 24 3 4

35、4 3 3 5 6 3 52 2 3 1 1 1 1 3 2 1 7 7 6 5 5 7 6 5 7 73363501540176210893969250022516002893844 Ri280 Ri213516第43页，此课件共47页哦分析：从W=0.827来看，10人的评价较为一致。严格地讲，W值是否达到显著性水平，需要做统计假设检验。当K等于320，N等于37时，可根据K和N查“W显著性检验时S的临界值表”进行检验。(见王汉澜教授主编的测量学教材P52页)827.0)77(101212316231672802-13516)(RS3222iwNRi第44页，此课件共47页哦在进行等级评定

36、时，常会遇到两个或两个以上事物的等级相同，如果遇到这种情况，应采用下面的修正公式：为相同等级的个数。式中）公式（nnnTTKNNKSw,12)(171)(121332第45页，此课件共47页哦例：三位教师评阅四份试卷，所评等级列入下表，他们所评的等级是否一致？NK作文编号（N4）1234张王李314221412232Ri74115解：本题因王老师给两份试卷评了相同等级，李老师给三份试卷评了相同等级，所以要用公式（1-17）计算W。21151147R2751147RRRRR)12222222i列入表内。及、计算iiiii第46页，此课件共47页哦一致。可见，三位教师评分不未达显著水平时，当的显著性。的值临界表，检验显著性检验时）查）（），）代入公式（）（。和）计算）（的离差的平方和）计算各个李王W4.64S75.28S4.64S4N3KWSW564.05.2344312175.28W17145.225.012T21233T5.01222TTT375.28427211NRRSR205.005.032333222innii第47页，此课件共47页哦