《张传萍：如何在测评题设计中保证信度和效度.doc》由会员分享，可在线阅读，更多相关《张传萍：如何在测评题设计中保证信度和效度.doc（4页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、张传萍：如何在测评题设计中保证信度和效度整合情境教学测评模块的问题设计如何保障效度和信度湖北省教育科学研究所 张传萍 叶 平2008年12月4日湖北省教科所基教中心开展的第二次网络教研活动-如何确定测评模块的“核心知识”和具体问题中，很多老师对问题设计的效度和信度产生了众多疑惑，如认为：“效度就是价值观念；问题的开放性能否保证效度；信度就是学生根据已有的知识和经验对问题做出合理的解释或解答;问题的难度是否和信度发生冲突即降低难度就会增加信度;信度与题目设计有没有关系，是不是只停留在测试的结果；信度是不是依赖于测试，没有测试就没有信度可言等等。为了澄清上述问题，本文就如何在整合情境教学测试模块中
2、保证问题设计的信度和效度,谈谈自己的看法。一、效度及其保障在整合情境教学测评模块中，提出的问题必须是有效的，即具有“效度”。简而言之，效度就是指“测验能够测到它打算测的东西的程度”（漆书青现代教育与心理测量学原理)因此，整合情境的能力测评若要具有“效度，就必须使测评问题准确地击中对能力目标的考查，而不是对以前学习资源内容(知识与技能）的记忆。在教育测量学中，效度是测量的结果与所要达到的目标之间相符合的程度,是测量的准确性和有效性的指标.由于测量目的的不同，效度有不同的类型：包括内容效度（是指测验题目在多大程度上概括了所要测量的整个内容，也就是内容的代表性）、效标效度（是指测验的结果与预期的结果
3、的相关程度)、结构效度(是一种测量的结果可以用该测验所假定的结构予以解释的效度）（李秉德，檀仁梅：教育科学研究方法,人民教育出版社，1986年版，P177179）。我们这里讲的主要指内容效度。以尺子为例：一把精确的尺子，若用以测量物体的长度,则测验结果会很准确，那么这把尺子的效度非常好；而若用这把尺子测量物体的重量，那么显然测量的结果和想测的事物之间毫无关系，此时这把尺子无疑是无效的。因此，如果我们把提出的测评问题也作为一把尺子，它只能测量是学生对知识的记忆而不能测量出关键能力，那么这把尺子就缺乏效度。为了保证测评模块中测试题的效度，问题就必须击中能力。从这个例子可以看出，效度是针对目标而言的
4、，对于不同的目标，即使使用同一个测量工具，其有效性就会有差异。针对效度的影响因素，为了保证整合情境教学测评问题设计的效度，我们可以对应采取以下措施：第一，问题要紧紧围绕评价指标中的关键能力来设计，只要击中能力的问题，效度才能保证。如果测试题没有击中能力，那么就会产生测量学中的系统误差。系统误差一旦产生就会自始至终影响整个测量过程。可见效度虽然受到评估主体和客体的价值观的影响，但主要还是最终受到能力目标和影响.第二，问卷实测阶段，要认真考虑班级学生学习成绩差异、参加测试的学生人数、学生年级、学校学习质量差异等方面。上述因素都影响到了关键能力的因素,如果不考虑以上因素，关键能力就没有找准。测试在操
5、作过程中就会出现这种现象：某学校老师设计的整合情境教学测评模块在本校测试的效度比较高，而拿到其他学习质量差异比较大的学校测试,其效度就可能比较低。二、信度及其保障 在整合情境教学测评模块中，提出的“问题必须是可靠的，无论时间、地点或者阅卷人(评估者）如何改变,都能提供稳定结果的评估结果。有利于考试和批改程序标准化。也就是说，测评问题必须具有“信度”。在教育测量学中，信度指的是测验结果的可信程度，它反映了测验的稳定性和可靠性(宋岭梅:教育测量学）。也可以认为,信度是反映测验成绩在不同条件下的一致性程度指标（谢晓庆心理测量学讲义），是测验结果受随机误差（包括测验时间、地点、学生情绪、评分者等多种误
6、差因素）的影响程度。信度通常有稳定性信度、等值性信度（再测一致性）、同质性信度(内部一致性）和评分者信度等类型。在这里，我们主要说的是等值性信度和评分者信度.例如,若使用一把尺子前后两次测量同一个东西，得到的结果却不一致，那么这把尺子就不可靠，缺乏等值性信度（再测一致性）.以同样的例子讲,如果一把尺子被你用来测量一个物品得到一个结果，被我用来测量同一东西却得到另一个结果,那么，这把尺子就是不可靠的，缺乏评分者信度,它反映了一个测验在不同评分者之间的一致性.在本次论坛中，有的老师认为只有测试结果出来，才能谈得上测试的信度。一般来说，测试信度只有在测试结果出来之后才得知，但是我们可以凭多年的测试经
7、验，在测试实施之前，能判断部分测试题目是否具有信度，排除部分信度较差的题目，从而在测试之前保证测试的最大信度.仍然以尺子为例,如果尺子本身的刻度有问题，那么用这把尺子测试物体的长度，信度就会存在问题。等值性信度和评分者信度，是可以通过改进测量工具来提高的。如在整合情境教学测评模块的问题设计中，我们可以采取以下措施对测验题的设计进行改进，从而提高测试的信度：第一,问题设计要考虑学生现实认知水平和能力，不能刻意提高难度。正如论坛中部分老师所言，题目设计难度太大，会影响测试的信度.这是从等值性信度的角度而言的，即题目难度大,学生在本次测试的错误率比较高，在第二次测试中，学生提高成绩的可能性就比较大，
8、导致两次测试一致性较差，从而影响了测试信度。老师在制作测试题时，应该着眼于考核学生是否达到了课标中的能力，而不是要为难学生把学生考倒.超出课标要求任意拔高测试难度,是影响测试的等值性信度的。第二，问题的开放程度要适中，不要漫无边际。问题过于开放，学生答案可以多种多样,这就给测试者提高了评卷的难度，并受评卷教师主观因素的影响,也就是评估受到偶然误差的影响。因此老师在设计题目时，问题的开放程度一定要控制.第三,给出尽可能详尽的答案,供教师参考。在我们收集的情境教学课例中,有很多老师都没有参考答案这部分内容，都是用“缺省”两字代替。以为小学学生试卷内容过于简单，一位老师的学识能力足以把握住答案。给出
9、参考答案可以保证整个模块测评的信度，不同老师给学生评卷，所得的分数结果的误差会降到最低。特别是对于答案不唯一的问题，更要列出可能的答案和评分标准。第四，用“参考答案”对开放题的指向（或范围）给予适当的限定，以提高开放性测评问题的信度（可靠性）。这是使开放题具有较高信度的最关键的保证.第五，测试应对测试者提出统一明确的要求，降低测试者主观因素对信度的影响.对于同一个被试的答案，不同的评分者,由于各自文化修养、阅卷经历、个人好恶及其阅卷时心境等各方面的差异，会给出截然不同的评分结果。即使同一评卷者评阅同一类型试卷,由于连续阅卷后的疲劳等因素的影响也会造成其评分标准的差异。因此为了减少评分者对测试信
10、度的负面影响,应该对评分者的素质有基本的规定，并给予充分的说明.附录：详尽的题目参考答案可以增加信度据PISA数学测试题编译改写整合情境教学课例测评模块：不规则形状湖北省教育科学研究所 张传萍能力目标：我国数学课程标准及“内容标准中与本单元的相关内容：第二学段(46年级）测量.（4)能用方格纸估计不规则图形的面积。不规则形状问题Q1：上图中，哪个图形的面积最大?说明你的理由。（比较不规则图形的面积)Q2：描述一种估算图形C面积的方法.（评价学生计算不规则图形面积的方法） Q3：描述估算图形C周长的方法.（评价学生计算不规则图形周长的方法） 参考答案Q1:满分（3分)：图形B，并说明了适当的理由
11、，图形面积最大是因为图形A和图形B可以放在图形B里面.1分：图形B，但是没有说明理由；0分：其他答案;没有回答。Q2：满分（3分)：回答出合理的方法。方法1：在图形C上画规则的正方形的格子，然后数覆盖在图形C上的正方形格子的数量。方法2:砍掉图形C上不规则的臂膀，然后在图形上画规则的正方形的格子，这样就可以计算图形的面积;方法3：根据图形C建立3D模型,然后在模型上灌水，测量模型中水的体积和水的深度，从上述信息就可以计算面积了。部分分（1分）: 有点偏的答案，如：有的学生提出计算圆的面积,然后减掉砍掉部分的面积，但是学生没有回答如何计算砍掉部分的面积；把图形C各个臂膀部分的面积加总。0分：其它答案或者没有回答.Q3满分（3分）：回答出合理的方法.方法1：拿一根绳子去覆盖图形C的轮廓，然后计算绳子的长度;方法2：把图形C分成接近直条的小形状，然后把这些小形状的图形摆成一条直线，计算这条直线的长度；方法3：测量图形C部分胳膊的长度，得出它们的平均长度，然后用平均长度乘以胳膊的个数8乘以2。0分：其他答案或者没有回答。4