《第二章教育测量与评价的质量特性.pptx》由会员分享，可在线阅读，更多相关《第二章教育测量与评价的质量特性.pptx（77页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、第二章第二章 教育测量与评价教育测量与评价的质量特性的质量特性第一节第一节 教育测量与评价的信度教育测量与评价的信度第二节第二节 教育测量与评价的效度教育测量与评价的效度第三节第三节 教育测量与评价中项目的难度教育测量与评价中项目的难度第三节第三节 教育测量与评价中项目的区分度教育测量与评价中项目的区分度第二章第二章 教育测量的质量特性教育测量的质量特性 衡量教育测量的质量，可采用四个指标： 信 度 主要对整个测验而言。 效 度 难 度 主要对测验项目而言。 区分度 一、什么是信度一、什么是信度 指测量结果的稳定性或可靠性程度。 一般地说，一个好的测量必须具有较高的信度，也就是说，一个好的测量
2、工具，只要遵守操作规则，其结果就不应随工具的使用者或使用时间等方面的变化而发生较大的变化。第一节第一节 教育测量与评价的信度教育测量与评价的信度对信度的理解 信度指实测值（X）和真值（T）相差的程度； 考察信度系数时，常常采用相关系数作为信度指标，测验结果之间的相关程度越高，信度就越高。采用不同的方式计算相关系数，就得到不同类型的信度系数。 心理测验的信度值在0-1.00之间，当信度系数等于1.00时，表示测验完全可靠；当信度系数等于0时，则表示测验根本不可靠。问题 一个能力测验用于人才招聘，经检验它的信度为0.70，如何理解这个信度系数的含义。 理解：0.70的信度系数表明，在不同的招聘候选
3、人之间进行比较，候选人测验分数的70%差别是由于个体之间真实的能力差异所导致的，而30%差别是由于随机误差所导致。二、信度的种类及估计方法 采用不同的方法来计算相关系数，就会得到不同类型的信度指标：重测信度、复本信度、分半信度、同质性信度、评分者信度。 五种信度的含义和计算方法各异，我们在使用时要特别注意每一种信度的特定内涵和适用范围。（一）重测信度（一）重测信度 指同一个量表对同一组被试施测两次所得结果的一致性程度。 其大小等于同一组被试在两次测验上所得分数的相关系数，一般采用皮尔逊积差相关的公式来计算。施测施测再施测再施测相关系数相关系数时间间隔时间间隔重测信度的计算重测信度的计算 222
4、2YYNXXNYXXYNr 2222YYNXXNYXXYNrX X：第一次测验的实得分数；：第一次测验的实得分数；Y Y：第二次测验的实得分数；：第二次测验的实得分数； N N：被试人数。：被试人数。u统计学上，我们通常把对同一组被试实施的两次统计学上，我们通常把对同一组被试实施的两次等值测验的成绩的相关系数作为这一测验的信度。等值测验的成绩的相关系数作为这一测验的信度。例一 用一个算术四则的速度测验12个小学生，得分记为X，为了考察测量结果的可靠性，于3个月后再测一次，得分记为Y，问测验结果是否可靠？ 学生序号 1 2 3 4 5 6 7 8 9 10 11 12 X 20 20 21 22
5、 23 23 23 24 25 26 26 27 Y 20 21 21 20 23 23 25 25 26 26 27 29在使用重测法计算信度值时，应注意以下问题： 1、信度的取值范围为0，1，当信度值较大时，说明前后两次测量结果比较一致； 2、两次测验之间的时间间隔要适宜。应由测验的性质、测题类型、测题数量和被试特点所决定； 3、重测法适用于速度测验而不适用于难度测验； 4、应注意提高被试者的积极性。重测信度与时间间隔 两次测量之间的间隔时间不同，重测信度也不同。 间隔时间太短，存在记忆效应；间隔时间太长，影响测量的干扰因素增加。一般而言，时间间隔越长，信度系数越低。 适宜的间隔时间因测验
6、性质、被试特点而异。 如：对儿童测量时间间隔相对短一些成人测量时间间隔可以长一些。一般以2周到4周较宜，最好不超过6个月。 报告重测信度时要明确说明两次测验之间的时间间隔，并且，一个经过良好评估的测验应当具有多个时间间隔的重测信度。（二）复本信度（二）复本信度 指两个平等的测验测量同一批被试所得结果的一致性程度。 其大小等于同一批被试在两个复本测验上所得分数的相关系数。 所谓复本测验是指在性质、内容、题型、题数、难度等方面都一致（或相等）的两份或多份测验。施测施测A型型施测施测B型型相关系数相关系数连续施测或间隔施测连续施测或间隔施测例二 以A、B两型英语复本测验对初中三年级10个学生施测，为
7、避免由测验施测顺序所造成的误差，其中5个学生先做A型测验，休息15分钟后，再做B型测验；而另5个学生先做B型测验，休息15分钟后，再做A型测验。10个学生A型测验结果记为X，B型测验结果记为Y，其测验的复本信度如何？ 学生序号 1 2 3 4 5 6 7 8 9 10 X 19 19 18 17 16 15 15 14 13 12 Y 20 17 18 18 17 15 13 15 12 12复本信度的优缺点表现：复本信度的优缺点表现：优点：优点：1、测验的两个复本，如果在不同的时间使用，、测验的两个复本，如果在不同的时间使用，其信度既可以反映在不同时间的稳定性，又可其信度既可以反映在不同时间
8、的稳定性，又可以反映对于不同测题的一致性；以反映对于不同测题的一致性；2、两个复本在同时使用时，可以避免再测信、两个复本在同时使用时，可以避免再测信息的一些缺点，如首测时再测在记忆、练习、息的一些缺点，如首测时再测在记忆、练习、效果的影响，间隔期间获得新知识的影响，两效果的影响，间隔期间获得新知识的影响，两次施测的环境不同和被试主观状态不同的影响，次施测的环境不同和被试主观状态不同的影响，以及为了应付测验所作训练的影响等。以及为了应付测验所作训练的影响等。复本信度缺点：复本信度缺点： 1、编制两个完全相等的测验是很困难的，如、编制两个完全相等的测验是很困难的，如果两个复本过分相似，则变成再测形
9、式，而过果两个复本过分相似，则变成再测形式，而过分不相似，又使等值的条件不存在；分不相似，又使等值的条件不存在； 2、两个复本测验有可能在某种程度上测量了、两个复本测验有可能在某种程度上测量了不同的性质，这就会低估测验的信度；不同的性质，这就会低估测验的信度； 3、被试同时接受性质相似的两个测验，可能、被试同时接受性质相似的两个测验，可能减少完成测验的积极性；减少完成测验的积极性； 4、虽然两个复本测验的题目材料不同，但被、虽然两个复本测验的题目材料不同，但被试一旦掌握了解题的某一模式，就能触类旁通，试一旦掌握了解题的某一模式，就能触类旁通，有可能失去复本的意义。有可能失去复本的意义。（三）同
10、质性信度（三）同质性信度z同质性信度同质性信度 也称内部一致性信度，指测验内部所有题目也称内部一致性信度，指测验内部所有题目之间的一致性程度。之间的一致性程度。两层意思：两层意思： 测验所有题目测的是否为同一种心理特质；测验所有题目测的是否为同一种心理特质； 测验所有题目得分之间是否具有较高的正相关。测验所有题目得分之间是否具有较高的正相关。基本假设：基本假设：当一个测验具有较高的同质性信度时，当一个测验具有较高的同质性信度时，说明测验主要测的是某一个单一心理特质，由于众说明测验主要测的是某一个单一心理特质，由于众多题目测试了同一心理特质，那么实测结果就是该多题目测试了同一心理特质，那么实测结
11、果就是该特质水平的反映。特质水平的反映。估计方法 分半信度（分半信度（p49） 库德库德-理查逊信度（理查逊信度（p50） 克龙巴赫系数（克龙巴赫系数（系数，系数，p52） 荷伊特信度（荷伊特信度（p52）|分半信度分半信度 将测验分半，再求被试在每一半测验上所得分数的相关系数。 首先根据内容、形式、题数、平均数、标准差、难度、测题间相关以及分布形态相等的原则，将试题分成两半，或者将从易到难排列的测题，按照测题序号，奇数测题为一组，偶数测题为一组，分成两半； 然后计算每个被试在两个分半测验分数的相关系数，再用斯皮尔曼布朗公式加以校正：p49 分半信度只需要一种测验形式，实施一次测验，它比重测信
12、度和复本信度的操作更简便。 注意：注意：当一个测验无法分成对等的两半时，不宜使用分半信度。分半信度的计算方法1、当两个半测验分数的、当两个半测验分数的方差相等方差相等时，计算时，计算两个两个“半测验半测验”之间的皮尔逊积差相关系之间的皮尔逊积差相关系数，然后用数，然后用斯皮尔曼斯皮尔曼-布朗公式布朗公式校正。校正。rxx=2rhh/(1+rhh) 其中其中rxx是整个测验的分半信度，是整个测验的分半信度，rhh是是两个半测验之间的相关系数。两个半测验之间的相关系数。2、当两个半测验分数的、当两个半测验分数的方差不相等方差不相等时，时， 采用采用弗朗那根公式弗朗那根公式和和卢仑公式卢仑公式。 弗
13、朗那根公式：弗朗那根公式：rxx=21-(s2a+s2b)/s2x 卢仑公式：卢仑公式：rxx=1-s2d/s2x 其中：其中： rxx：测验的分半信度，测验的分半信度， s2a、s2b：两半测验上得分的方差，：两半测验上得分的方差， s2x：整个测验上得分的方差，整个测验上得分的方差， s2d：两半测验上得分之差的方差。：两半测验上得分之差的方差。例三 对初中一年级学生进行地理成绩测验，每答对1题得1分，答错1题得0分，其测验结果如下表，试估计该测验的分半信度？ 学生序号 题 序 1 2 3 4 5 61 1 0 0 0 0 02 0 0 0 1 0 03 1 0 1 0 0 04 1 1
14、0 0 1 05 1 0 0 1 0 06 1 1 1 0 1 17 1 1 1 1 0 18 1 1 0 1 1 09 0 1 1 0 0 110 1 1 1 1 1 1（四）评分者信度（四）评分者信度 评分者信度评分者信度 指多个评分者给同一批被试作答情指多个评分者给同一批被试作答情况评分的一致性程度。况评分的一致性程度。 它主要用于主观性作品的评价过程中，如它主要用于主观性作品的评价过程中，如论述题评分，作文题评分、歌唱比赛的评论述题评分，作文题评分、歌唱比赛的评分，设计作品的评分等。分，设计作品的评分等。评分者信度的计算方法评分者信度的计算方法 1、当评分者人数、当评分者人数=2时，评
15、分者信度等于时，评分者信度等于两者评分的相关系数。两者评分的相关系数。 2、当评分者人数大、当评分者人数大2时，评分者信度采时，评分者信度采用肯德尔和谐系数计算。用肯德尔和谐系数计算。（五）标准参照测验的信度分析（五）标准参照测验的信度分析 1、百分比一致性指标（、百分比一致性指标（PA ， p54 ） 2、一致性系数（一致性系数（p55） 3、 指数（指数（p55）2AadPN1()()ACCCPPPabaccdbdPNNNN222022()()()xxSKRXSX |总结和比较1：五种信度的误差来源信度种类信度种类误差来源误差来源重测信度重测信度复本信度（同时测试）复本信度（同时测试）复本
16、信度（延时测试）复本信度（延时测试）分半信度分半信度Kuder-Richardson 和和Alpha系系数数评分者信度评分者信度 时间间隔时间间隔题目内容题目内容时间间隔与题目内容时间间隔与题目内容题目内容题目内容题目内容与心理行为特质的同质性题目内容与心理行为特质的同质性评分者间差异评分者间差异 |总结和比较总结和比较2： 测试次数、测试卷份数与信度系数测试次数、测试卷份数与信度系数测试次数测试次数测试卷份数测试卷份数 1份份 2份份 1次次 分半信度分半信度Kuder-Richardson信度信度Alpha系数系数 复本信度（同时测试）复本信度（同时测试） 2次次 重测信度重测信度 复本信
17、度（延时测试）复本信度（延时测试） 作业1、用某量表测验10名学生，得分记为X，为了考察结果的可靠性，于15天后用原量表对这10个学生重测一次，得分记为Y，问测验结果是否可靠？ 学生序号 1 2 3 4 5 6 7 8 9 10 X 8 10 9 6 10 7 5 7 9 4 Y 9 10 10 6 10 8 4 8 9 4 2、对10名应试者先进行某种测验X，隔适当时间后（半年），再进行内容、范围、难度类似的第二次测验Y，试求测验的复本信度？ 应试者 1 2 3 4 5 6 7 8 9 10 X 9 10 10 6 10 8 4 8 9 4 Y 4 9 7 9 4 3 5 3 2 4 3、有
18、一个由100题构成的量表施行于10个高三学生（分数见下表）。测验一次后，学生即毕业离校，现怎样评价测验结果的信度？ 学生序号 1 2 3 4 5 6 7 8 9 10 奇X 38 37 38 41 40 36 38 39 40 35 偶Y 37 37 36 39 39 34 38 39 39 36|信度的作用信度的作用 1 1、信度是确定测验工具好坏的指标之一。、信度是确定测验工具好坏的指标之一。测验类型测验类型 信度系数信度系数 低低中中高高学业成就测验学业成就测验0.660.920.98学术能力测验学术能力测验0.560.900.97特殊能力倾向测验特殊能力倾向测验0.260.880.96
19、人格测验人格测验0.460.850.97兴趣测验兴趣测验0.420.840.93态度测验态度测验0.470.790.98注：表中数据来源，Lewis R. Aiken: Psychological testing and assessment (eighth edition), Allyn and Bacon, Inc, 1994. 判断原则：判断原则：u多年的研究结果，多年的研究结果，一般的能力测验和成就测验一般的能力测验和成就测验的信的信度系数都在度系数都在0 09090以上，有的可以达以上，有的可以达0 09595；而；而人格人格测验、兴趣、态度、价值观等测验测验、兴趣、态度、价值观等测
20、验的信度一般在的信度一般在0 080800 08585或更高些。或更高些。uR0R 原有的同类测验或相似测验。原有的同类测验或相似测验。 2 2、信度是测量过程中随机误差大小的反映。、信度是测量过程中随机误差大小的反映。 3 3、信度可以直接解释真分数与实得分数之间、信度可以直接解释真分数与实得分数之间的关系，明确告知测验误差的大小（的关系，明确告知测验误差的大小（测量标测量标准误准误可作为测量误差大小的客观指标）可作为测量误差大小的客观指标） 4 4、下结论说某测验比较可靠，必须依据情境，、下结论说某测验比较可靠，必须依据情境，并经多次证实。并经多次证实。 5 5、信度可以解释、预测个人分数
21、的意义。、信度可以解释、预测个人分数的意义。三、提高信度的方法（一）影响测量信度的主要因素 1、被试方面 2、主试方面 3、施测情境方面 4、测量工具方面 5、两次施测的间隔时间方面（二）提高测量信度的常用方法 1、适当增加测验的长度 2、测验的难度要适中 3、测验的内容应尽量同质 4、测验的程序应统一 5、测验的时间要充分 6、测验的评分要尽量做到客观化，减少评分误差一、什么是效度一、什么是效度 指测量结果的准确性和有效性的程度。也可以说是测量是否达到了预期的目的。1、效度是一个相对的概念。（1）测量的效度是相对一定的测量目的而言的（2）测量的效度是相对测量的结果而言的2、一种测量的效度只是
22、高或低的问题 测量结果总是有一定效度的，只是效度高低不同罢了。第二节第二节 教育测量与评价的效度教育测量与评价的效度 根据测量目标的不同，对测量工具进行效根据测量目标的不同，对测量工具进行效度验证的方法主要有三种：度验证的方法主要有三种：内容效度内容效度（基于所测内容的效度验证方法）（基于所测内容的效度验证方法）结构效度结构效度（基于所测心理结构的效度验证方法）（基于所测心理结构的效度验证方法）准则关联效度准则关联效度（基于效标关联性的效度验证方（基于效标关联性的效度验证方法）法）二、效度的估计 1、什么是内容效度 指测验题目样本对应测内容及行为领域的代表性程度。如果是教学情境下的成就测验，那
23、么其内容效度就是看测验题目样本能体现教学目标与教材要求的程度。 例如，教师给学生做一份语文成就测验，如果该测验的题目涵盖了语文教学所达到的各项目标及教材的重要内容，那么我们便说该测验具有较高的内容效度。 为了使测验的内容具有有效性，成为所欲测量内容的一个具有代表性的行为样本，在编制测验时，就要考虑建立内容效度的问题。（一）内容效度（一）内容效度2、内容效度的估计（1）逻辑分析法）逻辑分析法 其工作思路是请有关专家对测验题目与原定内其工作思路是请有关专家对测验题目与原定内容范围的吻合程度作出判断。容范围的吻合程度作出判断。 以考试内容效度分析来说，以考试内容效度分析来说，就是依靠专家来分就是依靠
24、专家来分析一份试卷的所有题目，把所有题目按考试内析一份试卷的所有题目，把所有题目按考试内容分布和考查目标分布进行双向分类，形成实容分布和考查目标分布进行双向分类，形成实际的际的“题目双向分类表题目双向分类表”；基于这个；基于这个“题目双题目双向分类表向分类表”的分析，然后由专家对这次考试的分析，然后由专家对这次考试（测量）的内容效度的满意程度作出等级判断（测量）的内容效度的满意程度作出等级判断或评语描述。或评语描述。 这里不妨先提供一份测验的命题双向细目表这里不妨先提供一份测验的命题双向细目表（参见表（参见表3-9，p62），以增加读者的感性认识。），以增加读者的感性认识。（2）量化分析法（）
25、量化分析法（p63） 内容效度主要应用于成就测验、学科测内容效度主要应用于成就测验、学科测验、选拔和分类职业测验。验、选拔和分类职业测验。 内容效度不适合用于能力倾向和人格测内容效度不适合用于能力倾向和人格测验。验。（二）结构效度 结构（Construct）是指心理学或社会学上的一种理论构想或特质。它本身观察不到、并且也无法直接测量到，但学术理论假设它是存在的，以便能够来解释和预测个人或团体的行为表现。 例如，智力就是心理学中的一种结构结构效度，指的就是测验能够测量到理论上（通常是心理学或社会学）所定义的某一心理结构或特质的程度。 （二）结构效度 结构效度测验对于人的心理特性或理论概念测量到的
26、程度。通常用某种操作来定义，并用测验来测量。 例如：人的创造力可以分解为人的思维流畅性、灵活性和创造性三大特性，并根据这三大特性编制测验，若有足够的证据来证明该测验确实可以测到这些特性，则认为该测验是个结构效度较高的创造力测验。1、结构效度的特点 结构效度的大小完全取决于事先假定的心理特质理论，一旦人们对同一种心理特质有着不同的定义或假设，则会使得关于特质测验的结构效度的研究结果无法比较。 当实际测量的资料无法证实我们的理论假设时，并不一定就表明该测验结构效度高。因为还有可能出现理论假设不成立，或者该实验设计不能对该假设作适当的检查等情况，这就使得结构效度的获取更为困难。2、建立结构效度的步骤
27、 A、提出理论假设； B、根据假定结构拟定测题，编制测验； C、以测验结果为根据来验证假设结构中的各种因素是否成立。3、结构效度的估计（1）因素分析法 其目的是把一些具有错综复杂关系的因素归结为数量较少的几个综合因素或称共同因素，并以此测验所测之特质对测验分数作出解释。（2）多元特质多重方法矩阵法 是由肯贝尔和菲斯克1959年提出的最受欢迎的一种结构效度的评估方法。 这种方法的设想：若采用两种方法以上的方法去测量两种以上的特质，那么这些测量结果之间可以形成一个多元特质多重方法矩阵。 从理论上说，以不同方法测量同一特质的相关应当为最高；以相同方法测量不同特质的相关次之；以不同方法测量特质的相关为
28、最低。 与内容效度不同，结构效度主要用于智力测验、人格测验等一些心理测验方面。（三）效标关联效度 是以测验分数和效标之间的相关系数来表示测验效度高低的方法。 例如：某年全国高考物理学科的测验效度，可用大学一年级物理学科的测验分数为效标，然后求同一组学生高考物理得分与大一物理得分之间的相关，此相关系数就是该年高考物理测验的效标关联效度系数。当这个相关系数与总体零相关有显著性差异时，相关系数的值（正值）越大，效度就越高；相关系数的值越小，效度就越低。 效标不仅随测验的种类不同而不同，而且可能随时间而改变，现在是一个好的成功的效标，将来就不一定是。所以，为某个测验选择一个最有效的效标，这是最重要的事
29、情。 教育测验的效标，可采用各学科成绩和教师评定的结果； 智力测验的效标，可采用学科成绩、教师评判的结果、学生总成绩、受教育年限、年龄以及其他事物； 能力倾向测验的效标，可采用特殊课程或特殊训练的成绩； 职业兴趣测验的效标，可采用从业人员实际服务成绩或记录； 人格测验的效标，可采用编制者的主观标准，或以被试以后行为或临床资料。效标关联效度的估计方法1、相关法、相关法 由于测验分数和效标分数这两个变量的类型不同，二者相关系数的计算方法也就不同。（1）积差相关法：适用于两个变量为连续变量 进行显著性检验： 自由度df=N-2，检验的是两个变量，都减去2； 置信度取0.05，查相关系数界值表，寻找临
30、界值； 结论：r临界值，说明显著相关，效度高；r0为正区分，D0为负区分，D=0为零区分 区分度的分析方法，大约可以归纳成两类： 一为外在效标法，即分析被试在测验题目上的得分与在外在的客观标准上的表现之间的关系。 另一为内部一致性法，即分析被试在测题上的得分与在整个测验总分之间的一致性程度。 二、区分度的计算（一）高低分组法（一）高低分组法 D=PH-PL 例6：有道试题，高分组有70%学生通过，低分组有30%的学生通过；而另一道题，高分组有40%学生通过，低分组有70%学生通过，求两题的各自区分度？2、主观题 D=（XH-XL）/N（H-L） XH为高分组得分总数 XL为低分组得分总数 H为
31、该道题的最高分 L为该道题的最低分 N为应试总人数的27%。例7 高分组 低分组 得分X 人次f 得分X 人次f 5 4 5 0 4 3 4 1 3 2 3 1 2 1 2 3 1 0 1 4 0 0 0 4（二）相关法1、点二列相关法、点二列相关法 例8：15个学生在数学测验中得分记录如下，计算数学测验中第一题的区分度？ 学生 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 测验 65 70 31 49 80 50 35 10 81 69 78 55 77 90 42 第一题 0 1 0 1 1 0 1 0 0 1 1 0 1 1 02、二列相关 例9：已知一测验中某选择题的通过率为0.5，答对者的测验总分平均为76分，答错者的测验总分平均为63分，全体被试20人总分的标准差为16，求该题的区分度？三、提高区分度的方法1、使题目的难度适中，使整个考试难度适中 题目的难度适中可使区分度达到最大值，因此，使难度适中是提高区分度的重要方法。2、着重考察复杂的学习结果 使高能学生得高分或低能学生得低分，使分数尽量分布在整个分数量尺上。3、掌握区分度的评价标准。