第九章测验等值PPT讲稿.ppt

《第九章测验等值PPT讲稿.ppt》由会员分享，可在线阅读，更多相关《第九章测验等值PPT讲稿.ppt（48页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。

1、第九章 测验等值第1页，共48页，编辑于2022年，星期二第一节第一节 测验等值概述测验等值概述l一、测验等值来源于测量实践的需要一、测验等值来源于测量实践的需要l二、测验等值的实质二、测验等值的实质l三、测验等值的条件三、测验等值的条件l四、测验等值的一些基本概念四、测验等值的一些基本概念l五、测验等值结果的表示方法五、测验等值结果的表示方法第2页，共48页，编辑于2022年，星期二一、测验等值来源于测验实践的需要一、测验等值来源于测验实践的需要l 在我国考试实践中，有许多大规模的在我国考试实践中，有许多大规模的考试需要进行测验等值，例如考试需要进行测验等值，例如高等教育自高等教育自学考试学

2、考试各专业的各门课程的考试，通常是各专业的各门课程的考试，通常是在同一课程考试大纲下，每年重复测试所在同一课程考试大纲下，每年重复测试所谓的平行试卷，人们有理由提出这样的问谓的平行试卷，人们有理由提出这样的问题题:某门课程今年考生所得的某门课程今年考生所得的60分是否与分是否与去年同一课程考生所得的去年同一课程考生所得的60分等值分等值?因为因为只有在它们等值的情况下，考试对这两年只有在它们等值的情况下，考试对这两年参加同一门课程测验的考生才是公平的。参加同一门课程测验的考生才是公平的。第3页，共48页，编辑于2022年，星期二l 将不同测验（考察同一特质）上的分将不同测验（考察同一特质）上的

3、分数（特质水平值）和项目（试题）参数做数（特质水平值）和项目（试题）参数做出单位系统转换，从而使之能相互比较的出单位系统转换，从而使之能相互比较的过程，叫做测验等值。过程，叫做测验等值。第4页，共48页，编辑于2022年，星期二二、测验等值的实质二、测验等值的实质l 从从本质本质上说，测验等值就是通过对考核上说，测验等值就是通过对考核同一种心理品质同一种心理品质的的多个测验形式作出测量分数系统的转换，进而使得这些不同测验多个测验形式作出测量分数系统的转换，进而使得这些不同测验形式的测验分数之间具有形式的测验分数之间具有可比性可比性。A B C 82 85 80l 1。测验等值中所说的测量分数系

4、统的转换与测验原始分数。测验等值中所说的测量分数系统的转换与测验原始分数及导出分数之间的转换是不相同的。及导出分数之间的转换是不相同的。l 2。寻找测验等值关系与寻找两测验之间预测关系也是。寻找测验等值关系与寻找两测验之间预测关系也是不相同的。不相同的。第5页，共48页，编辑于2022年，星期二第6页，共48页，编辑于2022年，星期二第7页，共48页，编辑于2022年，星期二三、测验等值的条件三、测验等值的条件l（1）同质性）同质性 要求等值的两个测验必须是测量同一心理特质的。很难想象可以把数学测验的分数等值转换成语文测验的分数，但数学测验分数却可能等值转换成另一次内容难度近似的数学测验分数

5、。l（2）等信度）等信度l（3）公平性）公平性l（4）对称性）对称性l（5）样本不变性）样本不变性 等值测验是两个或多个测验之间客观存在的实际关系。l（6）可递推性）可递推性 如果f(x)=y,g(y)=z，那么h(x)=gf(x)=z第8页，共48页，编辑于2022年，星期二l上述要求满足极为困难，除了心理现象复上述要求满足极为困难，除了心理现象复杂，测验技术发展不成熟外，测量理论框杂，测验技术发展不成熟外，测量理论框架本身的局限也是原因。架本身的局限也是原因。第9页，共48页，编辑于2022年，星期二四、测验等值的一些基本概念四、测验等值的一些基本概念（一）成对出现的概念（一）成对出现的概

6、念l1。经典测验理论与项目反应理论等值。经典测验理论与项目反应理论等值 经典测验理论（经典测验理论（CTTCTT）、项目反应理）、项目反应理论（论（IRTIRT）、概化理论（）、概化理论（GTGT）区别在于等值时以何种区别在于等值时以何种测验理论测验理论为为指导。指导。l2。测验分数等值与项目参数等值。测验分数等值与项目参数等值 根据测验等值的根据测验等值的直接操作对象直接操作对象不同而不同而构成的一对概念。构成的一对概念。缺陷：严重依赖样缺陷：严重依赖样本；两测验上被试本；两测验上被试分数分布大体相同。分数分布大体相同。第10页，共48页，编辑于2022年，星期二l3。水平等值与垂直等值。水

7、平等值与垂直等值 根据测验试卷的根据测验试卷的难度难度和和被试能力分布被试能力分布是否有差异而区分的一对概念。是否有差异而区分的一对概念。进行垂直等值化的原因：进行垂直等值化的原因：举例：举例：一套成就测验由不同水平的几个测验构成，每一水平适应于某一年级一套成就测验由不同水平的几个测验构成，每一水平适应于某一年级范围的学生。例如该测验的水平范围的学生。例如该测验的水平1 1正好适合二年级初的学生，水平正好适合二年级初的学生，水平2 2正好适合二正好适合二年级末的学生。然而，对那些在二年级进步较慢的学生而言，水平年级末的学生。然而，对那些在二年级进步较慢的学生而言，水平2 2可能可能太难而无法得

8、到准确的测验结果。一种可能的解决办法就是对这些学太难而无法得到准确的测验结果。一种可能的解决办法就是对这些学生施测水平生施测水平1 1。为了解释这些学生的测验成绩，就有必要知道这两种水。为了解释这些学生的测验成绩，就有必要知道这两种水平的等值分数。这个过程被称为垂直等值化。平的等值分数。这个过程被称为垂直等值化。第11页，共48页，编辑于2022年，星期二四、测验等值的一些基本概念四、测验等值的一些基本概念1。测验等值设计。测验等值设计 定义：定义：为了寻找不同测验形式之间的为了寻找不同测验形式之间的等值关系而预先对等值关系而预先对数据的采集方法数据的采集方法、等值等值实现的途径实现的途径、等

9、值的计算方法等值的计算方法进行周密的进行周密的设计，称为测验等值设计。设计，称为测验等值设计。等值设计的最主要原则是要使得所采等值设计的最主要原则是要使得所采集的数据能最有效提供不同测验形式的差集的数据能最有效提供不同测验形式的差异信息。异信息。第12页，共48页，编辑于2022年，星期二2。锚测验。锚测验 定义：在测验等值设计中，有时会采定义：在测验等值设计中，有时会采用一组测验试题来关联两个待等值的测验用一组测验试题来关联两个待等值的测验形式，以便寻找两形式的等值关系，这些形式，以便寻找两形式的等值关系，这些测验试题被称作为锚测验。测验试题被称作为锚测验。要求：同质性；等信度；长度不小于要

10、求：同质性；等信度；长度不小于原测验的原测验的1/5。第13页，共48页，编辑于2022年，星期二V第14页，共48页，编辑于2022年，星期二3。数据平滑法。数据平滑法比较实用的两种数据平滑法：比较实用的两种数据平滑法：l一种叫对数线性平滑法一种叫对数线性平滑法l一种叫一种叫二项式平滑模式二项式平滑模式第15页，共48页，编辑于2022年，星期二l等值完成之后必须对等值结果进行评价。评价的等值完成之后必须对等值结果进行评价。评价的目标是所估等值关系的可靠性与准确性，其指标目标是所估等值关系的可靠性与准确性，其指标是等值关系中所包含的等值误差的大小。是等值关系中所包含的等值误差的大小。l关于等

11、值标准误差、等值偏差关于等值标准误差、等值偏差l 理解的时候可以从理解的时候可以从随机随机等值误差（等值标准误等值误差（等值标准误差）和差）和系统系统等值误差（等值偏差）的角度来理解。等值误差（等值偏差）的角度来理解。l 注意：以上主要是在注意：以上主要是在CTT的范围内对的范围内对测验分数等测验分数等值值所作的探讨。所作的探讨。第16页，共48页，编辑于2022年，星期二4。等值标准误差。等值标准误差l测量学把由测量学把由抽样抽样而引起的等值误差称作等而引起的等值误差称作等值标准误差。值标准误差。l像测验误差不可避免一样，等值误差也是像测验误差不可避免一样，等值误差也是不可避免不可避免的。的

12、。第17页，共48页，编辑于2022年，星期二等值标准误差的操作定义：等值标准误差的操作定义：应用样本数据估计测验形式应用样本数据估计测验形式X X与与Y Y的等值关系时，如的等值关系时，如果反复抽取等容量的样本，可以求得许多个果反复抽取等容量的样本，可以求得许多个X X与与Y Y的等值的等值关系，对于关系，对于X X的一个固定值的一个固定值X X0 0，会有若干个不等的，会有若干个不等的Y Y0 0与与之对应，这若干个之对应，这若干个Y Y0 0的标准差就是对应于的标准差就是对应于X=XX=X0 0的等值的等值标准误差。标准误差。从这里可以看出等值标准误差的大小是会随着被等值的具体分数而变化

13、的。从总的趋势来说，随机等值误差的大小是会随着样本容量的增大而减小的。控制办法：数据平滑法第18页，共48页，编辑于2022年，星期二l测验等值误差是一个变量，随等值分数的测验等值误差是一个变量，随等值分数的大小而变，其大小而变，其总趋势总趋势是等值分数越趋于分是等值分数越趋于分布的两端，等值的标准误差越大。布的两端，等值的标准误差越大。第19页，共48页，编辑于2022年，星期二5。等值偏差。等值偏差 在等值测验中除了抽样引起等值误差之外，等值在等值测验中除了抽样引起等值误差之外，等值处理方法不当也会引起等值误差，测量学上把这种等处理方法不当也会引起等值误差，测量学上把这种等值误差称为偏差。

14、值误差称为偏差。第20页，共48页，编辑于2022年，星期二系统等值误差系统等值误差l 在等值设计和等值关系估计过程中，必在等值设计和等值关系估计过程中，必须作出若干假设，具备若干等值条件，如果须作出若干假设，具备若干等值条件，如果这些假设被违背或者条件不能被充分满足，这些假设被违背或者条件不能被充分满足，都会产生系统误差。都会产生系统误差。l 例如，设计一中的假设不能满足的情况例如，设计一中的假设不能满足的情况l 等值的系统误差与随机误差不同，系统等值的系统误差与随机误差不同，系统误差难以量化、难以发现，系统误差的大小误差难以量化、难以发现，系统误差的大小也不随样本容量的增大而变小。也不随样

15、本容量的增大而变小。第21页，共48页，编辑于2022年，星期二据研究，形成等值系统误差的可能原因有四种：据研究，形成等值系统误差的可能原因有四种：l第一种是当应用等值方法的统计假设不满足时，所估等值关第一种是当应用等值方法的统计假设不满足时，所估等值关系中就会出现系统误差。系中就会出现系统误差。l第二种原因是当为估计等值关系所设计的数据采集规则未被严格第二种原因是当为估计等值关系所设计的数据采集规则未被严格遵循，所估等值关系中也会出现系统误差。遵循，所估等值关系中也会出现系统误差。l第三种原因是估计等值关系时所用的被试组与实际使用这两第三种原因是估计等值关系时所用的被试组与实际使用这两测验的

16、被试组有实质性的差异，此时将所估等值关系应用于测验的被试组有实质性的差异，此时将所估等值关系应用于实测群体，系统误差也就产生了。实测群体，系统误差也就产生了。l第四种原因是某些等值数据处理技术的使用也可能引进系统误第四种原因是某些等值数据处理技术的使用也可能引进系统误差。差。第22页，共48页，编辑于2022年，星期二五、测验等值结果的表示方法五、测验等值结果的表示方法（一）表列法（一）表列法 应用应用最普遍最普遍的等值结果表示方法的等值结果表示方法（二）公式法（二）公式法 常见的等值结果公式形式常见的等值结果公式形式y=Ax+B 式中式中x与与y处于平等地位处于平等地位（三）图示法（三）图示

17、法 形象生动但精确度有限形象生动但精确度有限第23页，共48页，编辑于2022年，星期二测验等值的工作过程大致包括：测验等值的工作过程大致包括：l（1）进行等值设计）进行等值设计l（2）贯彻实施等值设计方案，实施测验）贯彻实施等值设计方案，实施测验并实际收集到数据资料；并实际收集到数据资料；l（3）针对实测资料作统计分析，求出等）针对实测资料作统计分析，求出等值转换关系；值转换关系；l（4）对求得的等值转换关系和整个等值）对求得的等值转换关系和整个等值工作进行评价，确定其正确有效性和求出工作进行评价，确定其正确有效性和求出其等值误差。其等值误差。第24页，共48页，编辑于2022年，星期二第二

18、节第二节 测验等值计算的基本方法测验等值计算的基本方法一、等百分位等值一、等百分位等值二、线形等值二、线形等值第25页，共48页，编辑于2022年，星期二一、等百分位等值一、等百分位等值第26页，共48页，编辑于2022年，星期二一、等百分位等值一、等百分位等值l优点：定义直观，也容易理解优点：定义直观，也容易理解l缺点：缺点：l一是分数等值转换关系的求得依赖于所选一是分数等值转换关系的求得依赖于所选用的样本，当抽取的样本改变之后，具体用的样本，当抽取的样本改变之后，具体的等值关系就会发生变化，因此样本不变的等值关系就会发生变化，因此样本不变性要求没有得到满足；性要求没有得到满足；l二，百分位

19、等值法通常要使用平滑化处理二，百分位等值法通常要使用平滑化处理方法，这无疑增大了等值的误差。方法，这无疑增大了等值的误差。第27页，共48页，编辑于2022年，星期二二、线形等值二、线形等值 第28页，共48页，编辑于2022年，星期二第三节第三节 常用测验等值设计介绍常用测验等值设计介绍测验等值设计测验等值设计 定义：为了寻找不同测验形式之间的定义：为了寻找不同测验形式之间的等值关系而预先对数据的采集方法、等值等值关系而预先对数据的采集方法、等值实现的途径、等值的计算方法进行周密的实现的途径、等值的计算方法进行周密的设计，称为测验等值设计。设计，称为测验等值设计。第29页，共48页，编辑于2

20、022年，星期二第三节第三节 常用测验等值设计介绍常用测验等值设计介绍回顾线形等值与等百分位等值的原理回顾线形等值与等百分位等值的原理l 等百分位等值依据的原理：两个分数，一个在测验等百分位等值依据的原理：两个分数，一个在测验形式形式X X上，另一个在测验形式上，另一个在测验形式Y Y上，如果这两个分数上，如果这两个分数对于任何一个被试群体都有相同的百分等级，那对于任何一个被试群体都有相同的百分等级，那么这两个分数就被认为是等值的。么这两个分数就被认为是等值的。l 线性等值所依据的原理：两个分数，一个在测线性等值所依据的原理：两个分数，一个在测验形式验形式X X上，而另一个在测验形式上，而另一

21、个在测验形式Y Y上，如果对于上，如果对于任何一个被试群体，它们各自的标准分数相等，任何一个被试群体，它们各自的标准分数相等，这两个分数就被认为是等值的。这两个分数就被认为是等值的。第30页，共48页，编辑于2022年，星期二设计一设计一 随机分组随机分组每组实施一个测验每组实施一个测验一、随机等组设计一、随机等组设计 样本样本 测测 验验 X X Y Y 第31页，共48页，编辑于2022年，星期二设计一设计一 随机分组随机分组每组实施一个测验每组实施一个测验 这种数据采集设计有一个假设，即这种数据采集设计有一个假设，即两两被试样本的总体分布是相同的。被试样本的总体分布是相同的。由于抽样由于

22、抽样结果来自于同一总体，因此，不考虑其间结果来自于同一总体，因此，不考虑其间的抽样误差，这一假设是很容易得到满足的抽样误差，这一假设是很容易得到满足的。的。第32页，共48页，编辑于2022年，星期二1。线形等值法。线形等值法 Y=Ax+B A=Sy/S/Sx x B=MB=My y-AM-AMx x 注意：等值关系直线绝不是线性回归直线，线注意：等值关系直线绝不是线性回归直线，线性回归直线中，直线的性回归直线中，直线的斜率斜率还必须乘上两变量的还必须乘上两变量的相关系数。另外，等值关系关于相关系数。另外，等值关系关于x x和和y y是对称的，而是对称的，而回归关系中回归关系中x x和和y y

23、是不对称的，因此，是不对称的，因此，回归关系不回归关系不是等值关系是等值关系。第33页，共48页，编辑于2022年，星期二2。等百分位等值法。等百分位等值法lXPR Yl PR=Fb+(x-Lb)f/i/N100l y=Lb+(PR/100N-Fb)/fi第34页，共48页，编辑于2022年，星期二二、平衡单组设计二、平衡单组设计 样本样本 测测 验验 X X Y Y 前前 后后 前前 后后 设计二设计二 随机分组随机分组各测验对每组都实施各测验对每组都实施第35页，共48页，编辑于2022年，星期二设计二设计二 随机分组随机分组各测验对每组都各测验对每组都实施实施l 采用这种设计的目的是要防

24、止两个测验形式采用这种设计的目的是要防止两个测验形式施测顺序的改变可能引起的等值差异。施测顺序的改变可能引起的等值差异。l 采用这种设计的优点是，如果测验顺序对等值采用这种设计的优点是，如果测验顺序对等值结果没有影响，就可以只用一个样本完成测验等值，结果没有影响，就可以只用一个样本完成测验等值，使得一些被试难寻的测验有可能在较大样本下完成测使得一些被试难寻的测验有可能在较大样本下完成测验的等值。验的等值。l 无法克服练习效应和测验时间太长的缺点。无法克服练习效应和测验时间太长的缺点。l1。线形等值法。线形等值法l2。等百分位等值法。等百分位等值法第36页，共48页，编辑于2022年，星期二三、

25、锚测验三、锚测验随机等组设计随机等组设计 样本样本 测测 验验 X X V V Y Y 设计三设计三 随机分组随机分组每组各实施一个测验，锚每组各实施一个测验，锚测验向每组实施测验向每组实施第37页，共48页，编辑于2022年，星期二l数据采集时，锚测验既用于第一组被试，数据采集时，锚测验既用于第一组被试，又用于第二组被试。虽然两组被试总体分又用于第二组被试。虽然两组被试总体分布不同，由于施用了一组共同试题，两被布不同，由于施用了一组共同试题，两被试组能力的差异就可以被定量描写，进而试组能力的差异就可以被定量描写，进而可以排除被试组的能力差异而将两待等值可以排除被试组的能力差异而将两待等值的测

26、验形式的等值关系估计出来。的测验形式的等值关系估计出来。第38页，共48页，编辑于2022年，星期二设计三设计三 随机分组随机分组每组各实施一个测验，锚每组各实施一个测验，锚测验向每组实施测验向每组实施l 要求锚测验必须是两待等值测验的缩要求锚测验必须是两待等值测验的缩影，由锚测验作为桥梁，把测验影，由锚测验作为桥梁，把测验X和和Y连连接起来，缺点是锚测验作为其缩影实际上接起来，缺点是锚测验作为其缩影实际上是难以做到的。是难以做到的。l 锚测验与待等值测验不论难度上的差锚测验与待等值测验不论难度上的差异还是内容上的差异都会对等值结果带来异还是内容上的差异都会对等值结果带来误差，尤其是难度上的影

27、响较大。误差，尤其是难度上的影响较大。第39页，共48页，编辑于2022年，星期二四、锚测验四、锚测验非等组设计非等组设计 样本样本 测测 验验 X X V V Y Y 设计四设计四 非随机分组非随机分组每组各实施一个测验，每组各实施一个测验，锚测验向每组实施锚测验向每组实施第40页，共48页，编辑于2022年，星期二设计四设计四 非随机分组非随机分组每组各实施一个测验，每组各实施一个测验，锚测验向每组实施锚测验向每组实施应用背景：应用背景：l 在实际工作中还会出现这样的情况：在实际工作中还会出现这样的情况：既不可能采集一个样本让被试施测两个不既不可能采集一个样本让被试施测两个不同形式的测验，

28、又不可能获得两个总分分同形式的测验，又不可能获得两个总分分布相同的样本来分别接受两个测验的施测。布相同的样本来分别接受两个测验的施测。l 例子：例子：两个年度的高考试卷等值两个年度的高考试卷等值第41页，共48页，编辑于2022年，星期二设计四设计四 非随机分组非随机分组每组各实施一个测验，每组各实施一个测验，锚测验向每组实施锚测验向每组实施关于锚测验关于锚测验实际工作中实际工作中l（1 1）锚题与原测题混合编制施测锚题与原测题混合编制施测，操作比较方便，且锚，操作比较方便，且锚题测试可能达到相当可靠的程度，但是一旦试卷题测试可能达到相当可靠的程度，但是一旦试卷“曝光曝光”，锚题就失去作用。，

29、锚题就失去作用。l（2 2）锚题独立成卷，锚题独立成卷，可以提高锚题的安全性，但是测试组织比较可以提高锚题的安全性，但是测试组织比较复杂，特别是要创设与正式测试相同的测试情境比较困难复杂，特别是要创设与正式测试相同的测试情境比较困难 但是不管锚题是在卷外还是卷中，锚题部分都应是原测验但是不管锚题是在卷外还是卷中，锚题部分都应是原测验的一个平行简缩本，也要保证有相当的题量。的一个平行简缩本，也要保证有相当的题量。第42页，共48页，编辑于2022年，星期二设计四设计四 非随机分组非随机分组每组各实施一个测验，每组各实施一个测验，锚测验向每组实施锚测验向每组实施 1。线形等值方法。线形等值方法l2

30、。频数估计法（等百分位等值）。频数估计法（等百分位等值）l 频数估计法的频数估计法的关键关键是要利用锚测验数是要利用锚测验数据分别估出测验据分别估出测验x x和测验和测验y y在在合成被试群体合成被试群体t t上的次数分布。上的次数分布。l 第43页，共48页，编辑于2022年，星期二012345合计00100001100110022001210430002428合计01255215V X012345合计00200002100220042001.531.50630001214合计023.563.5116被被试组在在x与与v上的上的联合分布合分布(f)被被试组在在x与与v上的上的联合分布合分布（

31、估（估计计）(g)第44页，共48页，编辑于2022年，星期二第45页，共48页，编辑于2022年，星期二l3。链等值法（等百分位等值）。链等值法（等百分位等值）XCPRa(XC)=PRa(VC)VC PR(VC)=PR(YC)YC 链等值法不需要总分与锚测验分的联链等值法不需要总分与锚测验分的联合分布，也不需合成被试组，因此比起频合分布，也不需合成被试组，因此比起频数估计法来显得更简单。但是，链等值法数估计法来显得更简单。但是，链等值法一个明显的不足是往往将一个长测验等值一个明显的不足是往往将一个长测验等值于一个短测验，从而增加了测验误差。于一个短测验，从而增加了测验误差。第46页，共48页，编辑于2022年，星期二v第47页，共48页，编辑于2022年，星期二l 为克服上述几种等值方法的缺点，在为克服上述几种等值方法的缺点，在综合上述几种等值方法优点、不足基础上，综合上述几种等值方法优点、不足基础上，陈希镇设计了一种新的等值设计方法陈希镇设计了一种新的等值设计方法试卷分半组合的单组设计法。试卷分半组合的单组设计法。l 建议阅读：建议阅读：l 戴海崎、刘启辉：戴海崎、刘启辉：锚题题型与等值锚题题型与等值估计方法对等值的影响估计方法对等值的影响载载心理学报心理学报2002，34（4）：）：367370第48页，共48页，编辑于2022年，星期二