《教育测量与评价的难度与区分.ppt》由会员分享，可在线阅读，更多相关《教育测量与评价的难度与区分.ppt（25页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、教育测量与评价的教育测量与评价的难度与区分度难度与区分度20051121教育测量与评价中题目（项目）的难度教育测量与评价中题目（项目）的难度n一、难度的含义一、难度的含义n难度是指测验项目的难易程度难度是指测验项目的难易程度n刻画被试作答一个题目所遇到的困难程度的量数，叫做题目的难度系数，刻画被试作答一个题目所遇到的困难程度的量数，叫做题目的难度系数，用符号用符号 P表示表示n在教育测量中，在教育测量中，P正确回答试题的人数正确回答试题的人数/参加测验的总人数参加测验的总人数n二、难度的计算二、难度的计算n客观试题（二分法记分）：客观试题（二分法记分）：nPR/N R：答对该题的人数；：答对该
2、题的人数；N：参加测验的总人数：参加测验的总人数n对选择题的解答，因被试可猜测，故需对难度系数加以校正对选择题的解答，因被试可猜测，故需对难度系数加以校正nCP：校正后的难度值；：校正后的难度值；P：实际得到的通过率；：实际得到的通过率；K：选项数目：选项数目n例：某次测验中，例：某次测验中，20个学生中有个学生中有15人答对了某一选择题，分别计算此题有人答对了某一选择题，分别计算此题有四个选项、三个选项、两个选项时的难度值四个选项、三个选项、两个选项时的难度值教育测量与评价中题目（项目）的难度教育测量与评价中题目（项目）的难度n二、难度的计算二、难度的计算n客观题的极端分组法客观题的极端分组
3、法n根据测验分数按高低排序，用两个极端组（高分、低分）在根据测验分数按高低排序，用两个极端组（高分、低分）在某项目上的平均通过率表示项目的难度某项目上的平均通过率表示项目的难度n步骤：步骤：按测验总分由高到低排序按测验总分由高到低排序从高分段向下选出全部试卷的从高分段向下选出全部试卷的27作为高分组作为高分组从低分段向上选出全部试卷的从低分段向上选出全部试卷的27作为低分组作为低分组按照上述公式计算项目难度值按照上述公式计算项目难度值n例：例：100人参加某测验，高分组与低分组各取人参加某测验，高分组与低分组各取27人，其中第人，其中第一题高分组一题高分组20人答对，低分组人答对，低分组10人
4、答对。这道题的难度系数人答对。这道题的难度系数是多少？是多少？教育测量与评价中题目（项目）的难度教育测量与评价中题目（项目）的难度n二、难度的计算二、难度的计算n主观题的平均数法主观题的平均数法n主观题的极端分组法主观题的极端分组法n公式：公式：n步骤步骤n按测验总分依次排序，确定比例各为按测验总分依次排序，确定比例各为25的高分组和低分组的高分组和低分组n为高分组、低分组分别编制每题得分的分析表（为高分组、低分组分别编制每题得分的分析表（试题分析表试题分析表）n用上述难度公式计算难度值用上述难度公式计算难度值教育测量与评价中题目（项目）的难度教育测量与评价中题目（项目）的难度n公式的含义：公
5、式的含义：nXH：高分组所得总分；：高分组所得总分；nXL：低分组所得总分；：低分组所得总分；H：该题最高分；：该题最高分；L：该题最低分；：该题最低分；N：考生总人数的：考生总人数的254 10 404 0 0 5 2 105 1 57 8 567 6 42 8 5 408 8 6410 0 0低分组10 10 100高分组X f fx X f fx试试题题分分析析表表n例：例：n100名学生参加论文式测验，按高、低分各占总人数的名学生参加论文式测验，按高、低分各占总人数的25分分组，其中第组，其中第6题的得分统计表如下所示。求该题目的难度。题的得分统计表如下所示。求该题目的难度。问题：问题
6、：n有有3道试题（道试题（A、B、C），它们的难度），它们的难度P值分别为值分别为0.85、0.75、0.65，试比较这三道题目的难度差异，试比较这三道题目的难度差异情况。情况。n我们能说：我们能说：n我们不能说：我们不能说：n如何进行差异比较？如何进行差异比较？教育测量与评价中题目（项目）的难度教育测量与评价中题目（项目）的难度n三、难度的转换三、难度的转换n难度指出的仅仅是题目的相对难度，不能客观难度指出的仅仅是题目的相对难度，不能客观地指出题目难度之间差异大小地指出题目难度之间差异大小n一般情况下，测验分数呈正态分布一般情况下，测验分数呈正态分布n利用正态分布表，可将利用正态分布表，可将
7、P转换成具有相等单位转换成具有相等单位的的等距变量等距变量补充：量表的类型补充：量表的类型n测量：按照一定规则对事物的属性进行量的规定，即：按照法则给事物测量：按照一定规则对事物的属性进行量的规定，即：按照法则给事物指派数字指派数字n1.名称量表名称量表n类别量表，最低层次的量表，用于分类，表示事物的不同类别和性质类别量表，最低层次的量表，用于分类，表示事物的不同类别和性质n用数字表示每一个研究个体：学号、准考证号用数字表示每一个研究个体：学号、准考证号n用数字代表事物的类别：用数字代表事物的类别：“1”、“0”表示表示“好好”、“坏坏”n2.顺序量表（等级量表）顺序量表（等级量表）n也称位次
8、量表，根据事物的特性和设定的法则在分类的基础上确定同类也称位次量表，根据事物的特性和设定的法则在分类的基础上确定同类客体中各元素之间的相对顺序客体中各元素之间的相对顺序n只关心研究对象的顺序，不问津间距是否一致只关心研究对象的顺序，不问津间距是否一致n如：合格与否、优良中差等如：合格与否、优良中差等n3.等距量表等距量表n间距量表，在赋值时有相等的度量单位，采用相对零点，被测所对应的间距量表，在赋值时有相等的度量单位，采用相对零点，被测所对应的测量值由明确的距离关系测量值由明确的距离关系n原始测验分数经过统计处理后推导出一种新的量表分数，此分数的原始测验分数经过统计处理后推导出一种新的量表分数
9、，此分数的“零零点点”是一个相对零点是一个相对零点n4.比率量表比率量表n具有等距量表的一切性质，采用绝对零点。具有等距量表的一切性质，采用绝对零点。n针对总体而不是样本针对总体而不是样本n不但能确定一个被测比另一个被测大（小）多少，而且还能得出其间的不但能确定一个被测比另一个被测大（小）多少，而且还能得出其间的倍数关系倍数关系四种量表的比较四种量表的比较量表量表水平水平特性特性图示图示功能功能例例文字表达文字表达符号表达符号表达名称量表名称量表同一性同一性区分性区分性断定：断定：AB或或AB分类、命名、分类、命名、符号化符号化准考证号码；准考证号码；男男1女女2；男；男生喜欢生喜欢11、男、
10、男生不喜欢生不喜欢10等级量表等级量表等级性、位等级性、位次性、大于次性、大于或小于或小于断定：断定：ABABAB分等级、位分等级、位次、排列顺次、排列顺序序学习成绩：学习成绩：好好3中中2差差1等距量表等距量表单位相等单位相等有人定参照有人定参照点，无绝对点，无绝对零点零点确定确定（AB）（BC）AC求等距的度求等距的度数，决定差数，决定差异异温度温度比率量表比率量表有绝对零点有绝对零点设设AKB，BlC，则，则AKlC成立成立从绝对零点从绝对零点开始求等距开始求等距的度数、决的度数、决定比率定比率体重体重身高身高1 2 31 23 412341 2340正态分布的特征正态分布的特征n平均数
11、上下各一个标准差的范围分别包含了全部人数的平均数上下各一个标准差的范围分别包含了全部人数的34n若某项目有若某项目有84的学生通过，这道题的难度在平均数以下一的学生通过，这道题的难度在平均数以下一个标准差的位置，由个标准差的位置，由0.840.500.34去查去查Z值，值，Z1n若一个项目的难度位若一个项目的难度位0.16，则这个项目的难度在平均数以上，则这个项目的难度在平均数以上一个标准差的位置，由一个标准差的位置，由0.500.160.34去查去查Z值，值，Zn若某个项目有若某个项目有50的学生通过，这个项目的难度落在下图的学生通过，这个项目的难度落在下图0的位置上的位置上34.13%34
12、.13%13.59%2.14%10.13%13.59%2.14%0.13%-1032-3-2教育测量与评价中题目（项目）的难度教育测量与评价中题目（项目）的难度n三、难度的转换三、难度的转换nP向向Z的转换的转换n假定每个试题所要测量地潜在特质或能力是呈正态分布的，可假定每个试题所要测量地潜在特质或能力是呈正态分布的，可将将P值作为正态曲线下的概率面积，以此转换成值作为正态曲线下的概率面积，以此转换成Z分数分数n问题：三道题目的难度系数为问题：三道题目的难度系数为0.65、0.55、0.45，比较其差，比较其差异。异。题号题号P难度难度Z值值难度难度差异差异10.650.38520.550.1
13、250.2630.450.1250.25n两个项目之间的两个项目之间的P值之差相等，但值之差相等，但Z值之差不等值之差不等n将将P值转换为值转换为Z值之后，它们之间的单位相等，可以比较差异值之后，它们之间的单位相等，可以比较差异教育测量与评价中题目（项目）的难度教育测量与评价中题目（项目）的难度n三、难度的转换三、难度的转换nZ分数向分数向分数的转换：分数的转换：转换为：平均数为转换为：平均数为13，标准差为，标准差为4的标准分数的标准分数目的：消除负数，便于计算目的：消除负数，便于计算转换之后可用所得的转换之后可用所得的值计算整个测验中所有项目的平均难度值计算整个测验中所有项目的平均难度教育
14、测量与评价中题目（项目）的难度教育测量与评价中题目（项目）的难度n四、难度对测验的影响四、难度对测验的影响n难度对测验分数分布的影响难度对测验分数分布的影响n过易、过难会造成测验分数偏离正态分布，使测验分数离散程过易、过难会造成测验分数偏离正态分布，使测验分数离散程度变小度变小n难度对测验鉴别力的影响难度对测验鉴别力的影响n测验的主要功效是鉴别考生实际水平的高低测验的主要功效是鉴别考生实际水平的高低n适宜难度可以加大考生得分的差异，从而提高测验的鉴别力适宜难度可以加大考生得分的差异，从而提高测验的鉴别力n项目难度的适宜值为项目难度的适宜值为0.5左右时，测验得分的方差才可达最大值左右时，测验得
15、分的方差才可达最大值n难度与测验目的的关系难度与测验目的的关系n项目难度应根据测验目的来确定项目难度应根据测验目的来确定n常模参照评价：区分学生能力或成就的高低常模参照评价：区分学生能力或成就的高低n标准参照评价：了解学生达到教学目标规定的掌握程度标准参照评价：了解学生达到教学目标规定的掌握程度教育测量与评价中题目（项目）的区分度教育测量与评价中题目（项目）的区分度n一、区分度的概念一、区分度的概念n区分度是测验对被试实际水平的区分程度区分度是测验对被试实际水平的区分程度n是测验项目分析的重要内容是测验项目分析的重要内容n是作为评价项目质量、筛选项目的主要指标与依据是作为评价项目质量、筛选项目
16、的主要指标与依据n通常用通常用D表示，取值范围为表示，取值范围为1.00至至1.00nD越高时，试题的质量越好越高时，试题的质量越好nD为正时，试题积极区分为正时，试题积极区分n高分组通过率高，低分组通过率低高分组通过率高，低分组通过率低nD为负时，试题消极区分为负时，试题消极区分n高分组通过率低，低分组通过率高高分组通过率低，低分组通过率高教育测量与评价中题目（项目）的区分度教育测量与评价中题目（项目）的区分度n二、区分度计算方法二、区分度计算方法n极端分组法极端分组法n客观性试题区分度的计算公式：客观性试题区分度的计算公式：DPHPL按测验总分从高到低排序按测验总分从高到低排序确定测验总分
17、最高的确定测验总分最高的27的被试作为高分组，最低的的被试作为高分组，最低的27的被试为低分组的被试为低分组分别求出这两组被试通过试题的百分比分别求出这两组被试通过试题的百分比将算得的有关数据带入上公式将算得的有关数据带入上公式n主观性试题区分度的计算公式：主观性试题区分度的计算公式：说明：说明：XH：高分组所得总分；：高分组所得总分；XL：低分组所得总分；：低分组所得总分；H：该题最高分；：该题最高分；L：该：该题最低分；题最低分；N：考生人数（总人数的：考生人数（总人数的25）步骤：步骤：按测验总分由高到低排序；分别确定测验总分的按测验总分由高到低排序；分别确定测验总分的25、25作为高低
18、分作为高低分组；列出试题分析表；将数据带入以上公式加以计算组；列出试题分析表；将数据带入以上公式加以计算教育测量与评价中题目（项目）的区分度教育测量与评价中题目（项目）的区分度n例：例：100名考生参加主观性试题测验，按高、低分各占人数名考生参加主观性试题测验，按高、低分各占人数的的25分组，其中第四题试题分析表如下所示，求该题目的分组，其中第四题试题分析表如下所示，求该题目的区分度。区分度。4 10 404 2 8 6 5 306 3 188 6 488 4 32 10 4 4010 6 6012 0 0低分组12 10 120高分组X f fx X f fx试试题题分分析析表表教育测量与评
19、价中题目（项目）的区分度教育测量与评价中题目（项目）的区分度n三、区分度计算方法三、区分度计算方法n相关法相关法n考虑中间数据考虑中间数据n以项目分数与效标分数的相关作为项目区分度的指标以项目分数与效标分数的相关作为项目区分度的指标n（效标分数不易得到时，以测验总分代替）（效标分数不易得到时，以测验总分代替）n相关越高，区分能力越好相关越高，区分能力越好n具体方法：具体方法：积差相关法积差相关法点二列相关点二列相关二列相关二列相关相关相关积差相关法计算区分度积差相关法计算区分度n非二分法记分的项目，可将题目得分与测验总分求积差相关非二分法记分的项目，可将题目得分与测验总分求积差相关系数以得到题
20、目的区分度系数以得到题目的区分度n积差相关的另一计算公式：积差相关的另一计算公式：nSx为全体被试在某道题目上得分的标准差；为全体被试在某道题目上得分的标准差；Sy为全体被试为全体被试总分的标准差；总分的标准差；SD是由被试总分减去某题目得分而得到的新是由被试总分减去某题目得分而得到的新变量的方差变量的方差点二列相关计算区分度点二列相关计算区分度n测验的一个变量是连续变量，另一个变量是二分变量时，测验的一个变量是连续变量，另一个变量是二分变量时，要用点二列相关系数表示某项目的区分度要用点二列相关系数表示某项目的区分度公式的说明：公式的说明：p为答对某题人数占全体人数为答对某题人数占全体人数的比
21、例的比例q为答错此题人数所占全体人为答错此题人数所占全体人数的比例数的比例（q1-p）St为全体考生的标准差为全体考生的标准差生生1234567891011121314151617181920总总8652947265227683807576736291477481886258题题10011001111011011000n20个学生参加语文测验，总分与某一个选择题的得分情个学生参加语文测验，总分与某一个选择题的得分情况如下表。计算该选择题的区分度。况如下表。计算该选择题的区分度。二列相关计算区分度二列相关计算区分度n测验总分与项目分数均为连测验总分与项目分数均为连续变量，其中一个续变量，其中一个
22、被人为地被人为地分成两个类别分成两个类别，公式的说明：公式的说明：p为二分变量中某一类别在全为二分变量中某一类别在全部变量中所占的比例，部变量中所占的比例，q为另为另一类别所占的比例（一类别所占的比例（q1-p）St为全部连续变量的标准差为全部连续变量的标准差Y表示正态曲线下与表示正态曲线下与P相对应相对应的纵线高度。的纵线高度。生生1234567891011121314151617181920总总8652947265227683807576736291477481886258作作4737552722103542463940413852213942482927类类合合合合合合不不不不不不不不合
23、合合合合合合合合合合合合合不不不不合合合合不不不不相关法计算区分度相关法计算区分度n测验的两个变量都是二分变量，可用计算测验的两个变量都是二分变量，可用计算相关系数来表示相关系数来表示某项目的区分度某项目的区分度n以测验总分划分为合格、不合格两类的被试在某一题目上通以测验总分划分为合格、不合格两类的被试在某一题目上通过、未通过的人数列成四格表来计算过、未通过的人数列成四格表来计算另一类数据另一类数据合计合计一类数据一类数据ABA+BCDC+D合计合计A+CB+DN相关法计算区分度相关法计算区分度n例：例：45名学生考取大学的人数和在某题上通过的人数由下名学生考取大学的人数和在某题上通过的人数由
24、下表所示。若以升学为效标，此题对学生是否有区分能力？表所示。若以升学为效标，此题对学生是否有区分能力？205713通过考取未考取未通过n检验计算出的检验计算出的r值是否达到显著性水平，还需将值是否达到显著性水平，还需将r值值转换成转换成2 2值，再进行值，再进行2 2检验。检验。练习：练习：生生1234567891011121314151617181920总总8690548950444328758260707581708076777950一一11010000110111011110n20名学生的期末成绩如下表，为考查第一题是否有名学生的期末成绩如下表，为考查第一题是否有区分能力，将该题用二分法
25、记分，答对记区分能力，将该题用二分法记分，答对记1分，答错分，答错记记0分。试计算该题的区分度。分。试计算该题的区分度。n若若60分以上（含分以上（含60分）为升级，分）为升级，60分以下为留级。分以下为留级。试用试用相关法分析该题的区分度。相关法分析该题的区分度。教育测量与评价中题目（项目）的区分度教育测量与评价中题目（项目）的区分度n三、区分度对测验的影响三、区分度对测验的影响n1.区分度与难度的关系区分度与难度的关系难度（P）区分度（D的最大值）1.000.000.900.200.700.600.501.000.300.600.100.200.000.00教育测量与评价中题目（项目）的区分度教育测量与评价中题目（项目）的区分度n三、区分度对测验的影响三、区分度对测验的影响n2.区分度与信度的关系区分度与信度的关系区分度评 价0.40以上非常好0.300.39良好，如能改进则更佳0.200.29尚可，仍需再改进0.19以下劣，必须淘汰或加以修改D的平均值信度0.12250.000.160.420.200.630.300.840.400.9150.500.949