《人员素质测评质量分析.pptx》由会员分享，可在线阅读，更多相关《人员素质测评质量分析.pptx（40页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、人员素质测评质量分析人员素质测评质量分析目录效度效度信度信度项目分析项目分析其他分析方法其他分析方法第1页/共39页第一节 效度 测评的效度就是指测评的有效性，即能测测评的效度就是指测评的有效性，即能测测评的效度就是指测评的有效性，即能测测评的效度就是指测评的有效性，即能测评到所要测评目标的程度。效度是评价测评评到所要测评目标的程度。效度是评价测评评到所要测评目标的程度。效度是评价测评评到所要测评目标的程度。效度是评价测评好坏、选择测评的重要标准之一。好坏、选择测评的重要标准之一。好坏、选择测评的重要标准之一。好坏、选择测评的重要标准之一。效度的作用比信度的作用更为重要。强调效度的作用比信度的
2、作用更为重要。强调效度的作用比信度的作用更为重要。强调效度的作用比信度的作用更为重要。强调测评目标、工具与测评对象的统一。测评目标、工具与测评对象的统一。测评目标、工具与测评对象的统一。测评目标、工具与测评对象的统一。一、人员测评的有效性一、人员测评的有效性一、人员测评的有效性一、人员测评的有效性 效度的理论定义：与测评目标有关的真实效度的理论定义：与测评目标有关的真实效度的理论定义：与测评目标有关的真实效度的理论定义：与测评目标有关的真实分数方差与总分方差的比率。分数方差与总分方差的比率。分数方差与总分方差的比率。分数方差与总分方差的比率。公式：公式：公式：公式：其中，为测评效度；为有效方差
3、；为总分方差。第2页/共39页效度的性质效度的性质 实际上效度指的是实际上效度指的是“测测评结果的效度评结果的效度”，是指测评结，是指测评结果的准确性程度，而并不是指果的准确性程度，而并不是指测评本身。也反映了测评结果测评本身。也反映了测评结果对测评目标的体现程度。对测评目标的体现程度。二、如何评估人员测评的效度二、如何评估人员测评的效度（一）内容效度（一）内容效度 1 1、内内容容效效度度是是指指测测评评内内容容取取样样是是否否反反映映测测评评的的目目标标，适适用于测评对象。用于测评对象。第3页/共39页2 2 2 2内容效度的评估方法内容效度的评估方法内容效度的评估方法内容效度的评估方法
4、测评内容范围明确；测评内容范围明确；测评内容范围明确；测评内容范围明确；测评内容的取样有代表性。测评内容的取样有代表性。测评内容的取样有代表性。测评内容的取样有代表性。采用如下步骤：采用如下步骤：采用如下步骤：采用如下步骤：1 1 1 1）确定总体范围；）确定总体范围；）确定总体范围；）确定总体范围；2 2 2 2）编制双向细目表；）编制双向细目表；）编制双向细目表；）编制双向细目表；3 3 3 3）制定评定量表。）制定评定量表。）制定评定量表。）制定评定量表。还可采用经验的方法、统计分析方法。还可采用经验的方法、统计分析方法。还可采用经验的方法、统计分析方法。还可采用经验的方法、统计分析方法
5、。3 3 3 3内容效度的应用内容效度的应用内容效度的应用内容效度的应用 内容效度最适合于评估教育和职业成就测评。内容效度最适合于评估教育和职业成就测评。内容效度最适合于评估教育和职业成就测评。内容效度最适合于评估教育和职业成就测评。也适合于某些用于人员选拔和分类的测评。也适合于某些用于人员选拔和分类的测评。也适合于某些用于人员选拔和分类的测评。也适合于某些用于人员选拔和分类的测评。第4页/共39页（二）效标关联效度（二）效标关联效度（二）效标关联效度（二）效标关联效度 效效效效标标标标关关关关联联联联效效效效度度度度，也也也也称称称称效效效效标标标标效效效效度度度度，它它它它反反反反映映映映
6、的的的的是是是是测测测测评评评评分分分分数数数数与与与与外外外外在在在在标标标标准准准准（效效效效标标标标）的的的的相相相相关关关关程程程程度度度度，即即即即测测测测评评评评分分分分数数数数对对对对个个个个体体体体的的的的效效效效标标标标行行行行为为为为表表表表现现现现进进进进行行行行预预预预测测测测的有效性程度。的有效性程度。的有效性程度。的有效性程度。效标是考察测评效用的外在参照标准。效效标是考察测评效用的外在参照标准。效效标是考察测评效用的外在参照标准。效效标是考察测评效用的外在参照标准。效标关联效度往往用于预测性测评。标关联效度往往用于预测性测评。标关联效度往往用于预测性测评。标关联效
7、度往往用于预测性测评。1 1 1 1预测效度和同时效度预测效度和同时效度预测效度和同时效度预测效度和同时效度 预测效度的效标资料往往是测评结束后隔预测效度的效标资料往往是测评结束后隔预测效度的效标资料往往是测评结束后隔预测效度的效标资料往往是测评结束后隔一段时间才获得，它反映被试行为表现的预一段时间才获得，它反映被试行为表现的预一段时间才获得，它反映被试行为表现的预一段时间才获得，它反映被试行为表现的预测程度。测程度。测程度。测程度。同时效度的效标材料可以和测评分数差不同时效度的效标材料可以和测评分数差不同时效度的效标材料可以和测评分数差不同时效度的效标材料可以和测评分数差不多同时搜集。多同时
8、搜集。多同时搜集。多同时搜集。第5页/共39页 同时效度多用于诊断现在的状态，预测效同时效度多用于诊断现在的状态，预测效同时效度多用于诊断现在的状态，预测效同时效度多用于诊断现在的状态，预测效度多预测未来的结果。度多预测未来的结果。度多预测未来的结果。度多预测未来的结果。如：如：如：如：1 1 1 1）“某人成功了吗？某人成功了吗？某人成功了吗？某人成功了吗？”2 2 2 2）“某人会成功吗？某人会成功吗？某人会成功吗？某人会成功吗？”2 2 2 2效标和效标测评效标和效标测评效标和效标测评效标和效标测评 效标是衡量测评有效性的参照标准。效标是衡量测评有效性的参照标准。效标是衡量测评有效性的参
9、照标准。效标是衡量测评有效性的参照标准。把效标转化为某种可以操作的测评指标，把效标转化为某种可以操作的测评指标，把效标转化为某种可以操作的测评指标，把效标转化为某种可以操作的测评指标，称为效标测评。称为效标测评。称为效标测评。称为效标测评。效效效效标标标标可可可可以以以以细细细细分分分分为为为为观观观观念念念念效效效效标标标标（即即即即效效效效标标标标的的的的实实实实质质质质概概概概念念念念内内内内容容容容）和和和和效效效效标标标标测测测测评评评评（即即即即效效效效标标标标的的的的具具具具体体体体度度度度量量量量方方方方法法法法）。例例例例如如如如，对对对对于于于于筛筛筛筛选选选选销销销销售售
10、售售人人人人员员员员的的的的观观观观念念念念效效效效标标标标是是是是“销销销销售售售售工工工工作作作作的的的的成成成成功功功功”，而而而而效效效效标标标标测测测测评评评评是是是是“年销售量年销售量年销售量年销售量”。第6页/共39页3 3 3 3常用的效标常用的效标常用的效标常用的效标 （1 1 1 1）学术成就）学术成就）学术成就）学术成就 （2 2 2 2）特殊训练成绩）特殊训练成绩）特殊训练成绩）特殊训练成绩 （3 3 3 3）实际工作表现）实际工作表现）实际工作表现）实际工作表现（4 4 4 4）团体对照）团体对照）团体对照）团体对照（5 5 5 5）等级评定）等级评定）等级评定）等级
11、评定 （6 6 6 6）先前有效的测评）先前有效的测评）先前有效的测评）先前有效的测评（三）构想效度（三）构想效度（三）构想效度（三）构想效度 构想效度是指测评能够测评到理论上的构构想效度是指测评能够测评到理论上的构构想效度是指测评能够测评到理论上的构构想效度是指测评能够测评到理论上的构想或特质的程度。所谓构想通常指一些抽象想或特质的程度。所谓构想通常指一些抽象想或特质的程度。所谓构想通常指一些抽象想或特质的程度。所谓构想通常指一些抽象的、假设性的概念或特质，如智力、创造力、的、假设性的概念或特质，如智力、创造力、的、假设性的概念或特质，如智力、创造力、的、假设性的概念或特质，如智力、创造力、
12、言语流畅性、焦虑等。言语流畅性、焦虑等。言语流畅性、焦虑等。言语流畅性、焦虑等。第7页/共39页1 1 1 1确定构想效度的步骤确定构想效度的步骤确定构想效度的步骤确定构想效度的步骤 建建建建立立立立理理理理论论论论框框框框架架架架，以以以以解解解解释释释释被被被被试试试试在在在在测测测测评评评评上上上上的的的的表表表表现；现；现；现；依依依依据据据据理理理理论论论论框框框框架架架架，推推推推演演演演出出出出各各各各种种种种有有有有关关关关测测测测评评评评成成成成绩绩绩绩的假设；的假设；的假设；的假设；以逻辑和实证的方法来验证假设，根据累以逻辑和实证的方法来验证假设，根据累以逻辑和实证的方法来
13、验证假设，根据累以逻辑和实证的方法来验证假设，根据累积材料决定这种理论是否能恰当地解释现有积材料决定这种理论是否能恰当地解释现有积材料决定这种理论是否能恰当地解释现有积材料决定这种理论是否能恰当地解释现有材料；如果不能做出恰当解释，则应该修正材料；如果不能做出恰当解释，则应该修正材料；如果不能做出恰当解释，则应该修正材料；如果不能做出恰当解释，则应该修正上述假设，直到能做出恰当的解释为止。上述假设，直到能做出恰当的解释为止。上述假设，直到能做出恰当的解释为止。上述假设，直到能做出恰当的解释为止。如：创造力测评构想效度。以测评分数与如：创造力测评构想效度。以测评分数与如：创造力测评构想效度。以测
14、评分数与如：创造力测评构想效度。以测评分数与根据创造力的心理学理论观察被试行为所做根据创造力的心理学理论观察被试行为所做根据创造力的心理学理论观察被试行为所做根据创造力的心理学理论观察被试行为所做出的判断做相关分析。出的判断做相关分析。出的判断做相关分析。出的判断做相关分析。第8页/共39页2 2 2 2常见的确定构想效度的指标常见的确定构想效度的指标常见的确定构想效度的指标常见的确定构想效度的指标（1 1 1 1）发展变化）发展变化）发展变化）发展变化（2 2 2 2）与其他测评的相关）与其他测评的相关）与其他测评的相关）与其他测评的相关（3 3 3 3）因素分析）因素分析）因素分析）因素分
15、析 因素分析是分析行为资料内部关系、结构因素分析是分析行为资料内部关系、结构因素分析是分析行为资料内部关系、结构因素分析是分析行为资料内部关系、结构特性的一种统计技术。特性的一种统计技术。特性的一种统计技术。特性的一种统计技术。（4 4 4 4）内部一致性）内部一致性）内部一致性）内部一致性 如果测评的所有题目被验证为具有很高的如果测评的所有题目被验证为具有很高的如果测评的所有题目被验证为具有很高的如果测评的所有题目被验证为具有很高的内部一致性，说明它们都是关于同一内容的，内部一致性，说明它们都是关于同一内容的，内部一致性，说明它们都是关于同一内容的，内部一致性，说明它们都是关于同一内容的，属
16、于同一种构想。属于同一种构想。属于同一种构想。属于同一种构想。用来考察内部一致性的方法主要有三种：用来考察内部一致性的方法主要有三种：用来考察内部一致性的方法主要有三种：用来考察内部一致性的方法主要有三种：1 1 1 1）考察总分数较高和较低两类人在各）考察总分数较高和较低两类人在各）考察总分数较高和较低两类人在各）考察总分数较高和较低两类人在各第9页/共39页 题目上通过率的大小题目上通过率的大小题目上通过率的大小题目上通过率的大小 ，如果通过率低，应，如果通过率低，应，如果通过率低，应，如果通过率低，应淘汰或修改。淘汰或修改。淘汰或修改。淘汰或修改。2 2 2 2）计算题目与总分的相关，如
17、未达显著水）计算题目与总分的相关，如未达显著水）计算题目与总分的相关，如未达显著水）计算题目与总分的相关，如未达显著水准，应予淘汰。准，应予淘汰。准，应予淘汰。准，应予淘汰。3 3 3 3）求分测评与总分的相关。各分测评与总）求分测评与总分的相关。各分测评与总）求分测评与总分的相关。各分测评与总）求分测评与总分的相关。各分测评与总分有显著相关，如果不是，则应予删除。分有显著相关，如果不是，则应予删除。分有显著相关，如果不是，则应予删除。分有显著相关，如果不是，则应予删除。（5 5 5 5）会聚效度和区分效度）会聚效度和区分效度）会聚效度和区分效度）会聚效度和区分效度 会聚效度：测评与测评相同特
18、质或构想等会聚效度：测评与测评相同特质或构想等会聚效度：测评与测评相同特质或构想等会聚效度：测评与测评相同特质或构想等理论上有关的变量高相关；理论上有关的变量高相关；理论上有关的变量高相关；理论上有关的变量高相关；区分效度：测评与测评不同特质或构想等区分效度：测评与测评不同特质或构想等区分效度：测评与测评不同特质或构想等区分效度：测评与测评不同特质或构想等理论上无关的变量低相关。理论上无关的变量低相关。理论上无关的变量低相关。理论上无关的变量低相关。如，一个数学推理能力测评与数学课成绩如，一个数学推理能力测评与数学课成绩如，一个数学推理能力测评与数学课成绩如，一个数学推理能力测评与数学课成绩的
19、相关就是会聚效度；而该测评与阅读理解的相关就是会聚效度；而该测评与阅读理解的相关就是会聚效度；而该测评与阅读理解的相关就是会聚效度；而该测评与阅读理解能力测评的相关显著低，就是区分效度。能力测评的相关显著低，就是区分效度。能力测评的相关显著低，就是区分效度。能力测评的相关显著低，就是区分效度。第10页/共39页三、影响效度的因素三、影响效度的因素三、影响效度的因素三、影响效度的因素测评本身带来的影响因素测评本身带来的影响因素测评本身带来的影响因素测评本身带来的影响因素 1 1 1 1测评题目的质量测评题目的质量测评题目的质量测评题目的质量 2 2 2 2实施测评时的于扰因素实施测评时的于扰因素
20、实施测评时的于扰因素实施测评时的于扰因素 3 3 3 3被试的影响因素被试的影响因素被试的影响因素被试的影响因素 4 4 4 4测评的长度测评的长度测评的长度测评的长度 样本团体的性质样本团体的性质样本团体的性质样本团体的性质 效标的性质效标的性质效标的性质效标的性质 如果其他条件相同，所测评的行为或心理如果其他条件相同，所测评的行为或心理如果其他条件相同，所测评的行为或心理如果其他条件相同，所测评的行为或心理特质与效标行为或特质越相似，效度系数就特质与效标行为或特质越相似，效度系数就特质与效标行为或特质越相似，效度系数就特质与效标行为或特质越相似，效度系数就越高。越高。越高。越高。第11页/
21、共39页第二节第二节 信度信度 一、信度的定义一、信度的定义一、信度的定义一、信度的定义 信度主要是指测评结果的可靠性或一致性。信度主要是指测评结果的可靠性或一致性。信度主要是指测评结果的可靠性或一致性。信度主要是指测评结果的可靠性或一致性。由测评工具否精确引起的误差叫系统误差。由测评工具否精确引起的误差叫系统误差。由测评工具否精确引起的误差叫系统误差。由测评工具否精确引起的误差叫系统误差。由操作是否到位引起的误差叫随机误差。由操作是否到位引起的误差叫随机误差。由操作是否到位引起的误差叫随机误差。由操作是否到位引起的误差叫随机误差。信度考虑两方面的问题。信度考虑两方面的问题。信度考虑两方面的问
22、题。信度考虑两方面的问题。一是稳定性：不同时间、不同测评条件下所一是稳定性：不同时间、不同测评条件下所一是稳定性：不同时间、不同测评条件下所一是稳定性：不同时间、不同测评条件下所得分数之间的一致性有多大；一个人的所得分数得分数之间的一致性有多大；一个人的所得分数得分数之间的一致性有多大；一个人的所得分数得分数之间的一致性有多大；一个人的所得分数与与与与“真实分数真实分数真实分数真实分数”之间接近程度有多大；是否可以之间接近程度有多大；是否可以之间接近程度有多大；是否可以之间接近程度有多大；是否可以达到实际应用的程度等。达到实际应用的程度等。达到实际应用的程度等。达到实际应用的程度等。二是影响稳
23、定性的原因：什么因素造成了这二是影响稳定性的原因：什么因素造成了这二是影响稳定性的原因：什么因素造成了这二是影响稳定性的原因：什么因素造成了这种差异；这些影响的相对作用有多大。种差异；这些影响的相对作用有多大。种差异；这些影响的相对作用有多大。种差异；这些影响的相对作用有多大。第12页/共39页二、二、二、二、信度的作用信度的作用信度的作用信度的作用 信度高低的指标通常以相关系数表示，称信度高低的指标通常以相关系数表示，称信度高低的指标通常以相关系数表示，称信度高低的指标通常以相关系数表示，称为信度系数。信度系数一般是同一样本所得为信度系数。信度系数一般是同一样本所得为信度系数。信度系数一般是
24、同一样本所得为信度系数。信度系数一般是同一样本所得的两组资料的相关，在理论上表示为实得分的两组资料的相关，在理论上表示为实得分的两组资料的相关，在理论上表示为实得分的两组资料的相关，在理论上表示为实得分数与真实分数相关的平方。信度系数公式：数与真实分数相关的平方。信度系数公式：数与真实分数相关的平方。信度系数公式：数与真实分数相关的平方。信度系数公式：它是其中：真实分数标准差与实得分数标准差的比率。其中，rxr 有时也称为信度指数，它是真实分数标准差与实得分数标准差的比率。第13页/共39页 还可通过分析个人分数再测时的变化（误还可通过分析个人分数再测时的变化（误差）来考察信度。两次测评分数的
25、差异越大，差）来考察信度。两次测评分数的差异越大，信度就越低。信度就越低。在在人人员员测测评评中中，对对信信度度系系数数进进行行确确定定通通常常有以下两方面的作用：有以下两方面的作用：方差：即每个被测评者得分与其算术平均数差的平方和与总个数之商。公式：标准差公式：第14页/共39页 1 1 1 1解释真实分数与实得分数的相关性解释真实分数与实得分数的相关性解释真实分数与实得分数的相关性解释真实分数与实得分数的相关性 总的方差（即标准差的平方的缩略语）中总的方差（即标准差的平方的缩略语）中总的方差（即标准差的平方的缩略语）中总的方差（即标准差的平方的缩略语）中有多少比例是由真实分数的方差决定的。
26、有多少比例是由真实分数的方差决定的。有多少比例是由真实分数的方差决定的。有多少比例是由真实分数的方差决定的。2 2 2 2说明可以接受的信度水准说明可以接受的信度水准说明可以接受的信度水准说明可以接受的信度水准 一般的能力与成就测评的信度系数在一般的能力与成就测评的信度系数在一般的能力与成就测评的信度系数在一般的能力与成就测评的信度系数在0 0 0 090909090以上；人格、兴趣等测评的信度系数通常以上；人格、兴趣等测评的信度系数通常以上；人格、兴趣等测评的信度系数通常以上；人格、兴趣等测评的信度系数通常在在在在0 0 0 0808080800.850.850.850.85之间。之间。之间
27、。之间。r r r rxxxxxxxx0 0 0 070707070时，不能用时，不能用时，不能用时，不能用测评对个人作评价，也不能在团体间作比较；测评对个人作评价，也不能在团体间作比较；测评对个人作评价，也不能在团体间作比较；测评对个人作评价，也不能在团体间作比较；当当当当r r r rxxxxxxxx0 0 0 070707070时，可用于团体间比较；时，可用于团体间比较；时，可用于团体间比较；时，可用于团体间比较；r r r rxxxxxxxx0 0 0 085858585时，可用于鉴别个人情况。时，可用于鉴别个人情况。时，可用于鉴别个人情况。时，可用于鉴别个人情况。三、三、三、三、如何
28、评估人员测评的信度如何评估人员测评的信度如何评估人员测评的信度如何评估人员测评的信度 1.1.1.1.重测信度又称为稳定性系数重测信度又称为稳定性系数重测信度又称为稳定性系数重测信度又称为稳定性系数 用同一测评，在不同时间对同一群体施测用同一测评，在不同时间对同一群体施测用同一测评，在不同时间对同一群体施测用同一测评，在不同时间对同一群体施测第15页/共39页 N N N N为两次测评结果数据配对总数；为两次测评结果数据配对总数；为两次测评结果数据配对总数；为两次测评结果数据配对总数；x x x x被分析的测被分析的测被分析的测被分析的测评结果；评结果；评结果；评结果；y y y y为重复测评
29、得到的结果。为重复测评得到的结果。为重复测评得到的结果。为重复测评得到的结果。在进行在进行重测信度的评估时，还应注意重测信度的评估时，还应注意以下两个重要问题：以下两个重要问题：1 1）重测信度一般只反映由随机）重测信度一般只反映由随机因素导致的变化，而不反映被因素导致的变化，而不反映被试行为的长久变化。试行为的长久变化。2 2）不同行为受随机误差的影响不）不同行为受随机误差的影响不同。同。两次，这两次测评分数的相关系数即为重测系数。一个测评的重测信度越高，说明测评的结果越一致、越可靠。积差相关公式：第16页/共39页2.2.2.2.复本信度又称等值性系数。复本信度又称等值性系数。复本信度又称
30、等值性系数。复本信度又称等值性系数。它是以两个测评复本（功能等值但题目内它是以两个测评复本（功能等值但题目内它是以两个测评复本（功能等值但题目内它是以两个测评复本（功能等值但题目内容不同）来测评同一群体，然后求得应试者容不同）来测评同一群体，然后求得应试者容不同）来测评同一群体，然后求得应试者容不同）来测评同一群体，然后求得应试者在这两个测评上得分的相关系数（积差相关）在这两个测评上得分的相关系数（积差相关）在这两个测评上得分的相关系数（积差相关）在这两个测评上得分的相关系数（积差相关）。复本信度的高低反映了这两个测评复本在。复本信度的高低反映了这两个测评复本在。复本信度的高低反映了这两个测评
31、复本在。复本信度的高低反映了这两个测评复本在内容上的等值性程度。两个等值的测评互为内容上的等值性程度。两个等值的测评互为内容上的等值性程度。两个等值的测评互为内容上的等值性程度。两个等值的测评互为复本。复本。复本。复本。3 3 3 3内部一致性信度内部一致性信度内部一致性信度内部一致性信度 内部一致性信度主要反映的是测评内部题内部一致性信度主要反映的是测评内部题内部一致性信度主要反映的是测评内部题内部一致性信度主要反映的是测评内部题目之间的关系，考察测评的各个题目是否测目之间的关系，考察测评的各个题目是否测目之间的关系，考察测评的各个题目是否测目之间的关系，考察测评的各个题目是否测评了相同的内
32、容或特质。评了相同的内容或特质。评了相同的内容或特质。评了相同的内容或特质。1 1 1 1）分半信度）分半信度）分半信度）分半信度 分半信度系数是通过将测评分成两半，计分半信度系数是通过将测评分成两半，计分半信度系数是通过将测评分成两半，计分半信度系数是通过将测评分成两半，计算这两半测评之间的相关性而获得的信度系算这两半测评之间的相关性而获得的信度系算这两半测评之间的相关性而获得的信度系算这两半测评之间的相关性而获得的信度系数。数。数。数。第17页/共39页 分半法经常会低估信度，必须进行修正。斯分半法经常会低估信度，必须进行修正。斯分半法经常会低估信度，必须进行修正。斯分半法经常会低估信度，
33、必须进行修正。斯皮尔曼一布朗公式可以估计增长或缩短一个皮尔曼一布朗公式可以估计增长或缩短一个皮尔曼一布朗公式可以估计增长或缩短一个皮尔曼一布朗公式可以估计增长或缩短一个测评对其信度系数的影响，用这个公式进行测评对其信度系数的影响，用这个公式进行测评对其信度系数的影响，用这个公式进行测评对其信度系数的影响，用这个公式进行修正的前提条件为：两半测评的方差相等。修正的前提条件为：两半测评的方差相等。修正的前提条件为：两半测评的方差相等。修正的前提条件为：两半测评的方差相等。分半法中的斯皮尔曼一布朗修正公式为：分半法中的斯皮尔曼一布朗修正公式为：分半法中的斯皮尔曼一布朗修正公式为：分半法中的斯皮尔曼一
34、布朗修正公式为：其中，rhh为两半测评的相关系数，rxx为估计或修正后的信度。当两半测评的方差不同时，应采用卢伦公式或弗拉纳根公式进行修正。第18页/共39页 卢伦公式只要求将被试在两半测评的分数卢伦公式只要求将被试在两半测评的分数卢伦公式只要求将被试在两半测评的分数卢伦公式只要求将被试在两半测评的分数之差的方差（之差的方差（之差的方差（之差的方差（S S S Sd d d d2 2 2 2）和测评总分的方差）和测评总分的方差）和测评总分的方差）和测评总分的方差(S(S(S(Sx x x x2 2 2 2)代代代代入如下公式即可直接计算分半信度：入如下公式即可直接计算分半信度：入如下公式即可直
35、接计算分半信度：入如下公式即可直接计算分半信度：其中Sd2为两测评分数之差的方差；Sx2为测评总分的方差。也可以采用弗拉纳根公式直接计算分半信度：Sa2与Sb2为两个分测评分数的方差；Sx2为总分方差。第19页/共39页2 2 2 2）同质性信度）同质性信度）同质性信度）同质性信度 同质性是指所有测评题目测评的只是单一同质性是指所有测评题目测评的只是单一同质性是指所有测评题目测评的只是单一同质性是指所有测评题目测评的只是单一特质或内容，表现为所有测评题目得分的一特质或内容，表现为所有测评题目得分的一特质或内容，表现为所有测评题目得分的一特质或内容，表现为所有测评题目得分的一致性。乐观情绪特质和
36、外向特质、预测和决致性。乐观情绪特质和外向特质、预测和决致性。乐观情绪特质和外向特质、预测和决致性。乐观情绪特质和外向特质、预测和决策、监督与控制等都是不太容易区分的。策、监督与控制等都是不太容易区分的。策、监督与控制等都是不太容易区分的。策、监督与控制等都是不太容易区分的。如果需要在一个测评中测评不同的内容，如果需要在一个测评中测评不同的内容，如果需要在一个测评中测评不同的内容，如果需要在一个测评中测评不同的内容，就应该将测评设计为几个分测评，每个分测就应该将测评设计为几个分测评，每个分测就应该将测评设计为几个分测评，每个分测就应该将测评设计为几个分测评，每个分测评测评一种内容。例如，评测评
37、一种内容。例如，评测评一种内容。例如，评测评一种内容。例如，16PF16PF16PF16PF人格测评就是人格测评就是人格测评就是人格测评就是包含包含包含包含16161616个分量表的测评，每个分量表只对一个分量表的测评，每个分量表只对一个分量表的测评，每个分量表只对一个分量表的测评，每个分量表只对一种人格特质进行测评。种人格特质进行测评。种人格特质进行测评。种人格特质进行测评。常用的同质性信度计算方法是库德常用的同质性信度计算方法是库德常用的同质性信度计算方法是库德常用的同质性信度计算方法是库德理查理查理查理查逊估计方法。计算公式有库德逊估计方法。计算公式有库德逊估计方法。计算公式有库德逊估计
38、方法。计算公式有库德理查逊理查逊理查逊理查逊20202020号号号号公式（简称（公式（简称（公式（简称（公式（简称（KR20KR20KR20KR20）和）和）和）和21212121号公式（号公式（号公式（号公式（KR21KR21KR21KR21）。）。）。）。第20页/共39页下面是下面是KR20KR20公式公式：其中n为测评题目数，为通过 题的人数比例；qi为未通过该题的人数比例；=1;为所有题目答对与答错人数百分比乘积的总和。第21页/共39页四、四、四、四、评分者信度评分者信度评分者信度评分者信度 在有些测评中，评分者的评判也是误差的在有些测评中，评分者的评判也是误差的在有些测评中，评分
39、者的评判也是误差的在有些测评中，评分者的评判也是误差的来源之一。来源之一。来源之一。来源之一。评分者信度是指不同评分者对同样对象进评分者信度是指不同评分者对同样对象进评分者信度是指不同评分者对同样对象进评分者信度是指不同评分者对同样对象进行评定时的一致性。最简单的估计方法就是行评定时的一致性。最简单的估计方法就是行评定时的一致性。最简单的估计方法就是行评定时的一致性。最简单的估计方法就是随机抽取若干份答卷，由两个独立的评分者随机抽取若干份答卷，由两个独立的评分者随机抽取若干份答卷，由两个独立的评分者随机抽取若干份答卷，由两个独立的评分者打分，再求每份答卷两个评判分数的相关系打分，再求每份答卷两
40、个评判分数的相关系打分，再求每份答卷两个评判分数的相关系打分，再求每份答卷两个评判分数的相关系数。这种相关系数的计算可以用积差相关方数。这种相关系数的计算可以用积差相关方数。这种相关系数的计算可以用积差相关方数。这种相关系数的计算可以用积差相关方法。法。法。法。如如如如果果果果评评评评分分分分者者者者在在在在三三三三人人人人以以以以上上上上，而而而而且且且且又又又又采采采采用用用用等等等等级级级级记记记记分分分分时时时时，就就就就需需需需要要要要用用用用肯肯肯肯德德德德尔尔尔尔和和和和谐谐谐谐系系系系数数数数来来来来求求求求评评评评分分分分者信度。其公式为：者信度。其公式为：者信度。其公式为：
41、者信度。其公式为：第22页/共39页 其其中中，K K为为评评分分者者人人数数，N N为为被被评评定定的的人人数数或或答答卷卷数数；RiRi为为评评分分者者给给某某人人（或或某某一一答答卷卷）评分之和。评分之和。为每一个对象被评等级。为每一个对象被评等级。第23页/共39页评分者答卷编号一二三四五六甲431256乙532146丙412356丁641235Ri1911681723例如，有4名评分者，对6份答卷进行评分，所评等级如下：第24页/共39页五、影响信度的因素五、影响信度的因素五、影响信度的因素五、影响信度的因素1 1 1 1样本团体的性质样本团体的性质样本团体的性质样本团体的性质1)1
42、)1)1)样本团体的分数分布样本团体的分数分布样本团体的分数分布样本团体的分数分布 分数分布越广，信度系数就相对越高，分数分数分布越广，信度系数就相对越高，分数分数分布越广，信度系数就相对越高，分数分数分布越广，信度系数就相对越高，分数分布越窄，信度系数就会越低。分布越窄，信度系数就会越低。分布越窄，信度系数就会越低。分布越窄，信度系数就会越低。第25页/共39页2)2)2)2)样本团体的异质性样本团体的异质性样本团体的异质性样本团体的异质性 一般来说，取样团体的异质性越大，信度一般来说，取样团体的异质性越大，信度一般来说，取样团体的异质性越大，信度一般来说，取样团体的异质性越大，信度系数就相
43、对越高。系数就相对越高。系数就相对越高。系数就相对越高。但但但但是是是是在在在在测测测测评评评评中中中中,往往往往往往往往会会会会因因因因为为为为团团团团体体体体过过过过于于于于同同同同质质质质或或或或过过过过于于于于异异异异质质质质而而而而出出出出现现现现信信信信度度度度被被被被低低低低估估估估或或或或高高高高估估估估的的的的情情情情况况况况。这这这这种种种种情情情情况况况况下下下下，可可可可以以以以采采采采用用用用下下下下面面面面的的的的公公公公式式式式对对对对求求求求出出出出的的的的信度进行修正：信度进行修正：信度进行修正：信度进行修正：其中,为估计的信度；为取样的信度；SX为取样团体的
44、标准差；为估计团体（取样的总体）的标准差。第26页/共39页3)3)不同团体间能力水平的差异不同团体间能力水平的差异2.2.测评的长度测评的长度 信度还会受测评长度信度还会受测评长度（即题目的多少）的影响。一（即题目的多少）的影响。一般来说，测评越长，信度值越般来说，测评越长，信度值越高。高。3.3.测评的难度测评的难度 测评的难度也会对信度测评的难度也会对信度产生影响。如果一个测评的难产生影响。如果一个测评的难度太低，出现天花板效应；如度太低，出现天花板效应；如果难度太大，出现地板效应，果难度太大，出现地板效应，第27页/共39页第三节 项目分析l l项目适合度项目适合度项目适合度项目适合度
45、 在素质测评中，项目不仅仅是试题，更多的在素质测评中，项目不仅仅是试题，更多的在素质测评中，项目不仅仅是试题，更多的在素质测评中，项目不仅仅是试题，更多的是一些咨询问题或观察评定点（指标），它是一些咨询问题或观察评定点（指标），它是一些咨询问题或观察评定点（指标），它是一些咨询问题或观察评定点（指标），它们无难易之分，适合度指的是被测者行为符们无难易之分，适合度指的是被测者行为符们无难易之分，适合度指的是被测者行为符们无难易之分，适合度指的是被测者行为符合项目测评标准的程度。合项目测评标准的程度。合项目测评标准的程度。合项目测评标准的程度。当项目为试题时，适合度即难度；当项目为试题时，适合度即
46、难度；当项目为试题时，适合度即难度；当项目为试题时，适合度即难度；当项目是问卷中的问题时，适合度即所有选当项目是问卷中的问题时，适合度即所有选当项目是问卷中的问题时，适合度即所有选当项目是问卷中的问题时，适合度即所有选对的被测者人数与总人数之比；对的被测者人数与总人数之比；对的被测者人数与总人数之比；对的被测者人数与总人数之比；当项目为观察评定量表中的指标时，适合度当项目为观察评定量表中的指标时，适合度当项目为观察评定量表中的指标时，适合度当项目为观察评定量表中的指标时，适合度即所有被测得分平均值与指标满分值之比。即所有被测得分平均值与指标满分值之比。即所有被测得分平均值与指标满分值之比。即所
47、有被测得分平均值与指标满分值之比。第28页/共39页项目区分度项目区分度 又称鉴别力，指项目得分对被又称鉴别力，指项目得分对被试实际能力或心理特质水平的试实际能力或心理特质水平的区分能力或鉴别力，也即项目区分能力或鉴别力，也即项目得分的高低与被试实际能力或得分的高低与被试实际能力或心理特质水平高低的一致性程心理特质水平高低的一致性程度。项目区分度的计算方法主度。项目区分度的计算方法主要有相关分析法（包括积差相要有相关分析法（包括积差相关法、二列相关法和点二列相关法、二列相关法和点二列相关法）、极端组法（鉴别度指关法）、极端组法（鉴别度指数、临界比）和因素分析法数、临界比）和因素分析法第29页/
48、共39页项目独立性项目独立性 在能力测评中，常常需要项目在能力测评中，常常需要项目之间有一定的独立性。所谓独之间有一定的独立性。所谓独立性即非相关性或低相关性。立性即非相关性或低相关性。独立性的分析一般采用项目间独立性的分析一般采用项目间分数的相关系数揭示，根据实分数的相关系数揭示，根据实际得分分布是否均匀，可以分际得分分布是否均匀，可以分别采用别采用rr系数法和列联表系数法和列联表检检验法。验法。第30页/共39页第四节 其他指标的分析客观性客观性 测评的客观性由测评方法的测评的客观性由测评方法的客观性与测评者的客观性两方客观性与测评者的客观性两方面构成面构成总体分布与水平总体分布与水平 总
49、体分布指测评结果在各水总体分布指测评结果在各水平层次上的分布情况，总体水平层次上的分布情况，总体水平一般指对测评结果集中量的平一般指对测评结果集中量的分析。分析。第31页/共39页区分性与差异性区分性与差异性 测评工具的区分性是指把不同测评工具的区分性是指把不同水平的被测者区分开来的程度，水平的被测者区分开来的程度，测评区分性一般通过测评结果测评区分性一般通过测评结果差异性的分析来揭示。差异性的分析来揭示。误差误差 误差是指通过测评结果的定性误差是指通过测评结果的定性定量分析，判断测评结果是否定量分析，判断测评结果是否受到心理效应的严重影响。分受到心理效应的严重影响。分析的主要内容是心理误差、
50、标析的主要内容是心理误差、标准误差以及单个测评结果的致准误差以及单个测评结果的致信区间。信区间。第32页/共39页误差误差误差误差 心理误差心理误差哈罗效应误差哈罗效应误差哈罗效应误差哈罗效应误差哈罗效应又称晕轮效应，是指测评者往往会因为哈罗效应又称晕轮效应，是指测评者往往会因为哈罗效应又称晕轮效应，是指测评者往往会因为哈罗效应又称晕轮效应，是指测评者往往会因为对被测评者整体印象的好坏从而影响他对每个对被测评者整体印象的好坏从而影响他对每个对被测评者整体印象的好坏从而影响他对每个对被测评者整体印象的好坏从而影响他对每个素质的测评。例如因看到一个人相貌端庄、严素质的测评。例如因看到一个人相貌端庄