《信与效学习教程.pptx》由会员分享，可在线阅读，更多相关《信与效学习教程.pptx（47页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、所谓真分数是指被测者在所测特质（如能力、所谓真分数是指被测者在所测特质（如能力、知识、个性等）上的真实值，即知识、个性等）上的真实值，即(True(True Score)Score)真分数。真分数。而我们通过一定测量工具（如测验量表和测而我们通过一定测量工具（如测验量表和测量仪器）进行测量，在测量工具上直接获得量仪器）进行测量，在测量工具上直接获得的值（读数），叫观测值或观察分数。的值（读数），叫观测值或观察分数。经典测验理论经典测验理论真分数理论真分数理论第1页/共47页由于有测量误差存在，所以，观察值并不等于所测由于有测量误差存在，所以，观察值并不等于所测特质的真实质，换句话说，观察分数中
2、包含有真分特质的真实质，换句话说，观察分数中包含有真分数和误差分数。而要获得对真实分数的值，就必须数和误差分数。而要获得对真实分数的值，就必须将测量的误差从观察分数中分离出来。将测量的误差从观察分数中分离出来。所谓真分数就是一个测量工具在测量没有误差时，所谓真分数就是一个测量工具在测量没有误差时，所得到的纯正值。所得到的纯正值。这实际上是个循环定义，因为一个量具若测得真值，这实际上是个循环定义，因为一个量具若测得真值，便没有误差。便没有误差。第2页/共47页真分数的操作定义是，经过无数次测量所得真分数的操作定义是，经过无数次测量所得的平均值。的平均值。可见，真分数是一个在理论上构想出来的概念，
3、可见，真分数是一个在理论上构想出来的概念，在实际测量中是得不到的，因为一个测量工具在实际测量中是得不到的，因为一个测量工具无论多么精确，也会有误差，我们只能通过改无论多么精确，也会有误差，我们只能通过改进量具来接近真值，而不能完全得到它。进量具来接近真值，而不能完全得到它。第3页/共47页把任何一个测验成绩都看做是真分数和测量误把任何一个测验成绩都看做是真分数和测量误差的和，这是经典测量理论的基本思想差的和，这是经典测量理论的基本思想X=T+E X=T+E 这里这里X X为实得分数或观测分数，为实得分数或观测分数，T T是假设的真是假设的真分数，分数，E E是测量误差。是测量误差。第4页/共4
4、7页关于测量误差关于测量误差(E)(E)有以下假设：有以下假设：1)1)如果对一个人测量无数次，其平均误差为如果对一个人测量无数次，其平均误差为0 0，即即 E=0 E=02)2)真分数和测量误差是相互独立的，即真分数和测量误差是相互独立的，即r rTETE=0=03)3)误差分数和实得分数的相关为误差分数和实得分数的相关为0 0，即，即r rEXEX=0=0第5页/共47页在上述三个基本假设的基础上，真分数理论在上述三个基本假设的基础上，真分数理论作出了如下两个重要推论：作出了如下两个重要推论：第一，真分数等于实得分数的平均数第一，真分数等于实得分数的平均数（T=E(X)T=E(X)）；）；
5、第二，在一组测量分数中，实得分数的变异数第二，在一组测量分数中，实得分数的变异数（方差）等于真分数的变异数（方差）与误差（方差）等于真分数的变异数（方差）与误差分数的变异数（方差）之和。即（分数的变异数（方差）之和。即（S S2 2X X=S=S2 2T T+S S2 2E E）。）。第6页/共47页经典测量理论在真分数理论假设的基石上构经典测量理论在真分数理论假设的基石上构建起了它的理论大厦，主要包括信度、效度、建起了它的理论大厦，主要包括信度、效度、项目分析、常模、标准化等基本概念。项目分析、常模、标准化等基本概念。第7页/共47页第一第一第一第一节节 信度信度信度信度第8页/共47页信度
6、的定义信度的定义信度又叫可靠性，指的是测量的一致性程度。信度又叫可靠性，指的是测量的一致性程度。一个好的测量工具必须稳定可靠，即多次测量的一个好的测量工具必须稳定可靠，即多次测量的结果要保持一致，否则便不可信。结果要保持一致，否则便不可信。信度只受随机误差影响。随机误差越大，信度越信度只受随机误差影响。随机误差越大，信度越低。低。因此，信度亦可视为测量结果受机遇影响的程度。因此，信度亦可视为测量结果受机遇影响的程度。系统误差产生恒定效应，不影响信度。系统误差产生恒定效应，不影响信度。第9页/共47页信度可以定义为随机误差信度可以定义为随机误差R R影响测量值的程度。影响测量值的程度。如果如果R
7、=0R=0，就认为测量是完全可信的，信度最，就认为测量是完全可信的，信度最高。高。在测量理论中，信度被定义为：一组测量分在测量理论中，信度被定义为：一组测量分数的真变异数与总变异数数的真变异数与总变异数(实得变异数实得变异数)的比的比率。率。第10页/共47页关于信度定义的说明关于信度定义的说明1)1)信度信度是测量工具所获的结果的可靠性，而非指是测量工具所获的结果的可靠性，而非指工具本身。工具本身。同一个测验会因测量对象的性质和测验时的同一个测验会因测量对象的性质和测验时的情况不同导致结果有很大差异。情况不同导致结果有很大差异。第11页/共47页2)2)每一个信度的估计值，仅指某一特定方面的
8、一每一个信度的估计值，仅指某一特定方面的一致性，而非泛指一般的一致性。致性，而非泛指一般的一致性。测验分数可能在某一方面一致性很高，在其测验分数可能在某一方面一致性很高，在其他方面一致性很不理想。他方面一致性很不理想。第12页/共47页3 3）信度的估计是完全采用统计方法的。）信度的估计是完全采用统计方法的。要估计测验的信度，必须以所编制的测验对要估计测验的信度，必须以所编制的测验对一组较具有代表性的样本实施一次或数次测一组较具有代表性的样本实施一次或数次测验，然后求测验结果的一致性验，然后求测验结果的一致性第13页/共47页信度系数信度系数大部分的信度指标都以相关系数表示，即用大部分的信度指
9、标都以相关系数表示，即用同一被试样本所得的两组资料的相关作为测同一被试样本所得的两组资料的相关作为测量一致性的指标，称作信度系数。量一致性的指标，称作信度系数。对信度系数也要注意三点对信度系数也要注意三点：第14页/共47页第15页/共47页 信度的种类与估计方法第16页/共47页重测信度重测信度又称再测信度、稳定性系数，指的是用同一又称再测信度、稳定性系数，指的是用同一个测验对同一组被试施测两次所得结果的一个测验对同一组被试施测两次所得结果的一致性程度。致性程度。反应两次测验结果有无变动。反应两次测验结果有无变动。大小等于同一组被试在两次测验上所得分数的大小等于同一组被试在两次测验上所得分数
10、的皮尔逊积差相关系数。皮尔逊积差相关系数。第17页/共47页假设假设第18页/共47页复本信度复本信度又称等值性系数。它是以两个等值但题目不又称等值性系数。它是以两个等值但题目不同的测验（复本）来测量同一群体，然后求同的测验（复本）来测量同一群体，然后求得被试者在两个测验上得分的相关系数。得被试者在两个测验上得分的相关系数。第19页/共47页复本信度的缺点复本信度的缺点第20页/共47页内部一致性信度内部一致性信度重测信度和复本信度主要考察了测验跨时间重测信度和复本信度主要考察了测验跨时间的一致性的一致性(稳定性稳定性)和跨形式的一致性和跨形式的一致性(等值性等值性)，而内部一致性信度系数主要
11、反映的是题目，而内部一致性信度系数主要反映的是题目之间的关系，表示测验能够测量相同内容或之间的关系，表示测验能够测量相同内容或特质的程度。特质的程度。第21页/共47页分半信度分半信度反映测验项目内部一致性程度，即表示测验测量反映测验项目内部一致性程度，即表示测验测量相同内容或特质的程度。相同内容或特质的程度。具体分析是在测验后将测验项目分成相等的两组具体分析是在测验后将测验项目分成相等的两组（两半），通常采用奇偶分组方法，即将测验题（两半），通常采用奇偶分组方法，即将测验题目按照序号的奇数和偶数分成两半，然后计算两目按照序号的奇数和偶数分成两半，然后计算两项项目分之间的相关。相关越高表示信度
12、高，或项项目分之间的相关。相关越高表示信度高，或内部一致性程度高。内部一致性程度高。第22页/共47页分半信度实际上反映的只是两半测验项目分半信度实际上反映的只是两半测验项目之间的相关系数，由于在其他条件相同的情之间的相关系数，由于在其他条件相同的情况下，测验越长，信度越高，因而分半法经况下，测验越长，信度越高，因而分半法经常会低估信度，必须通过一些公式去加以修常会低估信度，必须通过一些公式去加以修正，借以估计整个测验的信度。正，借以估计整个测验的信度。第23页/共47页同质性信度同质性信度 同质性主要代表测验内部所有题目间的一致同质性主要代表测验内部所有题目间的一致性。性。当各个测题的得分有
13、较高的正相关时，不论当各个测题的得分有较高的正相关时，不论题目的内容和形式如何，其测验为同质的。题目的内容和形式如何，其测验为同质的。相反，即使所有题目看起来好像测量同一特相反，即使所有题目看起来好像测量同一特质，但相关很低或为负相关时，其测验为异质，但相关很低或为负相关时，其测验为异质的。质的。第24页/共47页此外，对于一些复杂的、异质的心理学变量，此外，对于一些复杂的、异质的心理学变量，采用单一的同质性测验是不行的，因而常常采用单一的同质性测验是不行的，因而常常采用若干个相对异质的分测验，并使每个分采用若干个相对异质的分测验，并使每个分测验内部具有同质性，这样每个分测验就能测验内部具有同
14、质性，这样每个分测验就能用来预测异质效标的某一方面。用来预测异质效标的某一方面。第25页/共47页评分者信度评分者信度评分者信度用于测量不同评分者之间所产生评分者信度用于测量不同评分者之间所产生的误差。为了衡量评分者之间的信度高低，的误差。为了衡量评分者之间的信度高低，可随机抽取若干份测验卷，由两位评分者按可随机抽取若干份测验卷，由两位评分者按评分标准分别给分，然后再根据每份测验卷评分标准分别给分，然后再根据每份测验卷的两个分数计算相关，即得评分者信度。的两个分数计算相关，即得评分者信度。第26页/共47页一般要求在成对的受过训练的评分者之间平一般要求在成对的受过训练的评分者之间平均一致性达均
15、一致性达0 09090以上，才认为评分是客观的。以上，才认为评分是客观的。当多个评分者评定多个对象，并以等级法记当多个评分者评定多个对象，并以等级法记分时，可采用特定公式去估计评分者信度。分时，可采用特定公式去估计评分者信度。第27页/共47页估计信度的方法远不止上面介绍的几种，实际上估计信度的方法远不止上面介绍的几种，实际上有多少误差的来源，便有多少估计信度的方法。有多少误差的来源，便有多少估计信度的方法。所以，在考察测验的信度时，应根据情况采用不所以，在考察测验的信度时，应根据情况采用不同的信度指标，原则上一个测验哪种误差大，便同的信度指标，原则上一个测验哪种误差大，便应该用哪种误差估计。
16、应该用哪种误差估计。有时一个测验需要有几种信度系数，这样我们就有时一个测验需要有几种信度系数，这样我们就能把总分数的变异数分成不同的分支加以考察。能把总分数的变异数分成不同的分支加以考察。第28页/共47页影响信度的因素影响信度的因素第29页/共47页信度多高是好的？信度多高是好的？一般情况下，标准化或学绩测验信度应在以上一般情况下，标准化或学绩测验信度应在以上人格测验的信度应该以上人格测验的信度应该以上教师自编学绩测验能达到以上，就可以被认为教师自编学绩测验能达到以上，就可以被认为是较高信度了是较高信度了低于的信度估计一般被认为不可接受。低于的信度估计一般被认为不可接受。第30页/共47页第
17、二第二第二第二节节 效效效效 度度度度第31页/共47页效度要解决的问题效度要解决的问题第32页/共47页效度的定义效度的定义效度是指一个测验或量表实际所能测出其所效度是指一个测验或量表实际所能测出其所要测的心理特质的程度。要测的心理特质的程度。一个测验的效度必须被反复验证，不断搜集、一个测验的效度必须被反复验证，不断搜集、积累、整合效度资料。积累、整合效度资料。第33页/共47页效度的种类效度的种类内容效度内容效度指测验题目对有关内容或行为范围指测验题目对有关内容或行为范围取样的适当性。取样的适当性。例如，在成就测验中，测验题目是根据教学大例如，在成就测验中，测验题目是根据教学大纲和教材内容
18、适当抽出的，内容效度就是判断纲和教材内容适当抽出的，内容效度就是判断测验题目（内容）是否符合它欲测的目标。测验题目（内容）是否符合它欲测的目标。第34页/共47页确定内容效度的方法主要有两种：确定内容效度的方法主要有两种：专家判断专家判断即由有关专家对测验题目与原定内容范围的符合性作即由有关专家对测验题目与原定内容范围的符合性作出判断；出判断；统计分析统计分析克伦巴赫法：复本信度克伦巴赫法：复本信度再测法：测验成绩的变化再测法：测验成绩的变化内容效度比：统计分析专家评定的一致性内容效度比：统计分析专家评定的一致性第35页/共47页构念效度，也称结构效度，指测验分数能够构念效度，也称结构效度，指
19、测验分数能够说明心理学理论上的某种结构或特质的程度。说明心理学理论上的某种结构或特质的程度。在心理学上，所谓构念（在心理学上，所谓构念（constructconstruct）是指心理）是指心理学理论所涉及的抽象而属假设性的概念、特质学理论所涉及的抽象而属假设性的概念、特质或变量或变量,如智力、焦虑、机械能力倾向、成就动如智力、焦虑、机械能力倾向、成就动机等机等,通常采用某种操作性定义并用测验来测量。通常采用某种操作性定义并用测验来测量。第36页/共47页确定构念效度的逻辑和方法确定构念效度的逻辑和方法第37页/共47页构念效度的心理测量学证据构念效度的心理测量学证据内部一致性，内部一致性，测验
20、的同质性指标说明项目在测测验的同质性指标说明项目在测量同一特质上是一致的量同一特质上是一致的与其他测验的相关与其他测验的相关，新测验与类似的旧测验，新测验与类似的旧测验（公认的权威）之间的相关（公认的权威）之间的相关发展变化发展变化，年龄效应、教育与训练效应，年龄效应、教育与训练效应因素分析因素分析，EFAEFA和和CFACFA第38页/共47页效标关联效度指测验分数与效度标准的一致程度。效标关联效度指测验分数与效度标准的一致程度。效度标准简称效标，是足以反映测验所欲测量或预效度标准简称效标，是足以反映测验所欲测量或预测的特质的独立量数，并作为估计效度的参照标准。测的特质的独立量数，并作为估计
21、效度的参照标准。之所以要以效标为参照，是因为心理特质无法直接之所以要以效标为参照，是因为心理特质无法直接测量，只能以某种能代表所要测量特质的外在表现测量，只能以某种能代表所要测量特质的外在表现作为替代。作为替代。飞行员的工作表现、工人的工作绩效飞行员的工作表现、工人的工作绩效 第39页/共47页测验分数与效标的一致程度以二者的相关系测验分数与效标的一致程度以二者的相关系数表示，这种相关系数称为效度系数。数表示，这种相关系数称为效度系数。效度系数越大效度系数越大,测验的效度越高。由于用相关系测验的效度越高。由于用相关系数这种统计数值表示，这种效度又称统计效度。数这种统计数值表示，这种效度又称统计
22、效度。第40页/共47页从操作上来讲，效标可以是多种事物，没有规定从操作上来讲，效标可以是多种事物，没有规定说一个效标应该由什么构成。说一个效标应该由什么构成。测验分数、一个具体的行为、精神病学的诊断、培测验分数、一个具体的行为、精神病学的诊断、培训的费用、缺勤率等训的费用、缺勤率等效标的选取要满足几个条件效标的选取要满足几个条件相关性相关性有效性有效性无污染无污染第41页/共47页效标关联效度可分同时效度和预测效度。效标关联效度可分同时效度和预测效度。同时效度同时效度指测验分数与当前的效标之间的相关程度，指测验分数与当前的效标之间的相关程度，通常与心理特性的评估和诊断有关，常用的效标资通常与
23、心理特性的评估和诊断有关，常用的效标资料包括在校学业成绩、教师评定的等级、临床检查、料包括在校学业成绩、教师评定的等级、临床检查、其他同性质测验的结果等；其他同性质测验的结果等；预测效度预测效度指测验分数与将来的效标之间的相关程度指测验分数与将来的效标之间的相关程度,它对人员的甄选、分类与安置工作等甚为重要它对人员的甄选、分类与安置工作等甚为重要,常用常用的效标资料包括专业训练的成绩和实际工作的成果的效标资料包括专业训练的成绩和实际工作的成果等。等。运用追踪法对行为表现作长期观察、考核和记录，以累运用追踪法对行为表现作长期观察、考核和记录，以累积所得的事实资料衡量测验结果对将来成就的预测性。积
24、所得的事实资料衡量测验结果对将来成就的预测性。第42页/共47页三种效度策略的使用三种效度策略的使用对一个具体的测验来讲，并不总是需要收集所有对一个具体的测验来讲，并不总是需要收集所有效度形式的证据。收集效度证据的恰当策略取决效度形式的证据。收集效度证据的恰当策略取决于测验的目的。于测验的目的。内容效度最适合测量具体属性的测验，比如成就测内容效度最适合测量具体属性的测验，比如成就测验验构念效度最适合测量抽象概念的测验，如自我效能构念效度最适合测量抽象概念的测验，如自我效能感、心理资本等感、心理资本等效标关联效度最适合用来预测结果的测验，如各种效标关联效度最适合用来预测结果的测验，如各种人事选拔测验人事选拔测验第43页/共47页影响效度的因素影响效度的因素测验本身测验本身长度长度信度信度效标效标效标的选择效标的选择效标的信度效标的信度效标与测验之间的相关类型效标与测验之间的相关类型样本的代表性样本的代表性第44页/共47页找到一篇教育或心理测验编制的论文介绍并评价其编制程序及各项指标也可以使用该测验的题目收集部分数据，进一步进行分析评述该测验字数3000字左右2023/4/1445作作业要求：要求：第45页/共47页谢谢大家！下周再见！第46页/共47页感谢您的观看！第47页/共47页