1. 效度的评估方法
(content-related validity)
一什么是内容效度
内容效度指的是测验题目对有关内容或行为取样的适用性,从而确定测验是否是所欲测量的行为领域的代表性取样。
二内容效度的评估方法
1.专家判断法; 2.统计分析法(评分者信度复本信度折半信度再测法); 3.经验推测法 (实验检验)
三内容效度的特性
内容效度经常与表面效度(face validity)混淆。表面效度是由外行对测验作表面上的检查确定的,它不反映测验实际测量的东西,只是指测验表面上看来好像是测量所要测的东西;内容效度是由够资格的判断者(专家)详尽地、系统地对测验作评价而建立的。 (construct-related validity)
一什么是构想效度
指测验能够测量到理论上的构想或特质的程度,即测验的结果是否能证实或解释某一理论的假设、术语或构想,解释的程度如何。
二构想效度的估计方法
1.对测验本身的分析(用内容效度来验证构想效度)
2.测验间的相互比较:相容效度(与已成熟的相同测验间的比较)、区分效度(与近似或应区分测验间的比较)、因素分析法
3.效标效度的研究证明
4.实验法和观察法证实 (criterion-related validity)
效标,即衡量测验有效性的参照标准,指的是可以直接而且独立测量的我们感兴趣的行为。我们感兴趣的行为,就是要预测的行为,这是一个总的观念,故必须以可操作的测量来确定才有实际意义。因此有必要把效标细分为两个层次,其一是理论水平的“观念效标”,其二是操作定义水平的“效标测量”。
效标效度又称实证效度,反映的是测验预测个体在某种情境下行为表现的有效性程度。
根据效标资料是否与测验分数同时获得,又可分为同时效度(实际士气高和士气低的人在士气测验中的得分一致性。)和预测效度两类。
常用的效标包括
1、学业成就:如在校成绩、学历、有关的奖励和荣誉、教师对学生智力的评定等,常作为智力测验的效标,也可作为某些多重能力倾向测验和人格测验的效标;
2、实际工作表现:是最满意的效标测量,为一般智力测验、人格测验和一些能力倾向测验的效标;
3、特殊训练成绩;
4、精神病诊断;
5、等级评定:是观察者根据测验欲测量的心理特质在被试身上的表现而作出的一种个人判断;
6、效标团体的比较:即找出两个在效标表现上有差别的团体,比较他们在测验分数上的差别;
7、先前有效的测验:一个新测验与先前有效的测验的相关也经常作为效度检验的证据。
一个好的效标必须具备以下条件:
①效标必须能最有效地反映测验的目标,即效标测量本身必须有效;
②效标必须具有较高的信度,稳定可靠,不随时间等因素而变化;
③效标可以客观地加以测量,可用数据或等级来表示;
④效标测量的方法简单,省时省力,经济实用。
效标效度的评估方法
1.相关法:效度系数是最常用的效度指标,尤其是效标效度。它是以皮尔逊积差相关系数来表示的,主要反映测验分数与效标测量的相关。当测验成绩是连续变量,而效标资料是二分变量时,计算效度系数可用点二列相关公式或二列相关公式;当测验分数为连续变量,效标资料为等级评定时,可用贾斯朋多系列相关公式计算。
2.区分法:是检验测验分数能否有效地区分由效标所定义的团体的一种方法。算出t值后,便可知道分数的差异是否显着。若差异显着,说明该测验能够有效地区分由效标定义的团体,否则,测验是无效的。重叠百分比可以通过计算每一组内得分超过(或低于)另一组平均数的人数百分比得出;另外,还可以计算两组分布的共同区的百分比。重叠量越大,说明两组分数差异越小,即测验的效度越差。
3.命中率法:是当测验用来做取舍的依据时,用其正确决定的比例作为效度指标的一种方法。命中率的计算有两种方法,一是计算总命中率,另一种是计算正命中率。
4、预期表法:是一种双向表格,预测分数排在表的左边,效标排在表的顶端。从左下至右上对角线上各百分数字越大,而其它的百分数字越小,表示测验的效标效度越高 ;反之,数字越分散,则效度越低。