之前两期(9.28和10.22)我们分别介绍了量表信度和效度的概念、分类、特征及二者的关系,相信大家对于信、效度有了一定的了解。其中内容效度是测量工具质量的重要体现,也是护理界评价量表测量工具最常使用的方法。内容效度是指测量工具中的各条目能恰当的反映所要测量概念的程度。通常采用专家评定的方法来判断内容效度。但究竟如何进行量表测量工具的专家内容效度的评价呢?今天我们一起学习一下吧。
1专家的选择进行量表内容效度评价的专家,必须对评价内容非常了解,具备该理论研究领域的丰富经验,可以来自临床、教学和管理或理论研究领域。
需要多少名专家才够呢?Davis认为,专家总数不能少于3人,最好5人以上。专家人数超过10人则意义不大。
2内容效度评价过程评价过程必须按照标准流程严格执行。
1专家所需要的资料
包括介绍信、研究介绍以及内容评价表:
介绍信应说明为什么会被选为专家,设计测量工具的目的与意义,需要专家做些什么。
研究介绍应说明研究的主要内容,包括研究概念的定义,研究概念应包含的维度,研究假设以及测量目的。从而让专家了解必要的理论背景以做出全面的评价。
内容评价表应包括评价表的填写说明和各条目评价表,条目评价表常采用四分制的相关性评定。专家组成员根据每个条目及研究概念的相关性,分别评分:1代表“无相关”,2代表“弱相关”,3代表“较强相关”,4代表“强相关”。
2评价的内容(评价内容效度)
该工具是否包含了恰当的条目和维度来反映概念,包括维度是否全面、准确。
条目的内容是否与研究概念相符,条目的形式是否合适,语言是否清晰等,以及所有条目是否完整、全面地反映研究概念的内涵。
如果专家认为某条目与测量概念不符或不能反映测量概念的内容,还应该就此给出修改意见。
除了对各条目进行评价之外,还应该对整个工具的全面性进行评价,对是否应该增加条目或删除条目提出意见和建议。必要时工具设计者还应与专家进行直接交流,探讨有关的问题。
3内容效度的计算1评定者间一致性(Interateragreement)
专家评分一致的条目数(都评为1或2的条目加上都评为3或4的条目)除以条目总数。评定者间一致性不应低于0.70。
2内容效度指数(Contentvalidityindex,CVI)
内容效度指数是最常用的方法,包括条目水平的CVI(item-levelCVI,I-CVI)和量表水平的CVI(scale-levelCVI,S-CVI)。
I-CVI专家组成员根据每个条目与研究概念的关联性分别进行评分,评分为3或4的专家数除以专家总数即为I-CVI。因受机会一致率的影响,当专家数目少于或等于5人时,必须所有专家意见都一致,才能保证内容效度,即I-CVI必须是1.00。当专家人数增加时,此标准可以减低,一般认为I-CVI必须达到0.78以上。根据每个条目的I-CVI就可以决定保留、修改还是舍弃该条目。
S-CVI包括整体一致率(S-CVI/UA,Universalagreement)和均值S-CVI(S-CVI/Ave,average)
S-CVI/UA:所有专家评为3或4的条目比例,即被所有专家都评为3或4的条目数除以条目总数。S-CVI/UA至少应达到0.80。这种算法计算出的CVI是全体专家意见一致的情况,在这种定义下,专家数目越多,S-CVI/UA越低,同样由于机会导致的不一致的评定结果的机率会增加。因此有人提出了S-CVI/Ave。
S-CVI/Ave:即评定为3或4的条目比例的平均值。可以有三种计算方法:a)每个专家评定为3或4的条目比例的平均值;b)所有I-CVI的平均值;c)所有被评为3或4的条目数除以评定次数。这三种方法计算出的结果是一致的,由于第二种针对条目情况而不是专家情况,所以建议使用第二种方法。S-CVI/Ave应达到0.90以上。
?专家内容效度评价表举例
专家内容效度评价表
尊敬的老师:
您好!我是***,我正在做***研究。非常感谢您百忙中抽出时间对本问卷进行内容效度的评价。
研究介绍:包括研究目的和研究概念的介绍
问卷的说明:包括几个条目,几个维度,分别是什么
评价问卷的填写说明:评分中“4”代表强相关,“3”代表较强相关,“2”代表弱相关,“1”代表不相关。请您在相应的空格内画“√”,并填写具体的修改意见。
条目
评分
修改意见
1
2
3
4
除此之外,您认为还应有哪些项目________。
?CVI计算举例
条目
专家评分
修改意见
A
B
C
D
E
条目1
4
4
3
4
2
条目2
3
4
4
2
3
条目3
2
4
4
4
4
条目4
4
3
4
4
3
条目5
4
4
3
4
2
条目6
3
2
2
3
3
注:评分中“4”代表强相关,“3”代表较强相关,“2”代表弱相关,“1”代表不相关
条目1:I-CVI=评分为3或4的专家数/专家总数=4/5=0.8;
条目2:I-CVI=评分为3或4的专家数/专家总数=4/5=0.8;
条目3:I-CVI=评分为3或4的专家数/专家总数=4/5=0.8;
条目4:I-CVI=评分为3或4的专家数/专家总数=5/5=1.0;
条目5:I-CVI=评分为3或4的专家数/专家总数=4/5=0.8;
条目6:I-CVI=评分为3或4的专家数/专家总数=3/5=0.6。
S-CVI等于:
?所有I-CVI的平均值=
(0.8+0.8+0.8+1.0+0.8+0.6)/6=0.8;
?或等于每个专家评定为3或4的条目比例的平均值=
(5/6+5/6+5/6+5/6+4/6)/5=0.8;
?或等于所有被评为3或4的条目数除以评定次数=
24/30=0.8。
因为此问卷的S-CVI=0.8,所以其内容效度还比较好。
通过以上对专家内容效度的介绍以及举例,大家是否已经明白如何设计专家内容效度评价表及如何计算I-CVI和S-CVI值了呢?
感谢您的阅读,欢迎您提出宝贵的意见或建议,我们共同学习。
参考文献:
[1]刘可.如何进行内容效度检验[J].护士进修杂志,,25(1):37-39.
[2]李峥,刘宇.护理研究方法[M].北京:人民卫生出版社,.71-73.
[3]史静琤,莫显昆,孙振球.量表编制中内容效度指数的应用[J].中南大学学报,,37(2):-.
[4]Davis,LL.Instrumentreview:Gettingthemostfromyourpanelofexperts[J].
AppliedNursingResearch,,5(4):–.
文/周萌
北京协和医学院护理学院13级研究生
指导教师/梁涛教授
.11.15
编辑/王瑞
点击协和慧眼之雾里看花白癜风哪看的好北京治疗白癜风能根治