CVI专家意见一致性，有学者提出用Kappa值。请问如何用SPSS实现10个人的Kappa?专家的评价是4级
一个量表，有30个条目，要求10名专家分别对每个条目与主题的相关性评价：1=不相关；2=需要修改，否则无法判断是否相关；3=相关，但需要对条目进行小的修改；4=很相关，且表述精练。计算了CVI，总的S-CVI/Ave为0.979.另有学者提出用Multirater kappa coefficient of agreement来评价专家一致性，请问，如何用spss实现？（这里有10位专家）
第二个问题，对于一个用来评价某项操作的评价工具，是二分类的，如果被评价者有进行这项操作，则记为“是”，若遗漏这项操作，则记为“否”，对于这样的一个工具，如何来测其信效度？如果我请两个经过培训的评分者来对30个操作者进行评价，然后来比较这两个评价者之间的相关性，用sperman等级相关，这个相关系数即为inter-rater reliability，这个值可以作为这个工具的信度吗？
感谢大侠指导！
或者有没有信效度测试相关的教材推荐？第一个问题我已经解决了，如图，用Excel实现的
I-CVI应大于0.78， S-CVI/Ave应大于0.9。
我倒是听说过有用Kappa值评价重测信度的，可通过Analyze→ Descriptives statistics→ Crosstabs→ Statistics中选Kappa，进行计算。
第二个问题，你用的就是评定者间信度了，当然可以。
概念：不同评定者使用相同工具测评相同对象，计算所得结果的相关系数。
特点：研究工具包括两部分：量表和评定者；相关系数在0～1之间，越接近1，信度越高；一般要求至少大于0.6。
计算方法（详见“评估者之间信度分析：从理论到实践”）
两位评定者；定距/定比数据；正态分布
Pearson相关系数（r值）
两位评定者；定距/定比数据；非正态分布
Spearman相关系数
两位评定者；定序数据
Spearman相关系数
三人及以上；定距/定比数据；正态分布
参数检验：ICC
三人及以上；其他类型数据
Friedman双向秩次方差分析
Kendall和谐系数
信效度检验相关文献及教材推荐：
吴明隆.SPSS统计应用实务[M].北京:科学出版社,2003:63-109.
鲍贵.评估者之间信度分析：从理论到实践[J].外语电化教学,2010,(132):21-25.
Cohen RJ, Swerdick M, Smith DK. Psychological Testing and Assessment: an Introduction to Test and Measurement[M].California: Mayfield Pub,1992:161-168.
徐志晶,夏海鸥.德尔菲法在护理研究中的应用现状[J].护理学杂志, 2008,23(6):78-80.
刘可.如何进行内容效度的检验[J].护士进修杂志,2010,25(1):37-39.
史静琤,莫显昆,孙振球.量表编制中内容效度指数的应用[J].中南大学学报,2012,37(2):152-155.
张力为,符明秋.借用外国自陈量表的文化陷阱[J].心理科学,2000,23(6): 729-731.
蒋艳,沈宁,邹树芳.护理研究中量表研制及测量学特征的评定方法[J].中华护理教育,2005,2(4):174-175.
张敏强.教育测量学[M].北京:人民卫生出版社,1998:104-110.
孙振球.医学统计学[M].第2版.北京:人民卫生出版社,2007: 532-536.
罗德 M,诺维克 R.心理测验分数的统计理论[M].福州:福建教育出版社,1992:225.
赵光红.护理研究[M].北京:人民卫生出版社,2003:71-84.
方积乾.医学统计学与电脑实验[M].第2版.上海:上海出版社,2001,239-250.
戴海琦,张锋,陈雪枫.心理教育测量[M].广州:暨南大学出版社,2003: 56-68.追问
你这个只能用于评价两个专家，用cross-table。后来提出了新的方法，modified kappa coefficient of agreement beyond chance，排除了因概率造成的专家意见一致性
如果用相关来评价两个专家的一致性，会出现一个问题，举例，一个人打1，1，2，5，9，另一个人打3，3，4，7，11用相关做出来的相关系数是1，原因是，这两个专家打分在顺序上正好是一致的
嗯哦，是的。。。没用过这个，一般论文似乎就是用CVI或者CVR了。
追问CVI一般用于制定量表的时候，专家对条目的一致意见，同时modified kappa比CVI更能说明问题，避免了概率性。就是指专家打相关或不相关各有50%的可能性，如果某个专家随意打分，用kappa会比较好。
追答恩啊，也学习了
追问其实对于这样的问题，多翻翻书，找找资料，大多是可以解决的。有时候也会比较纠结。。。
追答所以有句话说：一些人使用统计就像喝醉酒的人使用街灯柱——支撑的功能多于照明。