期刊名称：Journal of Measurement and Evaluation in Education and Psychology
电子版ISSN：1309-6575
出版年度：2017
卷号：8
期号：1
页码：63-78
DOI：10.21031/epod.294847
语种：English
出版社：EPODDER
摘要：The aim of this study is to analyse the effects of the number of raters and the types of rubric on the results obtained by the techniques used to estimate the interrater reliability.The research group consists of 50 students and 10 teachers who rated.As a descriptive study,in this paper the Kappa statistical technique,the log linear analysis technique,and the Krippendorff alpha technique were used to determine the rater reliability.In order to investigate the effects of the number of raters on the interrater reliability,the level of agreement between 2,5,and 10 raters was calculated by using those three techniques.The findings obtained from the three techniques demonstrated that the use of analytic rubric provided much more reliable ratings than holistic rubric.Moreover,it was also found based on the analysis results obtained through all three techniques that maximum reliability values were obtained by using two raters,reliability values decreased with the increase in the number of raters.On examining the categories constituting analytic rubric,it was found that there was variability in the levels of raters’ agreement on the basis of objectivity.It was observed from the results that Kappa statistics and Krippendorff Alpha techniques yielded similar results.Moreover,Krippendorff alpha technique was found to be affected less by the number of raters.Log linear analysis technique,on the other hand,provided more comprehensive and extensive knowledge through showing the source of disagreement and interaction among the variants.As a result,it is thought that analyzing the scores obtained by using the analytic rubric which is composed of sub-categories using log-linear analysis technique would be more appropriate when the purpose is to obtain more detailed measurement results whereas analyzing the scores obtained through holistic rubric by using the Krippendorff technique would be more appropriate when the purpose is to obtain more general results.
其他摘要：Bu araştırmada dereceli puanlama anahtarı türü ve puanlayıcı sayısı değişiminin,puanlayıcı güvenirliğini belirlemede kullanılan tekniklerden elde edilen sonuçlar üzerindeki etkisi incelenmiştir.Araştırmanın çalışma grubu,50 öğrenci ve puanlama yapan 10 öğretmenden oluşmaktadır.Betimsel nitelik taşıyan araştırmada puanlayıcı güvenirliğini belirlemede Kappa istatistik tekniği,log linear analiz tekniği ve Krippendorff alfa tekniği kullanılmıştır.Puanlayıcı sayısı değişiminin puanlayıcı güvenirliğine etkisini incelemek adına belirtilen üç teknik kullanılarak iki,beş ve on puanlayıcı arasındaki uyum düzeyleri hesaplanmıştır.Araştırmada üç teknikten elde edilen analiz sonuçlarında,analitik puanlama anahtarı kullanımıyla elde edilen puanlarda,puanlayıcı sayısı artışının güvenirlik düzeyini düşürdüğü tespit edilmiştir.Üç teknikle yapılan analizlerde,en yüksek güvenirlik değerleri iki puanlayıcı kullanıldığında elde edilmiş,puanlayıcı sayısı artırıldıkça güvenirliğin düştüğü saptanmıştır.Analitik puanlama anahtarını oluşturan kategoriler incelendiğinde kategoriler arasında objektiflik düzeyine dayalı olarak,puanlayıcıların uyum düzeylerinde değişkenlik olduğu saptanmıştır.Araştırmanın sonucunda,kullanılan tekniklerden Kappa tekniği ve Krippendorff alfa tekniğinin paralel sonuçlar verdiği görülmüştür.Bununla birlikte Krippendorff alfa tekniğinin puanlayıcı sayısı değişiminden Kappa tekniğine göre daha az etkilendiği belirlenmiştir.Log-linear analiz tekniğinin ise değişkenler arasındaki etkileşimleri ve uyumsuzluk kaynağını gösteren daha kapsamlı ve geniş bilgi sağladığı tespit edilmiştir.Sonuç olarak,daha detaylı ölçme sonuçları elde edilmek istendiğinde alt kategorilerden oluşan analitik puanlama anahtarı kullanılarak toplanan puanların,kategorik veri analizi için uygun olan log-linear analiz tekniğinin;daha genel ölçme sonuçlarına ulaşılmak istendiğinde ise bütünsel puanlama anahtarı ile elde edilen puanların Krippendorff alfa tekniğinin kullanılmasının uygun olduğu düşünülmektedir.
关键词：Kappa statistic;log linear analysis technique;Krippendorff alpha
