期刊名称：Journal of Measurement and Evaluation in Education and Psychology
电子版ISSN：1309-6575
出版年度：2018
卷号：9
期号：2
页码：202-215
DOI：10.21031/epod.388590
语种：English
出版社：EPODDER
摘要：In this study,interrater reliability was compared based on both classical test theory and generalizability theory according to the scores which were obtained from five raters’ ratings with Autism Social Skills Profile.Levels of reliability coefficients obtained from classical test theory and different designs in generalizability theory formed by five raters’ jointly and alternatively ratings were determined and which theory presented more information was tried to be specified.In the classical test theory,Cronbach-Alpha (α) coefficient for internal consistency,Kendall’s coefficient of concordance for inter-rater reliability and correlation coefficients of five raters’ scores were calculated and it was investigated whether there was a difference among the means of raters’ scores with F test.In the generalizability theory,two different designs were formed according to raters’ jointly and alternatively ratings.Several G and D studies were made for crossed design pxixr (p: person,i: item and r: rater) which people were scored by all raters through all items and nested design (r:p)xi which people were scored by different raters through all items and the results were compared to each other.
其他摘要：Bu araştırmada,“Otizm Sosyal Beceriler Profili” (OSBP) ölçeğinin beş puanlayıcı tarafından puanlanması ile elde edilen puanların klasik test kuramı ve genellenebilirlik (G) kuramı ile puanlayıcılar arası güvenirliğinin karşılaştırılması amaçlanmıştır.G kuramında puanlayıcıların birlikte ve dönüşümlü puanlama yapmasıyla oluşturulan farklı desenlerden ve klasik test kuramından elde edilen güvenirlik katsayılarının düzeyleri saptanmış ve hangi kuramın daha fazla bilgi sunduğu belirlenmeye çalışılmıştır.Araştırmada elde edilen veriler klasik test kuramında her bir puanlayıcı için puanların iç tutarlılık güvenirliği Cronbach-alfa (α) katsayısı;puanlayıcılar arası güvenirlik,Kendall’ın uyuşum katsayısı,puanlayıcılar arası korelasyon katsayısı ve puanlayıcıların verdikleri puanlar arasında fark olup olmadığı ise ilişkili örneklemlerde varyans analizi ile hesaplanmıştır.Genellenebilirlik teorisinde,değerlendiricilerin ortaklaşa ve alternatif derecelendirmelerine göre iki farklı tasarım oluşturulmuştur.G kuramı kapsamında bireylerin (b) aynı maddeler (m) doğrultusunda puanlayıcıların (p) her biri tarafından puanlandığı bxmxp çapraz deseni ve bireylerin tüm maddeler doğrultusunda farklı puanlayıcılar tarafından puanlandığı (p:b)xm yuvalanmış deseni için ayrı ayrı G ve K çalışmaları yapılmış ve sonuçlar birbirleriyle karşılaştırılmıştır.
关键词：classical test theory;generalizability theory;interrater reliability;Kendall’s concordance coefficient
其他关键词：genellenebilirlik kuramı;puanlayıcılar arası güvenirlik;Kendall’ın uyuşum katsayısı;Klasik test kuramı;sosyal becerilerin değerlendirilmesi
