期刊名称：Journal of Educational Evaluation for Health Professions
电子版ISSN：1975-5937
出版年度：2004
卷号：1
期号：1
页码：61-67
DOI：10.3352/jeehp.2004.1.1.67
语种：English
出版社：Korea Health Insurance Licensing Examination Institute
摘要：The results of the 64th and 65th Korean Medical Licensing Examination were analyzed according to the classical test theory and item response theory in order to know the possibility of applying item response theory to item analys and to suggest its applicability to computerized adaptive test.The correlation coefficiency of difficulty index,discriminating index and ability parameter between two kinds of analysis were got using computer programs such as Analyst 4.0,Bilog and Xcalibre.Correlation coefficiencies of difficulty index were equal to or more than 0.75;those of discriminating index were between - 0.023 and 0.753;those of ability parameter were equal to or more than 0.90.Those results suggested that the item analysis according to item response theory showed the comparable results with that according to classical test theory except discriminating index.Since the ability parameter is most widely used in the criteria-reference test,the high correlation between ability parameter and total score can provide the validity of computerized adaptive test utilizing item response theory.
其他摘要：한국보건의료인국가시험원(이하 국시원)에서는 모든 국가시험을 치른 뒤,반드시 문항분석을 비롯한 여러 자 료를 결과로부터 추출하여 문항 개발에 되먹이기로 활 용하기 위하여 고전검사이론(classical test theory)에 따른 난이도,양극단반분법 분별도 등을 계산하여 문항 특성을 파악하는 작업을 하고 있다.학생은 시험 문항 의 내용이나 유형에 따라 공부한다는 현실에 비추어 시 험의 문항이 의대 교육에서 매우 큰 영향을 미친다.그 중에서도 국시원에서 출제하는 문항은 우리나라 의학교 육의 방향을 좌우한다고 하여도 지나친 말이 아니다.문항분석은 시험을 치르고 난 뒤,과연 그 시험 문항이 수험생의 능력을 측정하기에 적절하였는지 돌이켜 보는데 목적이 있다.고전검사이론에 따른 문항분석은 이해 도 쉽고 분석방법도 현장에 적용하기 쉬우며,이미 대부 분의 평가를 이 방법으로 하여 매우 익숙한 내용이다.문항을 맞춘 총점으로 수험생 능력을 추정한다.그러나,고전검사이론에서는 문항의 난이도,분별도가 집단의 특성에 따라 달라지며,수험생의 능력을 시험의 특성에 따라 다르게 추정한다는 단점이 있다.이러한 문제를 극복하기 위하여 나온 문항반응이론(item response theory)에 따른 문항분석을 시도하면,각 문항은 문항 의 고유한 특성이 있어 수험생 집단의 수준에 따라 문항 의 난이도 및 분별도가 달라지지 않고,수험생 능력을 추정할 때 시험의 난이도에 관계없이 수험생의 능력을 추정할 수 있다[1,2].이런 방법은 실제 상황을 더 잘 반 영시켜 줄 수 있고 수험생의 능력의 서열을 더 잘 매길 수 있으나,과거에는 계산방법이 복잡하여 셈틀 풀그림 (computer program)을 활용하여야만 하기에 흔히 쓰 기에는 어려웠다.최근에는 셈틀(computer)을 문항분 석에 쉽게 사용할 수 있고 적절한 풀그림(program)도 등장하여 이 문항반응이론에 따른 분석이 쉬어졌다.그 러므로,문항반응이론에 따라 새롭게 문항 분석하여 난 이도,분별도 값을 구하여,결과를 해석하면 조금 더 향 상된 분석을 할 수 있을 것이다.
关键词：The results of the 64th and 65th Korean Medical Licensing Examination were analyzed according to the classical test theory and item response theory in order to know the possibility of applying item response theory to item analys and to suggest its applicability to computerized adaptive test.The correlation coefficiency of difficulty index,discriminating index and ability parameter between two kinds of analysis were got using computer programs such as Analyst 4.0,Bilog and Xcalibre.Correlation coefficiencies of difficulty index were equal to or more than 0.75;those of discriminating index were between - 0.023 and 0.753;those of ability parameter were equal to or more than 0.90.Those results suggested that the item analysis according to item response theory showed the comparable results with that according to classical test theory except discriminating index.Since the ability parameter is most widely used in the criteria-reference test,the high correlation between ability parameter and total score can provide the validity of computerized adaptive test utilizing item response theory.
其他关键词：한국보건의료인국가시험원(이하 국시원)에서는 모든 국가시험을 치른 뒤,반드시 문항분석을 비롯한 여러 자 료를 결과로부터 추출하여 문항 개발에 되먹이기로 활 용하기 위하여 고전검사이론(classical test theory)에 따른 난이도,양극단반분법 분별도 등을 계산하여 문항 특성을 파악하는 작업을 하고 있다.학생은 시험 문항 의 내용이나 유형에 따라 공부한다는 현실에 비추어 시 험의 문항이 의대 교육에서 매우 큰 영향을 미친다.그 중에서도 국시원에서 출제하는 문항은 우리나라 의학교 육의 방향을 좌우한다고 하여도 지나친 말이 아니다.문항분석은 시험을 치르고 난 뒤,과연 그 시험 문항이 수험생의 능력을 측정하기에 적절하였는지 돌이켜 보는데 목적이 있다.고전검사이론에 따른 문항분석은 이해 도 쉽고 분석방법도 현장에 적용하기 쉬우며,이미 대부 분의 평가를 이 방법으로 하여 매우 익숙한 내용이다.문항을 맞춘 총점으로 수험생 능력을 추정한다.그러나,고전검사이론에서는 문항의 난이도,분별도가 집단의 특성에 따라 달라지며,수험생의 능력을 시험의 특성에 따라 다르게 추정한다는 단점이 있다.이러한 문제를 극복하기 위하여 나온 문항반응이론(item response theory)에 따른 문항분석을 시도하면,각 문항은 문항 의 고유한 특성이 있어 수험생 집단의 수준에 따라 문항 의 난이도 및 분별도가 달라지지 않고,수험생 능력을 추정할 때 시험의 난이도에 관계없이 수험생의 능력을 추정할 수 있다[1,2].이런 방법은 실제 상황을 더 잘 반 영시켜 줄 수 있고 수험생의 능력의 서열을 더 잘 매길 수 있으나,과거에는 계산방법이 복잡하여 셈틀 풀그림 (computer program)을 활용하여야만 하기에 흔히 쓰 기에는 어려웠다.최근에는 셈틀(computer)을 문항분 석에 쉽게 사용할 수 있고 적절한 풀그림(program)도 등장하여 이 문항반응이론에 따른 분석이 쉬어졌다.그 러므로,문항반응이론에 따라 새롭게 문항 분석하여 난 이도,분별도 값을 구하여,결과를 해석하면 조금 더 향 상된 분석을 할 수 있을 것이다.
