期刊名称：Journal of Educational Evaluation for Health Professions
电子版ISSN：1975-5937
出版年度：2005
卷号：2
期号：1
页码：113-118
DOI：10.3352/jeehp.2005.2.1.113
语种：English
出版社：Korea Health Insurance Licensing Examination Institute
摘要：To evaluate the usefulness of computerized adaptive testing (CAT) in medical school,the General Examination for senior medical students was administered as a paper and pencil test (P&P) and using CAT.The General Examination is a graduate examination,which is also a preliminary examination for the Korean Medical Licensing Examination (KMLE).The correlations between the results of the CAT and P&P and KMLE were analyzed.The correlation between the CAT and P&P was 0.8013 (p=0.000);that between the CAT and P&P was 0.7861 (p=0.000);and that between the CAT and KMLE was 0.6436 (p=0.000).Six out of 12 students with an ability estimate below 0.52 failed the KMLE.The results showed that CAT could replace P&P in medical school.The ability of CAT to predict whether students would pass the KMLE was 0.5 when the criterion of the theta value was set at -0.52 that was chosen arbitrarily for the prediction of pass or failure.
其他摘要：한림대학교 의과대학에서 2004년도 11월 제 2 차 종 합시험에서 이틀에 걸친 지필고사 후 다음 날,한 시간 동안 셈틀이용적응검사(computerized adaptive testing,이하 적응검사)를 시행하였다.이러한 새로운 검사법이 과연 기존의 검사법에 의한 학생 성취도 평가 (또는 학습평가)와 얼마나 상관관계가 있는가 알아보려 고 하였다.적응검사는 셈틀을 이용하여 치르므로 셈틀 기반검사(computer-based test)의 장점 즉,지필고사 에서 다루기 힘든 그림,소리,동영상을 매우 쉽게 문항 에 넣어 실제 상황에 가깝게 지문이나 답가지를 제시할 수 있고 수험생의 능력을 정밀하게 측정할 수 있으며,빠른 시간 동안 수험생의 능력을 평가할 수 있고,수준 에 맞추어 문항을 제시하여 수험생이 흥미를 잃지 않게 한다는 장점이 있다[1].이러한 장점과 더불어 지필고사결과를 문항반응이론에 따라 능력모수를 산출한 결과와 적응검사의 최종 수험생의 능력모수가 일치한다면 적어 도 능력을 추정하는 데는 이틀간의 지필고사를 한 시간 이라는 짧은 기간의 시험으로 대치가 가능하다고 할 수 있다.또한 이 종합시험은 졸업시험의 성격이 있을 뿐 아니라 합격 불합격을 가르는 의사국가시험의 예비시험 이라는 성격이 있다.자격시험이 준거참고검사(criteriareferenced test)로 빠른 시간 내 합격 불합격을 가리는 것이라면 적응검사가 앞으로 교육현장에 적용하는 데 효용도가 있을 것이다.이 연구에서는 2004년도 한 의 과대학 4 학년 98명 대상으로 치른 제 2 차 종합시험결 과를 자료로 하여 지필고사와 적응검사에서 수험생의 능력모수값 사이의 상관관계,지필고사의 총점과 적응 검사의 능력모수의 상관관계 및 적응시험의 능력모수와 국가시험 총점의 상관관계를 알아보았다.또한,적응시 험 결과 수험생의 능력모수가 국가시험의 합격을 예측 할 수 있는 지 알아보려고 하였다.
关键词：To evaluate the usefulness of computerized adaptive testing (CAT) in medical school,the General Examination for senior medical students was administered as a paper and pencil test (P&P) and using CAT.The General Examination is a graduate examination,which is also a preliminary examination for the Korean Medical Licensing Examination (KMLE).The correlations between the results of the CAT and P&P and KMLE were analyzed.The correlation between the CAT and P&P was 0.8013 (p=0.000);that between the CAT and P&P was 0.7861 (p=0.000);and that between the CAT and KMLE was 0.6436 (p=0.000).Six out of 12 students with an ability estimate below 0.52 failed the KMLE.The results showed that CAT could replace P&P in medical school.The ability of CAT to predict whether students would pass the KMLE was 0.5 when the criterion of the theta value was set at -0.52 that was chosen arbitrarily for the prediction of pass or failure.
其他关键词：한림대학교 의과대학에서 2004년도 11월 제 2 차 종 합시험에서 이틀에 걸친 지필고사 후 다음 날,한 시간 동안 셈틀이용적응검사(computerized adaptive testing,이하 적응검사)를 시행하였다.이러한 새로운 검사법이 과연 기존의 검사법에 의한 학생 성취도 평가 (또는 학습평가)와 얼마나 상관관계가 있는가 알아보려 고 하였다.적응검사는 셈틀을 이용하여 치르므로 셈틀 기반검사(computer-based test)의 장점 즉,지필고사 에서 다루기 힘든 그림,소리,동영상을 매우 쉽게 문항 에 넣어 실제 상황에 가깝게 지문이나 답가지를 제시할 수 있고 수험생의 능력을 정밀하게 측정할 수 있으며,빠른 시간 동안 수험생의 능력을 평가할 수 있고,수준 에 맞추어 문항을 제시하여 수험생이 흥미를 잃지 않게 한다는 장점이 있다[1].이러한 장점과 더불어 지필고사결과를 문항반응이론에 따라 능력모수를 산출한 결과와 적응검사의 최종 수험생의 능력모수가 일치한다면 적어 도 능력을 추정하는 데는 이틀간의 지필고사를 한 시간 이라는 짧은 기간의 시험으로 대치가 가능하다고 할 수 있다.또한 이 종합시험은 졸업시험의 성격이 있을 뿐 아니라 합격 불합격을 가르는 의사국가시험의 예비시험 이라는 성격이 있다.자격시험이 준거참고검사(criteriareferenced test)로 빠른 시간 내 합격 불합격을 가리는 것이라면 적응검사가 앞으로 교육현장에 적용하는 데 효용도가 있을 것이다.이 연구에서는 2004년도 한 의 과대학 4 학년 98명 대상으로 치른 제 2 차 종합시험결 과를 자료로 하여 지필고사와 적응검사에서 수험생의 능력모수값 사이의 상관관계,지필고사의 총점과 적응 검사의 능력모수의 상관관계 및 적응시험의 능력모수와 국가시험 총점의 상관관계를 알아보았다.또한,적응시 험 결과 수험생의 능력모수가 국가시험의 합격을 예측 할 수 있는 지 알아보려고 하였다.
