期刊名称：Journal of Educational Evaluation for Health Professions
电子版ISSN：1975-5937
出版年度：2005
卷号：2
期号：1
页码：105-111
DOI：10.3352/jeehp.2005.2.1.105
语种：English
出版社：Korea Health Insurance Licensing Examination Institute
摘要：An examinee’s ability can be evaluated precisely using computerized adaptive testing (CAT),which is shorter than written tests and more efficient in terms of the duration of the examination.We used CAT for the second General Examination of 98 senior students in medical college on November 27,2004.We prepared 1,050 pre-calibrated test items according to item response theory,which had been used for the General Examination administered to senior students in 2003.The computer was programmed to pose questions until the standard error of the ability estimate was smaller than 0.01.To determine the students’attitude toward and evaluation of CAT,we conducted surveys before and after the examination,via the Web.The mean of the students’ability estimates was 0.3513 and its standard deviation was 0.9097 (range -2.4680 to +2.5310).There was no significant difference in the ability estimates according to the responses of students to items concerning their experience with CAT,their ability to use a computer,or their anxiety before and after the examination (p>0.05).Many students were unhappy that they could not recheck their responses (49%),and some stated that there were too few examination items (24%).Of the students,79 % had no complaints concerning using a computer and 63% wanted to expand the use of CAT.These results indicate that CAT can be implemented in medical schools without causing difficulties for users.
其他摘要：셈틀(computer)을 교육 평가 분야에서 흔히 활용하 면서,점차 다양한 영역으로 활용 분야를 확대하고 있 다.이러한 셈틀을 활용한 각종 평가 시스템 가운데 셈 틀이용 적응검사(Computerized Adaptive Testing,이 하 적응검사)는 수험생마다 수준에 맞게 각각 다른 문항 을 제시하여 개별검사를 시행한다든지,고전검사이론에따른 시험보다 능력을 좀 더 정밀하게 측정한다든지,검 사 길이를 줄일 수 있고,검사의 시행,채점,결과보고와 같은 절차를 단순화하고,다양한 형태의 문항제작이 가 능하다는 등 많은 장점을 갖고 있다.그러나 그 실제 활 용은 국내에서는 아직 활발하지 못한데 검사를 위해서 는 사전에 충분한 양의 피험자를 대상으로 지필 검사나 셈틀기반검사(Computer-based testing)를 실시하고 문항반응이론(Item Response Theory)을 이용하여 문 항모수값을 구하여 입력하는 동시에 프로그래밍 작업이 따라주어야 하기 때문이다[1].외국에서는 미국의 ETS (Educational Testing Services)를 비롯하여 대규모 학 력 및 적성검사 분야에 있어서는 실용화되고 있고 보건 의료 분야에서는 캐나다의 의사국가시험이나 미국의 간 호사면허시험,임상병리사면허시험 등에서 활용하고 있 다.그러나 아직 우리 나라에서는 TOEFL(Test of English as Foreign Language) 이나 TOEIC(Test of English for International Communication)을 다루는 학원에서 사용하고,국가 단위 면허시험이나 성취도 검 사에서는 활용하지 못하고 있으며 단지 부산대학교 교 육학과에서 SPRT (Sequential Probability Ratio Testing) 방식을 기반으로 하는 적응검사를 시행하며 연구를 지속하고 있다[2].단편적인 연구나 프로그래밍 은 소개된 것이 있으나 지속적으로 대학 단위 또는 학과 단위의 교육현장에서 적용하고 평가하는 내용은 위에 언급한 내용을 제외하고는 찾기가 쉽지 않다.외국의 경우 일부 의과대학 학생들에게 선택적으로 적응검사를 시행한 예비연구가 있으나 우리 나라 의과대학 교육현 장에서는 아직 시행 예가 없다[3,4].그러므로,한림대 학교 의과대학에서 2004년 11월 27일 의학과 4학년 대 상 임상종합시험에서 국내 의과대학에서는 처음으로 적 응검사를 시행하면서,시험 전후 학생들의 태도 및 평가 에 대한 설문조사를 시행하여 학생들의 새로운 시험체 계에 대한 적응이나 수용도를 파악하고,수용도 및 태도 가 능력모수에 미치는 영향을 검사하였다.이 연구의 결 과를 바탕으로 적응검사를 시행할 때 어떤 과정이나 준 비가 학생에게 더 필요한지 제시하려고 한다.
关键词：An examinee’s ability can be evaluated precisely using computerized adaptive testing (CAT),which is shorter than written tests and more efficient in terms of the duration of the examination.We used CAT for the second General Examination of 98 senior students in medical college on November 27,2004.We prepared 1,050 pre-calibrated test items according to item response theory,which had been used for the General Examination administered to senior students in 2003.The computer was programmed to pose questions until the standard error of the ability estimate was smaller than 0.01.To determine the students’attitude toward and evaluation of CAT,we conducted surveys before and after the examination,via the Web.The mean of the students’ability estimates was 0.3513 and its standard deviation was 0.9097 (range -2.4680 to +2.5310).There was no significant difference in the ability estimates according to the responses of students to items concerning their experience with CAT,their ability to use a computer,or their anxiety before and after the examination (p>0.05).Many students were unhappy that they could not recheck their responses (49%),and some stated that there were too few examination items (24%).Of the students,79 % had no complaints concerning using a computer and 63% wanted to expand the use of CAT.These results indicate that CAT can be implemented in medical schools without causing difficulties for users.
其他关键词：셈틀(computer)을 교육 평가 분야에서 흔히 활용하 면서,점차 다양한 영역으로 활용 분야를 확대하고 있 다.이러한 셈틀을 활용한 각종 평가 시스템 가운데 셈 틀이용 적응검사(Computerized Adaptive Testing,이 하 적응검사)는 수험생마다 수준에 맞게 각각 다른 문항 을 제시하여 개별검사를 시행한다든지,고전검사이론에따른 시험보다 능력을 좀 더 정밀하게 측정한다든지,검 사 길이를 줄일 수 있고,검사의 시행,채점,결과보고와 같은 절차를 단순화하고,다양한 형태의 문항제작이 가 능하다는 등 많은 장점을 갖고 있다.그러나 그 실제 활 용은 국내에서는 아직 활발하지 못한데 검사를 위해서 는 사전에 충분한 양의 피험자를 대상으로 지필 검사나 셈틀기반검사(Computer-based testing)를 실시하고 문항반응이론(Item Response Theory)을 이용하여 문 항모수값을 구하여 입력하는 동시에 프로그래밍 작업이 따라주어야 하기 때문이다[1].외국에서는 미국의 ETS (Educational Testing Services)를 비롯하여 대규모 학 력 및 적성검사 분야에 있어서는 실용화되고 있고 보건 의료 분야에서는 캐나다의 의사국가시험이나 미국의 간 호사면허시험,임상병리사면허시험 등에서 활용하고 있 다.그러나 아직 우리 나라에서는 TOEFL(Test of English as Foreign Language) 이나 TOEIC(Test of English for International Communication)을 다루는 학원에서 사용하고,국가 단위 면허시험이나 성취도 검 사에서는 활용하지 못하고 있으며 단지 부산대학교 교 육학과에서 SPRT (Sequential Probability Ratio Testing) 방식을 기반으로 하는 적응검사를 시행하며 연구를 지속하고 있다[2].단편적인 연구나 프로그래밍 은 소개된 것이 있으나 지속적으로 대학 단위 또는 학과 단위의 교육현장에서 적용하고 평가하는 내용은 위에 언급한 내용을 제외하고는 찾기가 쉽지 않다.외국의 경우 일부 의과대학 학생들에게 선택적으로 적응검사를 시행한 예비연구가 있으나 우리 나라 의과대학 교육현 장에서는 아직 시행 예가 없다[3,4].그러므로,한림대 학교 의과대학에서 2004년 11월 27일 의학과 4학년 대 상 임상종합시험에서 국내 의과대학에서는 처음으로 적 응검사를 시행하면서,시험 전후 학생들의 태도 및 평가 에 대한 설문조사를 시행하여 학생들의 새로운 시험체 계에 대한 적응이나 수용도를 파악하고,수용도 및 태도 가 능력모수에 미치는 영향을 검사하였다.이 연구의 결 과를 바탕으로 적응검사를 시행할 때 어떤 과정이나 준 비가 학생에게 더 필요한지 제시하려고 한다.
