标题:تعیین نمره حد نصاب قبولی آزمون عینی ساختارمند بالینی به روش انگوف و ارزیابی تأثیر بحث و بررسی نمرات واقعی
其他标题:Setting Standard Threshold Scores for an Objective Structured Clinical Examination using Angoff Method and Assessing the Impact of Reality Chacking and Discussion on Actual Scores
摘要:مقدمه: برای تعیین استاندارد قبولی آزمونهای پزشکی روشهای مختلفی در سطح جهان به کار میرود اما استاندارد اغلب امتحانات داخل کشور، به صورت نمرهای ثابت و قراردادی و بدون استفاده از متدلوژی علمی تعیین میشود. هدف از انجام این مطالعه، تعیین استاندارد قبولی آزمون عینی ساختارمند بالینی در مقطع پیشکارورزی دانشگاه علوم پزشکی تهران به روش انگوف است. روشها: بعد از طراحی سؤالات آزمون، پانلی از داوران متخصص تشکیل شد و 11 داور به صورت مستقل، احتمال قبولی یک دانشجوی مرزی را در هر یک از ایستگاهها برآورد کردند. میانگین احتمالات تمام داوران در تمام ایستگاهها، استاندارد آزمون محسوب شد. این روند دو بار دیگر، پس از برگزاری جلسه بحث بین داوران و بعد از بررسی نمرات واقعی دانشجویان تکرار شد. نتایج: استاندارد انفرادی کل آزمون 15/49، استاندارد بعد از بحث 90/49 و استاندارد بعد از بررسی نمرات دانشجویان 52/51 به دست آمد. تغییر استاندارد کل آزمون بعد از بررسی نمرات واقعی نسبت به استاندارد انفرادی معنادار بود (02/0=p)؛ اما نسبت به استاندارد دوم تفاوت معنادار نداشت. همچنین میزان قبولی بر اساس سه استاندارد به ترتیب 6/67، 8/64 و 1/58 درصد به دست آمد که درصد قبولی سوم نسبت به اول کاهش معنادار داشت (002/0=p). نتیجهگیری: در این تحقیق، روش انگوف برای تعیین استاندارد قبولی آزمون عینی ساختارمند بالینی مورد مطالعه و بررسی قرار گرفت. بر اساس یافتههای این مطالعه، نتایج روش انگوف مخصوصاً پس از بحث و بررسی نمرات واقعی نسبتاً روا و پایا هستند.
其他摘要:Introduction: A variety of standard setting methods are used worldwide for medical examination acceptance scores while standards of most exams in our country are pre-determined fixed scores which are set without any scientific methodolgy. The aim of this study is to determine minimum pass level for a pre-internship objective structured clinical examination using Angoff method in Tehran University of Medical Sciences. Methods: After designing the questions for examination, a panel of eleven faculty members was formed. These judges were asked to individually estimate the probability that a borderline student would pass each station. The mean of all stations estimated by judges was considered as the standard for the whole exam. This procedure was repeated twice more after sessions of discussion between judges and checking students’ real scores. Results: The individual standard for the whole test was 49.15 while it turned to 49.90 after discussion and finally 51.52 after checking the real scores of students. The change of standard of the whole test after checking real scores was significant compared to individual standard (p=0.02). It showed no significant difference compared to the second standard. The rates of passing students according to the three standards were respectively 67.6%, 64.8% and 58.1% which showed a significant reduction in the third compared to the first one. Conclusion: Angoff method was used in this study to set standard for an OSCE. According to the findings of the study, it seems to be a credible and reliable procedure, especially when group discussion and reality check are used.