شناسایی مدل بهینۀ همترازسازی گروه‌های ناهمسان مبتنی‌بر نظریۀ پاسخ سؤال تک‌بعدی برای نمرات امتحانات نهایی سال دوازدهم مؤثر در پذیرش کنکور سراسری: یک مطالعۀ شبیه‌سازی

نوع مقاله : مقاله پژوهشی

نویسندگان

1 دانشیار گروه مطالعات برنامه‌ریزی درسی و سنجش و اندازه‌گیری، دانشگاه خوارزمی، تهران، ایران

2 دانشجوی دکتری رشتۀ سنجش و اندازه‌گیری، دانشگاه علامه طباطبایی، تهران، ایران

10.22091/jrim.2026.14434.1426

چکیده

هدف این پژوهش ارائه و ارزیابی یک چارچوب مبتنی‌بر IRT برای همترازسازی نمرات امتحانات نهایی مؤثر در پذیرش کنکور سراسری بود تا عدالت در تفسیر نمرات سال‌های مختلف و اثر تفاوت دشواری آزمون‌ها کنترل شود. پژوهش با طرحی توصیفی-روان‌سنجی و بر پایۀ شبیه‌سازی مونت‌کارلو انجام شد. به‌دلیل ماهیت شبیه‌سازی مطالعه، نمونه‌گیری کلاسیک انجام نشد و داده‌ها در شرایط کنترل‌شده تولید گردید. شبیه‌سازی شامل ۱۰۰ تکرار برای هر سناریو در چارچوب طرح گروه‌های ناهمسان با سؤال‌های مشترک، سه سطح حجم نمونه (۲۰۰۰۰، ۱۰۰۰۰۰ و ۵۰۰۰۰۰ نفر) و چهار سطح طول آزمون (۱۵، ۲۰، ۲۵ و ۳۰ سؤال) بود. در طراحی داده‌ها فرض شد سؤال‌های لنگر ازنظر سازه و دامنۀ محتوایی نمایندۀ کل آزمون هستند؛ ازاین‌رو، پارامترهای آن‌ها هم‌توزیع با سایر سؤال‌ها و در قالب آمیختۀ سازگار با امتحانات نهایی تولید شد. پایایی آزمون با استفاده از اطلاعات آزمون بررسی شد و نتایج نشان داد دقت اندازه‌گیری در بازۀ توانایی‌ای که بیشتر داوطلبان در آن قرار دارند، بیشینه است و مدل از کفایت روان‌سنجی لازم برخوردار است. اثربخشی روش‌های همترازسازی مبتنی‌بر IRT و روش‌های کلاسیک تحت شرایط واقع‌بینانه ارزیابی شد. یافته‌ها نشان داد که روش‌های مبتنی‌بر مدل امتیازپاره‌ای تعمیم‌یافته، به‌ویژه مدرج‌سازی همزمان و روش استاکینگ-لرد، کمترین خطای همترازسازی (RMSD) را دارند، درحالی‌که روش‌های میانگین-میانگین، میانگین-سیگما و میانگین-سیگمای مقاوم، به‌ویژه در آزمون‌های کوتاه‌تر و حجم نمونۀ کمتر، خطای بیشتری نشان دادند. همچنین افزایش نسبت سؤال‌های لنگر موجب بهبود دقت همترازسازی شد. درمجموع، نتایج حاصل نشان می‌دهد که همترازسازی مبتنی‌بر IRT می‌تواند به تفسیر عادلانه‌تر نمرات امتحانات نهایی در فرایند پذیرش دانشگاهی کمک کند.

کلیدواژه‌ها


عنوان مقاله [English]

Identification of the optimal equating model based on the one-dimensional item response theory for the final exam scores of the twelfth year effective in accepting the global university entrance exam: a simulation study

نویسندگان [English]

  • Masoud Geramipour 1
  • Mahdi Kazemi 2
1 Associate Professor, Curriculum Studies and Assessment & Measurement Dept., Faculty of Psychology and Educational Sciences, Kharazmi University, Tehran, Iran.
2 Ph.D. Student in Assessment & Measurement, Allameh Tabatabi’ University, Tehran, Iran.
چکیده [English]

This study aimed to develop and evaluate an item response theory (IRT)-based framework for equating high school final examination scores used in national university admissions, to ensure fairness and control differences in test difficulty across years. A descriptive–psychometric design based on Monte Carlo simulation was used. As the study was simulation-based, data were generated under controlled conditions rather than drawn from samples. One hundred replications were performed for each scenario within a nonequivalent groups design with common items, across three sample sizes (20,000, 100,000, and 500,000 examinees) and four test lengths (15, 20, 25, and 30 items). Anchor items were assumed to represent the overall test construct and content, with parameters generated from the same distribution and implemented in a mixed-format design reflecting national exams. Test reliability was examined using test information, showing highest measurement precision in the ability range typical of most examinees, confirming adequate psychometric adequacy of the model. The performance of several IRT-based and classical equating methods was evaluated. Methods based on the generalized partial credit model—especially concurrent calibration and the Stocking–Lord procedure—showed the lowest equating errors (RMSD). In contrast, the mean–mean, mean–sigma, and robust mean–sigma approaches yielded larger errors, particularly with shorter tests or smaller samples. Increasing the proportion of anchor items improved equating accuracy. Overall, IRT-based equating promotes more equitable and interpretable score comparisons in university admissions.

کلیدواژه‌ها [English]

  • Exam fairness
  • national entrance exam
  • academic records
  • high school final exams
  • test equating methods and design
  • generalized partial credit model
  • simulation

مقالات آماده انتشار، پذیرفته شده
انتشار آنلاین از تاریخ 30 خرداد 1405
  • تاریخ دریافت: 14 آبان 1404
  • تاریخ بازنگری: 11 اردیبهشت 1405
  • تاریخ پذیرش: 30 خرداد 1405