مقایسۀ روش‌های همترازسازی مبتنی بر نظریۀ کلاسیک آزمون و نظریۀ پاسخ‌سؤال در آزمون علوم تیمز ۲۰۲۳ (پایه چهارم)

نوع مقاله : مقاله پژوهشی

نویسندگان

1 دانشجوی دکتری، گروه مطالعات برنامه درسی و سنجش و اندازه گیری، دانشگاه خوارزمی، تهران، ایران

2 دانشیار گروه مطالعات برنامه درسی و سنجش و اندازه گیری، دانشگاه خوارزمی، تهران، ایران

3 استادیار گروه مطالعات برنامه درسی و سنجش و اندازه گیری، دانشگاه خوارزمی، تهران، ایران

10.22091/jrim.2026.14289.1411

چکیده

هدف پژوهش حاضر بررسی و مقایسه دقت، پایداری و کارآمدی روش‌های همترازسازی مبتنی بر نظریه کلاسیک آزمون و نظریه پاسخ‌سؤال در آزمون علوم تیمز ۲۰۲۳ پایه چهارم بود. این پژوهش از نوع توصیفی–روان‌سنجی، کاربردی، کمّی و مقطعی طراحی شد. جامعه آماری شامل دانش‌آموزان پایه چهارم کشورهای شرکت‌کننده در تیمز ۲۰۲۳ بود و نمونه‌گیری هدفمند از چهار کشور با سطوح عملکرد متفاوت انجام شد: سنگاپور با بهترین عملکرد، آفریقای جنوبی با ضعیف‌ترین، جمهوری چک بالاتر از میانگین و ایران پایین‌تر از میانگین، تا امکان ارزیابی روش‌های همترازسازی در شرایط آموزشی متنوع فراهم شود. داده‌ها شامل نمرات خام و اطلاعات زمینه‌ای منتشرشده توسط مرکز بین‌المللی مطالعات تیمز بود و پردازش داده‌ها و اجرای روش‌ها در محیط نرم‌افزار R نسخه ۴.۵.۲ با بسته‌های تخصصی CTT و IRT انجام شد؛ تحلیل‌ها در بستر آزمون دیجیتال و با طرح نمونه پل و سؤالات لنگر معتبر صورت گرفت. در چارچوب CTT، روش هم‌درصدی با هموارسازی لگ‌خطی کمترین خطای RMSD و SEE و بیشترین ثبات را نشان داد. در چارچوب IRT، مدل دوپارامتری با روش‌های میانگین–میانگین، میانگین–سیگما، هابارا و استاکینگ–لرد بررسی شد که روش میانگین–میانگین کمترین RMSD، SEE و حداقل تغییرات پارامترهای شیب و مکان را ارائه کرد. اجرای همترازسازی با طرح NEAT امکان ایجاد مقیاس مشترک دقیق و کاهش سوگیری‌های جنسیتی و منطقه‌ای را فراهم ساخت. شاخص‌های RMSD، AIC و BIC برای ارزیابی برازش مدل و انتخاب روش بهینه به‌کار رفتند. نتایج نشان داد روش‌های مبتنی بر IRT نسبت به CTT دقت بالاتر و خطای استاندارد پایین‌تری دارند.

کلیدواژه‌ها


عنوان مقاله [English]

Comparison of Equating Methods Based on Classical Test Theory and Item Response Theory in the TIMSS 2023 Science Assessment (Grade 4)

نویسندگان [English]

  • Amin Golshan 1
  • Masoud Geramipour 2
  • Belal Izanlou 3
1 Ph.D. Student, Department of Curriculum Studies and Educational Measurement and Evaluation, Kharazmi University, Tehran, Iran
2 Associate Professor, Department of Curriculum Studies and Educational Measurement and Evaluation, Kharazmi University, Tehran, Iran
3 Assistant Professor, Department of Curriculum Studies and Educational Measurement, Kharazmi University, Tehran, Iran
چکیده [English]

The aim of the present study was to examine and compare the accuracy, stability, and efficiency of test equating methods based on Classical Test Theory and Item Response Theory in the TIMSS 2023 science assessment at the fourth-grade level. This study was designed as a descriptive–psychometric, applied, quantitative, and cross-sectional investigation. The statistical population consisted of fourth-grade students from all countries participating in TIMSS 2023, and purposeful sampling was conducted across four countries with different achievement levels: Singapore as the highest-performing country, South Africa as the lowest-performing country, the Czech Republic as above average, and Iran as below average, in order to evaluate equating methods under diverse educational conditions. The data included raw scores and background information released by the TIMSS International Study Center, and data processing and equating procedures were conducted using R software version 4.5.2 with specialized CTT and IRT packages. Analyses were carried out within a digital testing environment using a common-item nonequivalent groups design with validated anchor items. Within the CTT framework, the equipercentile method with log-linear smoothing demonstrated the lowest RMSD and SEE values and the highest stability. Within the IRT framework, the two-parameter model was examined using mean–mean, mean–sigma, Haebara, and Stocking–Lord methods, among which the mean–mean method produced the lowest RMSD and SEE values and minimal changes in discrimination and difficulty parameters. The implementation of NEAT equating enabled accurate common-scale construction and reduced gender and regional bias to ensure valid international score comparisons.

کلیدواژه‌ها [English]

  • Test Equating
  • Classical Test Theory (CTT)
  • Item Response Theory (IRT)
  • Equipercentile Method
  • Mean – Mean Method
  • Accuracy Indices
  • TIMSS 2023

مقالات آماده انتشار، پذیرفته شده
انتشار آنلاین از تاریخ 30 خرداد 1405
  • تاریخ دریافت: 29 مهر 1404
  • تاریخ بازنگری: 06 اردیبهشت 1405
  • تاریخ پذیرش: 30 خرداد 1405