تأثیر داده‌های مفقود در سوگیری و دقت سوالات پرسشنامه بیگانگی تحصیلی

نوع مقاله : مقاله علمی

نویسندگان

1 سنجش و اندازه گیری، دانشکده روانشناسی و علوم تربیتی،دانشگاه علامه طباطبایی، تهران،ایران

2 استاد ممتاز، گروه سنجش و اندازه گیری، دانشکده روانشناسی و علوم تربیتی، دانشگاه عالمه طباطبائی، تهران،

3 دانشیار، گروه سنجش و اندازهگیری، دانشکده روانشناسی و علوم تربیتی، دانشگاه عالمه طباطبائی، تهران، ایران

4 دانشیار، گروه سنجش و اندازهگیری، دانشکده روانشناسی و علوم تربیتی، دانشگاه عالمه طباطبائی، تهران، ایران.

چکیده

یکی از انواع مهم خطا­های منظم زمانی ایجاد می­شوند که یک سئوال دارای کنش افتراقی شناسایی شود. هدف این پژوهش با استفاده از روش شبیه ­سازی مونت­کارلو این بود که تعیین کند آیا تأثیر داده­ های مفقود بر سوگیری و دقت آزمون نسبت درست­نمایی برای شناسایی کنش افتراقی در سئوالات چندارزشی در روش­ های مختلف برخورد با داده­ های مفقود متفاوت است یا خیر. از طرح عاملی برای ارزیابی تأثیر شش روش برخورد با داده­ های مفقود بر اثربخشی آزمون نسبت درست­ نمایی برای تشخیص این تفاوت در مدل پاسخ مدرج بر حسب خطای نوع اول و توان آماری استفاده شد. جامعه آماری در این پژوهش کلیه دانشجویان دانشگاه ­های دارای رشته ­های علوم تربیتی و روانشناسی مقطع کارشناسی در شهر تهران بودند. 1100 نفر نمونه­ ی مورد پژوهش از این جامعه از بین دانشجویان در حال تحصیل در دانشگاه­ های علامه طباطبایی، تهران، شهید بهشتی، خوارزمی، آزاد اسلامی واحد تهران شمال، آزاد اسلامی تهران جنوب و آزاد اسلامی تهران مرکز در سال 1398 بودند که پرسشنامه بیگانگی تحصیلی برای آن­ها اجرا شد. تحلیل‌ها با استفاده از روش تحلیل واریانس و تحلیل رگرسیون چندگانه، شاخص G2 و اندازه اثر η2 برای تمامی اثر­های متقابل مرتبه اول محاسبه شد. روش انتساب چندگانه و جایگذاری رگرسیون تکی کمترین سهم را در کنترل خطای نوع اول دارا بودند و روش ­های مبتنی بر بیشینه درست­نمایی و جایگذاری میانگین شخص به ترتیب بیشترین سهم را از نظر کنترل خطا نشان دادند. توان آماری آزمون در تمامی روش­ ها و همه عوامل مورد بررسی در این پژوهش مشابه بود. نتایج این پژوهش حاکی از این است که نسبت داده­ ها و مشاهدات مفقود و طول آزمون نقش مهمی در تعیین اثربخشی آزمون و به عبارتی دقیق‌تر سوگیری و دقت سئوالات آزمون داشتند.

کلیدواژه‌ها

عنوان مقاله [English]

The effect of missing data on the bias and accuracy of academic alienation questionnaire questions

نویسندگان [English]

  • Zahra Jahanbakhsh 1
  • Ali Delavar 2
  • Noor Ali Farokhi 3
  • Jalil Younesi 4
1 Department of Assessment and Measurement. Faculty of Psychology and educational Sciences. Allameh Tabataba'i University. Tehran. Iran.
2 Professor, Department of Assessment and Measurement, Faculty of Psychology and Educational Sciences, Allameh Tabataba'I University, Tehran, Iran.
3 Associate Professor, Department of Assessment and Measurement, Faculty of Psychology and Educational Sciences, Allameh Tabataba'I University, Tehran, Iran.
4 Associate Professor, Department of Assessment and Measurement, Faculty of Psychology and Educational Sciences, Allameh Tabataba'I University, Tehran, Iran
چکیده [English]

One of the important type of errors is differential item functioning (DIF). The aim of this study, using the Monte Carlo simulation method, was to determine whether the effect of missing data on the bias and precision of the Likelihood Ratio test for DIF detection differ across different missing data methods? The factorial design was used to examine the effect of six MDM methods on the effectiveness of IRT-LR test for DIF detection in the GRM, in terms of Type I error and statistical power. The statistical population in this study was all university students with undergraduate degrees in educational sciences and psychology in Tehran. A sample of 1100 students from this community were among the students studying at Allameh Tabataba’i, Tehran, Shahid Beheshti, Kharazmi, Islamic Azad University Tehran North Branch, Islamic Azad University Tehran South Branch and Islamic Azad University Central Tehran Branch in 2019. The academic alienation questionnaire was administered to them. G2 index and the effect size η2 were calculated for all first-order interactions. Multiple imputation and single regression substitution methods had the lowest contribution in the control of the type I error and the methods based on maximum likelihood and the person mean substitution showed the highest contribution in terms of error control, respectively. The statistical power of the test was similar in all methods in this study. The results of this study indicated that the missing data and observations and the length of the test had an important role in the effectiveness (bias and precision) of the test.

کلیدواژه‌ها [English]

  • : missing data
  • academic alienation
  • likelihood ratio test
  • type I error rate
  • statistical power

مراجع

آلن، مری؛ ین، وندی. (1979). مقدمه­ای بر نظریه­های اندازه­گیری. (ترجمه‌ی علی دلاور، 1392). تهران: انتشارات سمت.
اشرف، پریچهر؛ شیخ الاسلامی، راضیه. (1396). بیگانگی تحصیلی در دانش آموزان: نقش کنترل روانی والدین و تأکیدات هدفی معلم. مجله مطالعات روانشناسی تربیتی. 14(27). 29-62.
تیلور، کاترین. (2013). روایی و رواسازی. (ترجمه‌ی جلیل یونسی، 1398). تهران: انتشارات علامه طباطبایی.
شهمیرزادی، نیلوفر؛ سیری، مسعود؛ مرعشی، حمید و گرامی پور، مسعود. (1399). بررسی سوگیری در سوالات درک مطلب آزمون مقطع دکترای رشته زبان انگلیسی تحت سنجش تشخیصی شناختی. پژوهش‌های زبان‌شناختی در زبان‌های خارجی، 10(1)، 152-165.
کرمی، حسین؛ خودی، علی. (1399). بررسی کنش افتراقی پرسش‌ها و عملکرد در آزمون: مقایسه رگرسیون لجستیک، مدل رش و منتل- هنزل. پژوهش‌های زبان‌شناختی در زبان‌های خارجی، 10(4)، 842-853.
مایر، پاتریک. (2010). پایایی. (ترجمه‌ی جلیل یونسی، 1398). تهران: انتشارات علامه طباطبایی.
Ankenmann, R. D., Witt, E. A., & Dunbar, S. B. (1999). An investigation of the power of the likelihood ratio goodness-of-fit statistic in detecting differential item functioning. Journal of Educational Measurement, 36(4), 277-300.
Balsis, S., Gleason, M. E., Woods, C. M., & Oltmanns, T. F. (2007). An IRT analysis of DSM-IV personality disorder criteria across younger and older age groups. Psychology and aging, 22(1), 171-185.
Banks, K. (2015). An introduction to missing data in the context of differential item functioning. Practical Assessment, Research, and Evaluation, 20(1), 12-35.
Banks, K., & Walker, C. (2006). Performance of SIBTEST when focal group examinees have missing data. San Francisco: National Council of Measurement in Education.
Bradley, J. V. (1978). Robustness? British Journal of Mathematical and Statistical Psychology, 31(2), 144-152.
Buhi, E. R., Goodson, P., Neilands, T. B. (2008). Out of sight, not out of mind: Strategies for handling missing data. American Journal of Health Behavior, 32(1), 83-92.
Burbach, H. J. (1972). An empirical study of powerlessness among high school students. The High School Journal, 55(7), 343-354.
Crocker, L., & Algina, J. (1986). Introduction to classical and modern test theory. Belmont, CA: Wadsworth, Thompson Learning.
Demir, E. (2013). Item and test parameters estimations for multiple-choice tests in the presence of missing data: The case of SBS. Journal of Educational Sciences Research, 3(2), 47–68.
Dodd, B, G., De Ayala, R. J., & Koch, W. R. (1995). Computerized adaptive testing with polytomous items. Applied Psychological Measurement, 19(1), 5-22.
Drasgow, F., Levine, M. V., Tsien, S., Williams, B., & Mead, A. D. (1995). Fitting polytomous Item Response Theory models to multiple-choice tests. Applied Psychological Measurement, 19(2), 143-165.
Embretson, S. E., & Reise, S. P. (2000). Item response theory for psychologists. Mahwah, NY: Lawrence Erlbaum Associates, Publishers.
Enders, C. K. (2013). Dealing with missing data in developmental research. Child Development Perspectives, 7(1), 27-31.
Finch, H. (2011). The use of multiple imputation for missing data in uniform DIF analysis: Power and Type I error rates. Applied Measurement in Education, 24(4), 281-301.
Finch, H. (2011). The impact of missing data on the detection of nonuniform differential item functioning. Educational and Psychological Measurement, 71(4), 663-683.
Garrett, P. L. (2009). A Monte Carlo study investigating missing data, differential item functioning, and effect. (Doctoral dissertation). Georgia State University, Atlanta, GA. Retrieved from ProQuest LLC. (UMI 3401601).
Gelin, M. N., & Zumbo, B. D. (2007). Operating characteristics of the DIF MIMIC approach using Jöreskog’s covariance matrix with ML and WLS estimation for short scales. Journal of Modern Applied Statistical Methods, 6(2), 22.
Giraldo, F. (2020). Validity and Classroom Language Testing: A Practical Approach. Colombian Applied Linguistics Journal, 22(2), 194-206.
Guilera, G., Gómez-Benito, J., Hidalgo, M. D., & Sánchez-Meca, J. (2013). Type I error and statistical power of the Mantel-Haenszel procedure for detecting DIF: A meta-analysis. Psychological Methods, 18(4), 553.
Gómez-Benito, J., Balluerka, N., González, A., Widaman, K. F., & Padilla, J. L. (2017). Detecting differential item functioning in behavioral indicators across parallel forms. Psicothema, 29(1), 91-95.
Gómez-Benito, J., Sireci, S., García, J. L. P., Montesinos, M. D. H., & Baena, I. B. (2018). Differential item functioning: Beyond validity evidence based on internal structure. Psicothema, 30(1), 104-109.
Hidalgo, M. D., López-Martínez, M. D., Gómez-Benito, J., & Guilera, G. (2016). A comparison of discriminant logistic regression and Item Response Theory Likelihood-Ratio Tests for Differential Item Functioning (IRTLRDIF) in polytomous short tests. Psicothema, 83-88.
Jin, K., Chen H. (2020). MIMIC approach to assessing differential item functioning with control of extreme response style. Behavior Research Methods, 52(1)- 131-147.
McKnight, P. E., McKnight, K. M., Sidani, S., & Figuedero, A. J. (2007). Missing data: A gentle introduction. New York, NY: Guilford Press.
Morinaj, J., Hadjar, A., & Hascher, T. (2020). School alienation and academic achievement in Switzerland and Luxembourg: a longitudinal perspective. Social psychology of education, 47(3), 1-36.
O’Rouke, T. W. (2003). Methodological techniques for dealing with missing data. American Journal of Health Studies, 18(2/3), 165-168.
Paek, I., & Wilson, M. (2011). Formulating the Rasch differential item functioning model under the marginal maximum likelihood estimation context and its comparison with Mantel–Haenszel procedure in short test and small sample conditions. Educational and Psychological Measurement, 71(6), 1023-1046.
Rayce, S. B., Kreiner, S., Damsgaard, M. T., Nielsen, T., & Holstein, B. E. (2018). Measurement of alienation among adolescents: construct validity of three scales on powerlessness, meaninglessness and social isolation. Journal of patient-reported outcomes, 2(1), 1-12.
Reeve, B. B. (2002). An introduction to modern measurement theory. National Cancer Institute, 1-67.
Robitzsch, A., & Rupp, A. (2009). Impact of missing data on the detection of differential item functioning: The case of Mantel-Haenszel and logistic regression analysis. Educational and Psychological Measurement, 69(1), 18-34.
Samejima, F. (2010). The general graded response model. In M. L. Nering & R. Ostini (Eds.), Handbook of polytomous item response theory (pp. 77-107), New York, NY: Routledge, Taylor & Francis Group.
Schafer, J. L., & Graham, J. W. (2002). Missing data: Our view of the state of the art. Psychological Methods, 7(2), 147-177.
Scott, N. W., Fayers, P. M., Aaronson, N. K., Bottomley, A., de Graeff, A., Groenvold, M., & Sprangers, M. A. (2010). Differential item functioning (DIF) analyses of health-related quality of life instruments using logistic regression. Health and quality of life outcomes, 8(1), 1-9.
Sedivy, S. K., Zhang, B., & Traxel, N. M. (2006). Detection of differential item functioning with polytomous items in the presence of missing data. California: National Council of Measurement in Education.
Selvi, H., & Alici, D. Ö. (2018). Investigating the impact of missing data handling methods on the detection of differential item functioning. International Journal of Assessment Tools in Education, 5(1), 1-14.
Thissen, D. (2003). MULTILOG 7.03 User’s guide: Multiple categorical item analysis and test scoring using item response theory. Mooresville, IN: Scientific Software International.
Thissen, D., Steinberg, L., & Wainer, H. (1988). Use of item response theory in the study of group differences in trace lines. In H. Wainer & H. I. Braun (Eds.). Test Validity, (pp. 147-170). Hillsdale, NJ: Lawrence Erlbaum Associates, Inc., Publishers.
Wang, W. C., & Yeh, Y. L. (2003). Effects of anchor item methods on differential item functioning detection with the likelihood ratio test. Applied Psychological Measurement, 27(6), 479-498.
Widaman, K. F. (2006). Missing data: What to do with or without them. Monographs of the Society for Research in Child Development, 7(13), 42-64.
Woods, C. M. (2008). Likelihood-ratio DIF testing: Effects of non-“”
normality. Applied Psychological Measurement, 32(7), 511-526.
Zhu, X., & Aryadoust, V. (2020). An investigation of mother tongue DIF in a high –stakes computerized academic reading test. Computer Assisted Language Learning, 40(3), 1-25.
Zumbo, B. D. (1999). A handbook on the theory and methods of differential item functioning (DIF): Logistic regression modeling as a unitary framework for binary and Likert-type (ordinal) item scores. Ottawa, ON: Directorate of Human Resources Research and Evaluation, Department of National Defense.
مطالعات روانشناسی تربیتی
دوره 19، شماره 46
شهریور 1401
صفحه 28-14

فایل ها

هم رسانی

ارجاع به این مقاله

آمار