Современная зарубежная психология
2024. Том 13. № 2. С. 62–70
doi:10.17759/jmfp.2024130206
ISSN: 2304-4977 (online)
Проверка измерительной инвариантности для тестов когнитивных и языковых способностей
Аннотация
В статье рассматривается феномен измерительной инвариантности психодиагностических инструментов. Проверка инвариантности помогает оценить, насколько измеряемый конструкт имеет сопоставимое значение для разных групп или точек измерения. Такая проверка требуется, чтобы убедиться, что сравнение этих групп или измерений между собой является адекватным. В статье приведен обзор современных и классических публикаций зарубежных исследователей, демонстрирующих различные содержательные и методологические аспекты проверки инвариантности. Особое внимание уделено имеющимся данным о проверке инвариантности для тестов когнитивных и языковых способностей, а также о значении инвариантности для оценки индивидуальных и межгрупповых различий. В завершение обсуждаются актуальные подходы к оценке инвариантности в рамках моделирования структурными уравнениями и современной теории тестирования. Данная работа может стать первым шагом для знакомства с понятием измерительной инвариантности и будет полезна для всех читателей, заинтересованных в улучшении качества измерительных инструментов для получения более надежных выводов о психологических феноменах.
Общая информация
Ключевые слова: измерительная инвариантность, психометрика, психодиагностика, межгрупповые сравнения, дифференциальное функционирование теста
Рубрика издания: Общая психология
Тип материала: обзорная статья
DOI: https://doi.org/10.17759/jmfp.2024130206
Финансирование. Исследование выполнено за счет гранта Российского научного фонда (проект № 23-28-01399).
Благодарности. Автор благодарит за помощь и супервизию научного руководителя Е.Л. Григоренко.
Получена: 05.05.2024
Принята в печать:
Для цитаты: Логвиненко Т.И. Проверка измерительной инвариантности для тестов когнитивных и языковых способностей [Электронный ресурс] // Современная зарубежная психология. 2024. Том 13. № 2. С. 62–70. DOI: 10.17759/jmfp.2024130206
Подкаст
Полный текст
Понятие измерительной инвариантности
Роль проверки инвариантности в общей психометрической оценке инструментов
Практики проверки инвариантности в тестах когнитивных и языковых способностей
Способы проверки измерительной инвариантности
Моделирование структурными уравнениями
Современная теория тестирования (IRT)
Заключение
Литература
- An R toolbox for score-based measurement invariance tests in IRT models / L. Schneider, C. Strobl, A. Zeileis, R. Debelak // Behavior Research Methods. 2021. Vol. 54. P. 2101—2113. DOI:10.3758/s13428-021-01689-0
- Bauer D.J., Belzak W.C.M., Cole V.T. Simplifying the Assessment of Measurement Invariance over Multiple Background Variables: Using Regularized Moderated Nonlinear Factor Analysis to Detect Differential Item Functioning // Structural Equation Modeling: A Multidisciplinary Journal. 2020. Vol. 27. № 1. P. 43—55. DOI:10.1080/10705511.2019.1642754
- Boer D., Hanke K., He J. On Detecting Systematic Measurement Error in Cross-Cultural Research: A Review and Critical Reflection on Equivalence and Invariance Tests // Journal of Cross-Cultural Psychology. 2018. Vol. 49. № 5. P. 713—734. DOI:10.1177/0022022117749042
- Choi Y.-J., Asilkalkan A.R. Packages for Item Response Theory Analysis: Descriptions and Features // Measurement: Interdisciplinary Research and Perspectives. 2019. Vol. 17. № 3. P. 168—175. DOI:10.1080/15366367.2019.1586404
- Evidence-Based Assessment in Special Education Research: Advancing the Use of Evidence in Assessment Tools and Empirical Processes / E. Talbott, A. De Los Reyes, D.M. Kearns, J. Mancilla-Martinez, M. Wang // Exceptional Children. 2023. Vol. 89. № 4. P. 467—487. DOI:10.1177/00144029231171092
- Fairness in educational and psychological testing: examining theoretical, research, practice, and policy implications of the 2014 standards / Eds. J.L. Jonson, K.F. Geisinger. Washington: American Educational Research Association, 2022. 466 p. DOI:10.2307/j.ctv2kzv0fw
- Flake J.K., Fried E.I. Measurement Schmeasurement: Questionable Measurement Practices and How to Avoid Them // Advances in Methods and Practices in Psychological Science. 2020. Vol. 3. № 4. P. 456—465. DOI:10.1177/2515245920952393
- Funder D.C., Gardiner G. MIsgivings about measurement invariance // European Journal of Personality. 2024. 7 p. Ahead of Print. DOI:10.1177/08902070241228338
- Hajovsky D.B., Chesnut S.R. Examination of differential effects of cognitive abilities on reading and mathematics achievement across race and ethnicity: Evidence with the WJ IV // Journal of School Psychology. 2022. Vol. 93. P. 1—27. DOI:10.1016/j.jsp.2022.05.001
- Han K., Colarelli S.M., Weed N.C. Methodological and statistical advances in the consideration of cultural diversity in assessment: A critical review of group classification and measurement invariance testing // Psychological Assessment. 2019. Vol. 31(12). P. 1481—1496. DOI:10.1037/pas0000731
- Handbook of Item Response Theory: Three Volume Set / Ed. W.J. Van Der Linden. Boca Raton: CRC Press, 2018. 1500 p. DOI:10.1201/9781315119144
- Jöreskog K.G. Simultaneous factor analysis in several populations // Psychometrika. 1971. Vol. 36. P. 409—426. DOI:10.1007/BF02291366
- Li H., Hunter C.V., Bialo J.A. A Revisit of Zumbo’s Third Generation DIF: How Are We Doing in Language Testing? // Language Assessment Quarterly. 2022. Vol. 19. № 1. P. 27—53. DOI:10.1080/15434303.2021.1963253
- Luong R., Flake J.K. Measurement invariance testing using confirmatory factor analysis and alignment optimization: A tutorial for transparent analysis planning and reporting // Psychological Methods. 2023. Vol. 28(4). P. 905—924. DOI:10.1037/met0000441
- Measurement Invariance in Relation to First Language: An Evaluation of German Reading and Spelling Tests / L. Visser, F. Cartschau, A. Von Goldammer, J. Brandenburg, M. Timmerman, M. Hasselhorn, C. Mähler // Applied Measurement in Education. 2023. Vol. 36. № 2. P. 115—131. DOI:10.1080/08957347.2023.2201701
- Measurement invariance in the social sciences: Historical development, methodological challenges, state of the art, and future perspectives / H. Leitgöb, D. Seddig, T. Asparouhov (et al.) // Social Science Research. 2023. Vol. 110. Article ID 102805. 30 p. DOI:10.1016/j.ssresearch.2022.102805
- Measuring the development of general language skills in English as a foreign language—Longitudinal invariance of the C-test / B. Schnoor, J. Hartig, T. Klinger, A. Naumann, I. Usanova // Language Testing. 2023. Vol. 40. № 3. P. 796—819. DOI:10.1177/02655322231159829
- Meredith W. Notes on factorial invariance // Psychometrika. 1964. Vol. 29. P. 177—185. DOI:10.1007/BF02289699
- Methodological Issues in Literacy Research Across Languages: Evidence From Alphabetic Orthographies / T.C. Papadopoulos, V. Csépe, M. Aro, M. Caravolas, I.-A. Diakidoy, T. Olive // Reading Research Quarterly. 2021. Vol. 56. № S1. P. S351—S370. DOI:10.1002/rrq.407
- Miller L.A., Lovler R.L. Foundations of psychological testing: A practical approach. Thousand Oaks: SAGE Publications Inc, 2020. 592 p.
- Millsap R.E., Meredith W. Factorial invariance: Historical perspectives and new problems // Factor analysis at 100: Historical developments and future directions / Eds. R. Cudeck, R.C. MacCallum. New York: Routledge, 2007. P. 131—152. DOI:10.4324/9780203936764
- Millsap R.E. Statistical approaches to measurement invariance. New York: Routledge, 2011. 368 p. DOI:10.4324/9780203821961
- Molenaar D. A flexible moderated factor analysis approach to test for measurement invariance across a continuous variable // Psychological Methods. 2020. Vol. 26(6). P. 660—679. DOI:10.1037/met0000360
- Non-invariance? An Overstated Problem With Misconceived Causes / C. Welzel, L. Brunkert, S. Kruse, R.F. Inglehart // Sociological Methods & Research. 2023. Vol. 52. № 3. P. 1368—1400. DOI:10.1177/0049124121995521
- Pedraza O., van de Vijver F.J.R. Bias, equivalence, and fairness // Clinical cultural neuroscience: An integrative approach to cross-cultural neuropsychology / Ed. O. Pedraza. Oxford: Oxford University Press, 2020. P. 252—275.
- Putnick D.L., Bornstein M.H. Measurement invariance conventions and reporting: The state of the art and future directions for psychological research // Developmental Review. 2016. Vol. 41. P. 71—90. DOI:10.1016/j.dr.2016.06.004
- Robitzsch A., Lüdtke O. Why Full, Partial, or Approximate Measurement Invariance Are Not a Prerequisite for Meaningful and Valid Group Comparisons // Structural Equation Modeling: A Multidisciplinary Journal. 2023. Vol. 30. № 6. P. 859—870. DOI:10.1080/10705511.2023.2191292
- Svetina D., Rutkowski L., Rutkowski D. Multiple-Group Invariance with Categorical Outcomes Using Updated Guidelines: An Illustration Using Mplus and the lavaan/semTools Packages // Structural Equation Modeling: A Multidisciplinary Journal. 2020. Vol. 27. № 1. P. 111—130. DOI:10.1080/10705511.2019.1602776
- Tay L., Meade A.W., Cao M. An Overview and Practical Guide to IRT Measurement Equivalence Analysis // Organizational Research Methods. 2015. Vol. 18. № 1. P. 3—46. DOI:10.1177/1094428114553062
- The Standards for educational and psychological testing [Электронный ресурс] // American Psychological Association. Washington, 2009. URL: https://www.apa.org/science/programs/testing/standards (дата обращения: 25.06.2024).
- The dire disregard of measurement invariance testing in psychological science / E. Maassen, E.D. D’Urso, M.A.L.M. Van Assen, M.B. Nuijten, K. De Roover, J.M. Wicherts // Psychological Methods. 2023. 14 p. DOI:10.1037/met0000624
- Van de Vijver F.J., Leung K. Methods and data analysis for cross-cultural research. Cambridge: Cambridge University Press, 2021. 250 p. DOI:10.1017/9781107415188
- Vandenberg R.J., Lance C.E. A Review and Synthesis of the Measurement Invariance Literature: Suggestions, Practices, and Recommendations for Organizational Research // Organizational Research Methods. 2000. Vol. 3. № 1. P. 4—70. DOI:10.1177/109442810031002
- Why Measurement Invariance is Important in Comparative Research. A Response to Welzel et al. (2021) / B. Meuleman, T. Żółtak, A. Pokropek, E. Davidov, B. Muthén, D.L. Oberski, J. Billiet, P. Schmidt // Sociological Methods & Research. 2023. Vol. 52. № 3. P. 1401—1419. DOI:10.1177/00491241221091755
- Wicherts J.M. The importance of measurement invariance in neurocognitive ability testing // The Clinical Neuropsychologist. 2016. Vol. 30. № 7. P. 1006—1016. DOI:10.1080/13854046.2016.1205136
- Widaman K.F., Ferrer E., Conger R.D. Factorial Invariance Within Longitudinal Structural Equation Models: Measuring the Same Construct Across Time // Child Development Perspectives. 2010. Vol. 4. № 1. P. 10—18. DOI:10.1111/j.1750-8606.2009.00110.x
- Widaman K.F., Reise S.P. Exploring the measurement invariance of psychological instruments: Applications in the substance use domain // The science of prevention: Methodological advances from alcohol and substance abuse research / Eds. K.J. Bryant, M. Windle, S.G. West. Washington: American Psychological Association, 1997. P. 281—324. DOI:10.1037/10222-009
- Wingen T., Berkessel J.B., Englich B. No Replication, No Trust? How Low Replicability Influences Trust in Psychology // Social Psychological and Personality Science. 2020. Vol. 11. № 4. P. 454—463. DOI:10.1177/1948550619877412
Информация об авторах
Метрики
Просмотров
Всего: 148
В прошлом месяце: 24
В текущем месяце: 6
Скачиваний
Всего: 50
В прошлом месяце: 3
В текущем месяце: 3