Новый подход к компьютеризированному адаптивному тестированию ¹¹¹⁴

Представлен новый подход к компьютеризированному адаптивному тестированию, модель предъявления заданий которого описывается с помощью марковских процессов с дискретными состояниями и дискретным временем. Этот подход опирается на обобщение модели Г. Раша и имеет существенные преимущества перед адаптивным тестированием на базе современной теории тестирования (IRT). Преимуществами разработанного подхода являются: учёт особенностей процесса выполнения предъявленных заданий, включая затраченное на них время; прогнозирование поведения испытуемых; возможность самообучения и улучшения характеристик модели в процессе тестирования; простая процедура идентификации модели, использующая доступные результаты наблюдений. Разработанная модель адаптивного тестирования обобщается на случаи политомических заданий и нескольких шкал измерений.

Ключевые слова: Марковские цепи, адаптивное тестирование, IRT, компьютеризированное адаптивное тестирование

Рубрика: Методы исследования

Тип: научная статья

DOI: https://doi.org/10.17759/exppsy.2017100303

Процедуры тестирования все чаще используются во многих современных приложениях, требующих оценки поведения людей или машин. Согласно традиционным моделям, основанным на классической теории тестирования, для измерения уровня определенного умения или способности испытуемого настолько точно, насколько это возможно, эти процедуры должны включать большое количество заданий, затрудняющих использование тестов. Выход из этой ситуации обеспечивает компьютеризированное адаптивное тестирование (CAT), развитию которого в значительной мере способствовали современные технологии и вычислительные возможности, появившиеся наряду с разработкой современной теории тестирования (IRT). Использование IRT или других подходов CAT — это метод администрирования тестов и измерения латентных конструктов с помощью небольшого количества тестовых заданий и как можно более точно (Thompson, Weiss, 2011).

1. Burden R.L., Faires J.D. Numerical Analysis. Brooks/Cole, Cengage Learning, 9th Ed., 2011. 895 pp.
2. Kohonen T. Self-Organizing Maps. Springer, 3th Ed., 2001. 501 pp.
3. Kuravsky L.S., Marmalyuk P.A., Yuryev G.A., Dumin P.N. A Numerical Technique for the Identification of Discrete-State Continuous-Time Markov Models// Applied Mathematical Sciences. 2015. Vol. 9. № 8. P. 379—391. URL: https://doi.org/10.12988/ams. 2015.410882.
4. Kuravsky L.S., Margolis A.A., Marmalyuk P.A., Panfilova A.S., Yuryev G.A., Dumin P.N. A Probabilistic Model of Adaptive Training // Applied Mathematical Sciences. 2016. Vol. 10. № 48. P. 2369—2380. http:// dx.doi.org/10.12988/ams.2016.65168.
5. Куравский Л.С., Марголис А.А., Мармалюк П.А., Юрьев Г.А., Думин П.Н. Обучаемые марковские модели в задачах оптимизации порядка предъявления психологических тестов // Нейрокомпьютеры: разработка и применение. 2013. № 4. С. 28—38.
6. Kuravsky L.S., Marmalyuk P.A., Baranov S.N., Alkhimov V.I., Yuryev G.A., Artyukhina S.V. A New Technique for Testing Professional Skills and Competencies and Examples of its Practical Applications // Applied Mathematical Sciences. 2015. Vol. 9. № 21. Р. 1003—1026. https://doi.org/10.12988/ams.2015.411899.
7. Куравский Л.С., Юрьев Г.А. Использование марковских моделей при обработке результатов тестирования // Вопросы психологии. 2011. № 2. С. 98—107.
8. Thompson N.A., Weiss D.J. A framework for the development of computerized adaptive tests // Practical Assessment, Research & Evaluation. 2011. Vol. 16(1). P. 1—9.
9. Torre J. de la, Patz R.J. Making the Most of What We Have: A Practical Application of Multidimensional Item Response Theory in Test Scoring // Journal of Educational and Behavioral Statistics. 2005. Vol. 30(3). Р. 295—311. doi:10.3102/10769986030003295.
10. Wilkinson J.H. The Algebraic Eigenvalue Problem, Oxford, Clarendon Press, 1988. 662 pp.