Новый подход к построению интеллектуальных и компетентностных тестов ^{* 943}

Предложен новый подход к построению интеллектуальных и компетентностных тестов, основанный на представлении движения взора испытуемого по поверхности стимулов с помощью одной из наиболее общих разновидностей случайных процессов и технологиях его последующего анализа. Особое внимание уделено математическому обоснованию рассмотренных методов. В качестве иллюстрации приведён пример практического применения полученных результатов для выявления уровня математической подготовки студентов и школьников.

Ключевые слова: тестирование, марковский процесс, уравнение Фоккера-Планка-Колмогорова, уравнения Колмогорова

Рубрика: Моделирование

Тип: научная статья

* Работа выполнена при поддержке Российского фонда фундаментальных исследований в рамках научного проекта №10-06-00423а. Публикация этой статьи согласована с журналом «Экспериментальная психология», где был опубликован её первый вариант.

Компьютерное тестирование в настоящее время широко используется в медицине, психологии и образовании с целью диагностики, определения уровня компетенций и пригодности испытуемых для выполнения тех или иных функций, включая контроль качества обучения. Качество тестирования и достоверность его результатов в значительной степени зависят от технологий проведения тестов, которые в последние десятилетия стали предметом активных научных исследований.

В первое время тесты строились на основе классической теории тестирования [28, 36, 37], в основе которой лежит теория погрешности измерений, заимствованная из физики: полагалось, что измеряемые характеристики имеют некоторые «истинные» значения, искажаемые случайными и систематическими погрешностями. Этот подход получил определённое распространение, однако его практическому применению препятствует ряд существенных недостатков.

1. Барабанщиков В.А.Окуломоторные структуры восприятия. – М.: ИП РАН, 1997. – 384 с.
2. Барабанщиков В.А. Восприятие выражений лица. – М.: ИП РАН, 2009. – 448 с.
3. Барабанщиков В.А. Экспрессии лица и их восприятие. – М.: ИП РАН, 2012.
4. Барабанщиков В.А. Восприятие индивидуально-психологических особенностей человека по изображению целого и частично открытого лица. – Экспериментальная психология, 2008, №1, с. 62-83.
5. Барабанщиков В.А., Ананьева К.И., Харитонов В.Н. Организация движений глаз при вос- приятии изображений лица. – Экспериментальная психология, 2009, №2,с. 31-60.
6. Барабанщиков В.А., Демидов А.А. Экспериментальная психология в России: современ- ное состояние и перспективы развития. – Экспериментальная психология, 2011, №1, с. 134-140.
7. Барабанщиков В.А., Майнина И. Н. Оценка «глубинных» индивидуально-психологических особенностей человека по фотоизображению его лица. – Экспериментальная психо- логия, 2010, №4, с. 50-71.
8. Безруких М. М., Демидов А. А., Иванов В. В. (2009) Возрастные особенности окуломо- торной активности детей в процессе чтения // Психология человека в современном мире. Том 2: матер. Всеросс. юбил. науч. конф., посв. 120-летию со дня рождения С.Л. Рубин- штейна. С. 151-155.
9. Демидов А.А., Жегалло А.В. (2008). Оборудование SMI для регистрации движений глаз: тест-драйв. Экспериментальная психология (№1), 149-159.
10. Жегалло А.В. (2009). Система регистрации движений глаз SMI High Speed: особенности использования. Экспериментальная психология (№4), 111-117.
11. Крамер Г. Математические методы статистики. – М.: Мир, 1976. – 648 с.
12. Куравский Л. С., Баранов С. Н. Применение нейронных сетей для диагностики и прогно- зирования усталостного разрушения тонкостенных конструкций. – Нейрокомпьютеры: разработка и применение, 2001, №12, с. 47-63.
13. Куравский Л. С., Баранов С. Н. Синтез сетей Маркова для прогнозирования усталостного разрушения. – Нейрокомпьютеры: разработка и применение, 2002, №11, с. 29-40.
14. Куравский Л.С., Баранов С.Н., Корниенко П.А. Обучаемые многофакторные сети Марко- ва и их применение для исследования психологических характеристик. – Нейрокомпью- теры: разработка и применение, №12, 2005. – с. 65-76.
15. Куравский Л.С., Баранов С.Н., Корниенко П.А. Обучаемые многофакторные сети Марко- ва и их применение для исследования психологических характеристик. – Нейрокомпью- теры: разработка и применение, №12, 2005. – с. 65-76.
16. Куравский Л.С., Баранов С.Н., Малых С.Б. Нейронные сети в задачах прогнозирования, диагностики и анализа данных: Учеб. пособие. – М.: РУСАВИА, 2003. – 100 с.
17. Куравский Л.С., Баранов С.Н., Юрьев Г.А. Синтез и идентификация скрытых марковских моделей для диагностики усталостного разрушения. – Нейрокомпьютеры: разработка и применение, №12, 2010, с. 20-36.
18. Куравский Л.С., Марголис А.А., Юрьев Г.А., Мармалюк П.А. Концепция системы под- держки принятия решений для психологического тестирования. – Психологическая наука и образование, №1, 2012, с. 56-65.
19. Куравский Л.С., Мармалюк П.А., Алхимов В.И., Юрьев Г.А. Математические основы но- вого подхода к построению процедур тестирования. – Экспериментальная психология, т.5, №4, 2012, с. 75-98.
20. Куравский Л.С., Юрьев Г.А. Адаптивное тестирование как марковский процесс: модели и их идентификация. – Нейрокомпьютеры: разработка и применение, №2, 2011, с. 21-29.
21. Куравский Л.С., Юрьев Г.А. Вероятностный метод фильтрации артефактов при адаптив- ном тестировании. – Экспериментальная психология, т.5, No.1, 2012, с. 119-131.
22. Куравский Л.С., Юрьев Г.А. Использование марковских моделей при обработке результа- тов тестирования. – Вопросы психологии, №2, 2011, с. 98-107.
23. Куравский Л.С., Юрьев Г.А. Использование марковских моделей при обработке результа- тов тестирования. – Вопросы психологии, №2, 2011, с. 98-107.
24. Куравский Л.С., Юрьев Г.А. Об одном подходе к адаптивному тестированию и устране- нию его артефактов. // Нейрокомпьютеры: разработка и применение, №1, 2012.
25. Мармалюк П.А., Звонкина О.М. Опорные показатели глазодвигательной активности при прохождении теста Равена и автоматизация их расчёта // Молодые ученые – нашей новой школе. Матер. XIМежвуз. науч.-практ. конф. с межд. участием – М.: МГППУ, 2012 – с. 350 – 352.
26. Панфилова А.С. Система тестирования интеллекта на базе факторных моделей и само- организующихся карт Кохонена. // Нейрокомпьютеры: разработка и применение, №9, 2012 с. 6-12.
27. Тихонов В.И., Шахтарин Б.И., Сизых В.В. Случайные процессы. Примеры и задачи. /Т.5. Оценка сигналов, их параметров и спектров. Основы теории информации. – М.: Горячая линия-Телеком, 2009. – 400 с.
28. Тюменева Ю.А. Психологическое измерение. – М.: Аспект-Пресс, 2007.
29. Хохлова А. А. Исследование глазодвигательной активности при прохождении матричного теста интеллекта Равена // Молодые ученые – нашей новой школе. Матер. X науч.-практ. межвуз. конф. – М.: МГППУ, 2011 – с. 343-345.
30. Шахтарин Б.И. Случайные процессы в радиотехнике. /Т.1. Линейные преобразования. – М.: Горячая линия-Телеком, 2010. – 520 с.
31. Baker F.B. The Basics of Item Response Theory. ERIC Clearinghouse on Assessment and Evaluation, University of Maryland, College Park, MD, 2001.
32. Brandt S.A., Stark L.W. (1997). Spontaneous eye movements during visual imagery reflect the content of the visual scene. Journal of Cognitive Neuroscience, 9, 27-38.
33. Cagli R.C., Coraggio P., Napoletano P., Boccignone G. (2008). What the draughtsman’s hand tells the draughtsman’s eye: A sensorimotor account of drawing. International Journal of Pattern Recognition and Artificial Intelligence, 22, 1015-1029.
34. Dayan, P. (1993). Improving generalization for temporal difference learning: The successor representation. Neural Computation, 5, 613-624.
35. Ellis S.R., Stark L. (1986). Statistical dependency in visual scanning. Human Factors, 28, 421-438.
36. Gregory R.J. Psychological testing: History, principles, and applications (5th edition). – New York: Pearson, 2007.
37. Gulliksen H. Theory of Mental Tests. – John Wiley & Sons Inc, 1950.
38. Hayes Т.R., Petrov A.A., Sederberg P.B. A novel method for analyzing sequential eye movements reveals strategic influence on Raven’s Advanced Progressive Matrices. Journal of Vision, 2011, 10, 1-11.
39. Jansen A.R., Marriott K., Yelland G.W. (2007). Parsing of algebraic expressions by experienced users of mathematics. European Journal of Cognitive Psychology, 19, 286-320.
40. Kuravsky L. S., Baranov S. N. Condition monitoring of the structures suffered acoustic fatigue failure and forecasting their service life. – In: Proc. Condition Monitoring 2003, Oxford, United Kingdom, July 2003, pp. 256-279.
41. Kuravsky L. S., Malykh S. B. On the application of queuing theory for analysis of twin data. – Twin Research, 2000; 3: pp. 92-98.
42. Kuravsky L.S. and Baranov S.N. Condition monitoring of the structures suffered acoustic fatigue failure and forecasting their service life. – Proc. Condition Monitoring 2003, Oxford, United Kingdom, pp. 256-279, July 2003.
43. Kuravsky L.S. and Baranov S.N. Neural networks in fatigue damage recognition: diagnostics and statistical analysis. – In: Proc. 11th International Congress on Sound and Vibration, St.- Petersburg, Russia, July 2004, pp. 2929-2944.
44. Kuravsky L.S. and Baranov S.N. The concept of multifactor Markov networks and its application to forecasting and diagnostics of technical systems. – In: Proc. Condition Monitoring 2005, Cambridge, United Kingdom, pp. 111-117, July 2005.
45. Kuravsky L.S., Baranov S.N. and Yuryev G.A. Synthesis and identification of hidden Markov models based on a novel statistical technique in condition monitoring. – In: Proc. 7th International Conference on Condition Monitoring & Machinery Failure Prevention Technologies, Stratford- upon-Avon, England, June 2010. – 23 pp.
46. Myers C.W., Schoelles M. J. (2005). ProtoMatch: A tool for analyzing high-density, sequential eye gaze and cursor protocols. Behavior Research Methods, 37, 256-270.
47. Patalano A. L., Juhasz B. J. and Dicke О. (2010) The Relationship Between Indecisiveness and Eye Movement Patterns in a Decision Making Informational Search Task // Journal of Behavioral Decision Making, 23: 353-368.
48. Ponsoda V., Scott D., Findlay J.M. (1995). A probability vector and transition matrix analysis of eye movements during visual search. ActaPsychologica, 88, 167-185.
49. Rabiner L. R. (1989). A tutorial on hidden Markov models and selected applications in speech recognition. Proceedings of the IEEE, 77, 257-286.
50. Rasch, G. Probabilistic models for some intelligence and attainment tests. // Copenhagen, Danish Institute for Educational Research, expanded edition (1980) with foreword and afterword by B.D. Wright. Chicago: TheUniversityofChicagoPress. 1960/1980.
51. Rayner K. (1998) Eye movements in reading and information processing: 20 years of research // Psychological Bulletin. V. 124. P. 372-422.
52. Salvucci D.D., Anderson J.R. (2001). Automated eye-movement protocol analysis. Human- Computer Interaction, 16, 39-86.
53. Simola J., Salojarvi, Kojo I. (2008). Using hidden Markov model to uncover processing states from eye movements in information search tasks. Cognitive Systems Research, 9, 237-251.
54. Van der Lans R., Pieters R., Wedel M. (2008). Eyemovement analysis of search effectiveness. Journal of the American Statistical Association, 103, 452-461.
55. Vigneau F., Caissie A., Bors D. Eye-movement analysis demonstrates strategic influences on intelligence // Intelligence 34, 2006. P. 261-272.
56. Wright B.D., Masters G.N. Rating scale analysis. Rasch measurements. – Chicago: MESA Press, 1982.
57. Wright B.D., Stone M.N. Best Test Design. – Chicago: MESA Press, 1979.