Моделирование и анализ данных 2013. Том. 3, № 1. С. 4–28
ISSN:
2219-3758 / 2311-9454 (online)
Новый подход к построению интеллектуальных и компетентностных тестов *982
Куравский Л.С. доктор технических наук, декан факультета информационных технологий, Московский государственный психолого-педагогический университет (ФГБОУ ВО МГППУ), Москва, Россия ORCID: https://orcid.org/0000-0002-3375-8446 e-mail: l.s.kuravsky@gmail.com
Мармалюк П.А. кандидат технических наук, заведующий лабораторией математической психологии и прикладного программного обеспечения, ФГБОУ ВО МГППУ, Москва, Россия e-mail: ykk.mail@gmail.com
Алхимов В.И. доктор физико-математических наук, профессор кафедры прикладной математики факультета информационных технологий, ФГБОУ ВО МГППУ, Москва, Россия e-mail: alvaliv@list.ru
Юрьев Г.А. кандидат физико-математических наук, доцент, заведующий научной лабораторией, Московский государственный психолого-педагогический университет (ФГБОУ ВО МГППУ), Москва, Россия ORCID: https://orcid.org/0000-0002-2960-6562 e-mail: g.a.yuryev@gmail.com
Предложен новый подход к построению интеллектуальных и компетентностных тестов, основанный на представлении движения взора испытуемого по поверхности стимулов с помощью одной из наиболее общих разновидностей случайных процессов и технологиях его последующего анализа. Особое внимание уделено математическому обоснованию рассмотренных методов. В качестве иллюстрации приведён пример практического применения полученных результатов для выявления уровня математической подготовки студентов и школьников.
* Работа выполнена при поддержке Российского фонда фундаментальных исследований в рамках научного проекта №10-06-00423а. Публикация этой статьи согласована с журналом «Экспериментальная психология», где был опубликован её первый вариант.
Компьютерное тестирование в настоящее время широко используется в медицине,
психологии и образовании с целью диагностики, определения уровня компетенций и
пригодности испытуемых для выполнения тех или иных функций, включая контроль
качества обучения. Качество тестирования и достоверность его результатов в
значительной степени зависят от технологий проведения тестов, которые в
последние десятилетия стали предметом активных научных исследований.
В первое время тесты строились на основе классической теории тестирования
[28, 36, 37], в основе которой лежит теория погрешности измерений,
заимствованная из физики: полагалось, что измеряемые характеристики имеют
некоторые «истинные» значения, искажаемые случайными и систематическими
погрешностями. Этот подход получил определённое распространение, однако его
практическому применению препятствует ряд существенных недостатков.
Литература
Барабанщиков В.А.Окуломоторные структуры восприятия. – М.: ИП РАН,
1997. – 384 с.
Барабанщиков В.А. Восприятие выражений лица. – М.: ИП РАН, 2009. –
448 с.
Барабанщиков В.А. Экспрессии лица и их восприятие. – М.: ИП РАН,
2012.
Барабанщиков В.А. Восприятие индивидуально-психологических
особенностей человека по изображению целого и частично открытого лица. –
Экспериментальная психология, 2008, №1, с. 62-83.
Барабанщиков В.А., Ананьева К.И., Харитонов В.Н. Организация
движений глаз при вос- приятии изображений лица. – Экспериментальная
психология, 2009, №2,с. 31-60.
Барабанщиков В.А., Демидов А.А. Экспериментальная психология в
России: современ- ное состояние и перспективы развития. – Экспериментальная
психология, 2011, №1, с. 134-140.
Барабанщиков В.А., Майнина И. Н. Оценка «глубинных»
индивидуально-психологических особенностей человека по фотоизображению его
лица. – Экспериментальная психо- логия, 2010, №4, с. 50-71.
Безруких М. М., Демидов А. А., Иванов В. В. (2009) Возрастные
особенности окуломо- торной активности детей в процессе чтения // Психология
человека в современном мире. Том 2: матер. Всеросс. юбил. науч. конф., посв.
120-летию со дня рождения С.Л. Рубин- штейна. С. 151-155.
Демидов А.А., Жегалло А.В. (2008). Оборудование SMI для
регистрации движений глаз: тест-драйв. Экспериментальная психология (№1),
149-159.
Жегалло А.В. (2009). Система регистрации движений глаз SMI High
Speed: особенности использования. Экспериментальная психология (№4),
111-117.
Крамер Г. Математические методы статистики. – М.: Мир, 1976. – 648
с.
Куравский Л. С., Баранов С. Н. Применение нейронных сетей для
диагностики и прогно- зирования усталостного разрушения тонкостенных
конструкций. – Нейрокомпьютеры: разработка и применение, 2001, №12, с.
47-63.
Куравский Л. С., Баранов С. Н. Синтез сетей Маркова для
прогнозирования усталостного разрушения. – Нейрокомпьютеры: разработка и
применение, 2002, №11, с. 29-40.
Куравский Л.С., Баранов С.Н., Корниенко П.А. Обучаемые
многофакторные сети Марко- ва и их применение для исследования психологических
характеристик. – Нейрокомпью- теры: разработка и применение, №12, 2005. – с.
65-76.
Куравский Л.С., Баранов С.Н., Корниенко П.А. Обучаемые
многофакторные сети Марко- ва и их применение для исследования психологических
характеристик. – Нейрокомпью- теры: разработка и применение, №12, 2005. – с.
65-76.
Куравский Л.С., Баранов С.Н., Малых С.Б. Нейронные сети в задачах
прогнозирования, диагностики и анализа данных: Учеб. пособие. – М.: РУСАВИА,
2003. – 100 с.
Куравский Л.С., Баранов С.Н., Юрьев Г.А. Синтез и идентификация
скрытых марковских моделей для диагностики усталостного разрушения. –
Нейрокомпьютеры: разработка и применение, №12, 2010, с. 20-36.
Куравский Л.С., Марголис А.А., Юрьев Г.А., Мармалюк П.А. Концепция
системы под- держки принятия решений для психологического тестирования. –
Психологическая наука и образование, №1, 2012, с. 56-65.
Куравский Л.С., Мармалюк П.А., Алхимов В.И., Юрьев Г.А.
Математические основы но- вого подхода к построению процедур тестирования. –
Экспериментальная психология, т.5, №4, 2012, с. 75-98.
Куравский Л.С., Юрьев Г.А. Адаптивное тестирование как марковский
процесс: модели и их идентификация. – Нейрокомпьютеры: разработка и применение,
№2, 2011, с. 21-29.
Куравский Л.С., Юрьев Г.А. Вероятностный метод фильтрации
артефактов при адаптив- ном тестировании. – Экспериментальная психология, т.5,
No.1, 2012, с. 119-131.
Куравский Л.С., Юрьев Г.А. Использование марковских моделей при
обработке результа- тов тестирования. – Вопросы психологии, №2, 2011, с.
98-107.
Куравский Л.С., Юрьев Г.А. Использование марковских моделей при
обработке результа- тов тестирования. – Вопросы психологии, №2, 2011, с.
98-107.
Куравский Л.С., Юрьев Г.А. Об одном подходе к адаптивному
тестированию и устране- нию его артефактов. // Нейрокомпьютеры: разработка и
применение, №1, 2012.
Мармалюк П.А., Звонкина О.М. Опорные показатели глазодвигательной
активности при прохождении теста Равена и автоматизация их расчёта // Молодые
ученые – нашей новой школе. Матер. XIМежвуз. науч.-практ. конф. с межд.
участием – М.: МГППУ, 2012 – с. 350 – 352.
Панфилова А.С. Система тестирования интеллекта на базе факторных
моделей и само- организующихся карт Кохонена. // Нейрокомпьютеры: разработка и
применение, №9, 2012 с. 6-12.
Тихонов В.И., Шахтарин Б.И., Сизых В.В. Случайные процессы.
Примеры и задачи. /Т.5. Оценка сигналов, их параметров и спектров. Основы
теории информации. – М.: Горячая линия-Телеком, 2009. – 400 с.
Тюменева Ю.А. Психологическое измерение. – М.: Аспект-Пресс,
2007.
Хохлова А. А. Исследование глазодвигательной активности при
прохождении матричного теста интеллекта Равена // Молодые ученые – нашей новой
школе. Матер. X науч.-практ. межвуз. конф. – М.: МГППУ, 2011 – с. 343-345.
Шахтарин Б.И. Случайные процессы в радиотехнике. /Т.1. Линейные
преобразования. – М.: Горячая линия-Телеком, 2010. – 520 с.
Baker F.B. The Basics of Item Response Theory. ERIC Clearinghouse
on Assessment and Evaluation, University of Maryland, College Park, MD,
2001.
Brandt S.A., Stark L.W. (1997). Spontaneous eye movements during
visual imagery reflect the content of the visual scene. Journal of Cognitive
Neuroscience, 9, 27-38.
Cagli R.C., Coraggio P., Napoletano P., Boccignone G. (2008). What
the draughtsman’s hand tells the draughtsman’s eye: A sensorimotor account of
drawing. International Journal of Pattern Recognition and Artificial
Intelligence, 22, 1015-1029.
Dayan, P. (1993). Improving generalization for temporal difference
learning: The successor representation. Neural Computation, 5, 613-624.
Ellis S.R., Stark L. (1986). Statistical dependency in visual
scanning. Human Factors, 28, 421-438.
Gregory R.J. Psychological testing: History, principles, and
applications (5th edition). – New York: Pearson, 2007.
Gulliksen H. Theory of Mental Tests. – John Wiley & Sons Inc,
1950.
Hayes Т.R., Petrov A.A., Sederberg P.B. A novel method for
analyzing sequential eye movements reveals strategic influence on Raven’s
Advanced Progressive Matrices. Journal of Vision, 2011, 10, 1-11.
Jansen A.R., Marriott K., Yelland G.W. (2007). Parsing of
algebraic expressions by experienced users of mathematics. European Journal of
Cognitive Psychology, 19, 286-320.
Kuravsky L. S., Baranov S. N. Condition monitoring of the
structures suffered acoustic fatigue failure and forecasting their service
life. – In: Proc. Condition Monitoring 2003, Oxford, United Kingdom, July 2003,
pp. 256-279.
Kuravsky L. S., Malykh S. B. On the application of queuing theory
for analysis of twin data. – Twin Research, 2000; 3: pp. 92-98.
Kuravsky L.S. and Baranov S.N. Condition monitoring of the
structures suffered acoustic fatigue failure and forecasting their service
life. – Proc. Condition Monitoring 2003, Oxford, United Kingdom, pp. 256-279,
July 2003.
Kuravsky L.S. and Baranov S.N. Neural networks in fatigue damage
recognition: diagnostics and statistical analysis. – In: Proc. 11th
International Congress on Sound and Vibration, St.- Petersburg, Russia, July
2004, pp. 2929-2944.
Kuravsky L.S. and Baranov S.N. The concept of multifactor Markov
networks and its application to forecasting and diagnostics of technical
systems. – In: Proc. Condition Monitoring 2005, Cambridge, United Kingdom, pp.
111-117, July 2005.
Kuravsky L.S., Baranov S.N. and Yuryev G.A. Synthesis and
identification of hidden Markov models based on a novel statistical technique
in condition monitoring. – In: Proc. 7th International Conference on Condition
Monitoring & Machinery Failure Prevention Technologies, Stratford-
upon-Avon, England, June 2010. – 23 pp.
Myers C.W., Schoelles M. J. (2005). ProtoMatch: A tool for
analyzing high-density, sequential eye gaze and cursor protocols. Behavior
Research Methods, 37, 256-270.
Patalano A. L., Juhasz B. J. and Dicke О. (2010) The Relationship
Between Indecisiveness and Eye Movement Patterns in a Decision Making
Informational Search Task // Journal of Behavioral Decision Making, 23:
353-368.
Ponsoda V., Scott D., Findlay J.M. (1995). A probability vector
and transition matrix analysis of eye movements during visual search.
ActaPsychologica, 88, 167-185.
Rabiner L. R. (1989). A tutorial on hidden Markov models and
selected applications in speech recognition. Proceedings of the IEEE, 77,
257-286.
Rasch, G. Probabilistic models for some intelligence and
attainment tests. // Copenhagen, Danish Institute for Educational Research,
expanded edition (1980) with foreword and afterword by B.D. Wright. Chicago:
TheUniversityofChicagoPress. 1960/1980.
Rayner K. (1998) Eye movements in reading and information
processing: 20 years of research // Psychological Bulletin. V. 124. P.
372-422.
Simola J., Salojarvi, Kojo I. (2008). Using hidden Markov model to
uncover processing states from eye movements in information search tasks.
Cognitive Systems Research, 9, 237-251.
Van der Lans R., Pieters R., Wedel M. (2008). Eyemovement analysis
of search effectiveness. Journal of the American Statistical Association, 103,
452-461.
Vigneau F., Caissie A., Bors D. Eye-movement analysis demonstrates
strategic influences on intelligence // Intelligence 34, 2006. P. 261-272.