Новый подход к построению интеллектуальных и компетентностных тестов*

863

Аннотация

Предложен новый подход к построению интеллектуальных и компетентностных тестов, основанный на представлении движения взора испытуемого по поверхности стимулов с помощью одной из наиболее общих разновидностей случайных процессов и технологиях его последующего анализа. Особое внимание уделено математическому обоснованию рассмотренных методов. В качестве иллюстрации приведён пример практического применения полученных результатов для выявления уровня математической подготовки студентов и школьников.

Общая информация

* Работа выполнена при поддержке Российского фонда фундаментальных исследований в рамках научного проекта №10-06-00423а. Публикация этой статьи согласована с журналом «Экспериментальная психология», где был опубликован её первый вариант.

Ключевые слова: тестирование, марковский процесс, уравнение Фоккера-Планка-Колмогорова, уравнения Колмогорова

Рубрика издания: Моделирование

Тип материала: научная статья

Для цитаты: Куравский Л.С., Мармалюк П.А., Алхимов В.И., Юрьев Г.А. Новый подход к построению интеллектуальных и компетентностных тестов // Моделирование и анализ данных. 2013. Том 3. № 1. С. 4–28.

Полный текст

1.     ВВЕДЕНИЕ

Компьютерное тестирование в настоящее время широко используется в медицине, психологии и образовании с целью диагностики, определения уровня компетенций и пригодности испытуемых для выполнения тех или иных функций, включая контроль качества обучения. Качество тестирования и достоверность его результатов в значительной степени зависят от технологий проведения тестов, которые в последние десятилетия стали предметом активных научных исследований.

В первое время тесты строились на основе классической теории тестирования [28, 36, 37], в основе которой лежит теория погрешности измерений, заимствованная из физики: полагалось, что измеряемые характеристики имеют некоторые «истинные» значения, искажаемые случайными и систематическими погрешностями. Этот подход получил определённое распространение, однако его практическому применению препятствует ряд существенных недостатков:

-     возникают проблемы при сравнении сходных особенностей испытуемых, выявленных с помощью разных методик;

-        не решается проблема валидности;

-       тестовые баллы становятся недостаточно надёжными в областях экстремальных значений;

-       технология в целом недостаточна надёжна и универсальна.

Для преодоления указанных проблем была разработана новая технология тестирования, основанная на латентно-структурном анализе и до сих пор называемая современной теорией тестирования (IteimRespionseTheiory - IRT) [28, 31, 50]. В русскоязычной литературе также используются и другие варианты её названия: теория ответов на вопросы, стохастическая теория тестов, математическая теория измерений, теория латентных черт, теория характеристических кривых заданий, теория моделирования и параметризации педагогических тестов и т.д. Основная концепция данного подхода, предложенного Г. Рашем в 1960 году, предполагает, что вероятность правильного ответа на задание определяется разностью уровня знаний или способностей и трудности теста. В зависимости от условий прикладной задачи на практике используются и другие, более сложные модели, построенные на базе данной концепции [50, 56, 57].

В рамках технологии IRT может быть реализована концепция адаптивного тестирования, согласно которой испытуемому с определённой текущей расчётной оценкой уровня знаний или способностей на каждом шаге тестирования вычисляются и предлагаются задания со сложностью, обеспечивающей наибольшую дифференциацию результатов для разных категорий испытуемых.

Применение технологии IRT приводит к следующим проблемам:

-     «статичность» оценок: игнорирование того факта, что результат тестирования вследствие усталости испытуемых и других факторов может, вообще говоря, существенно изменяться со временем, принимая различные значения в процессе сеанса тестирования;

-     невозможность учёта времени, затрачиваемого на решение тестовых задач, при построении расчётных оценок;

-     необходимость выполнения достаточно большого числа заданий для получения оценок с приемлемой точностью;

-     сравнительно сложная для практической реализации процедура оценки точности результата, связанная с применением метода максимального правдоподобия и расчётом доверительных интервалов.

Указанные проблемы сделали актуальными поиск и разработку новых принципов построения технологий тестирования. Одним из наиболее перспективных результатов в этой области стал новый подход к адаптивному тестированию [15, 18, 20, 22], построенный на использовании обучаемых структур в форме марковских моделей с дискретным и непрерывным временем. Его особенностями, обеспечивающими преимущества перед аналогичными способами тестирования, являются:

-     выявление и использование при построении расчётных оценок временной динамики изменения способности справляться с заданиями теста;

-     возможность учёта при построении расчётных оценок времени, затрачиваемого на решение тестовых задач;

-     возможность исследования временной динамики знаний или способностей как в дискретной, так и в непрерывной временной шкале;

-     меньшее по сравнению с другими подходами число заданий, которое следует предъявлять испытуемому для получения оценок знаний или способностей с заданной точностью, что ускоряет процесс тестирования;

-     получение распределения вероятностей возможных результатов теста в качестве конечного результата;

-            развитая техника идентификации параметров моделей.

Одной из наиболее серьёзных проблем, возникающих в процессе тестирования, является проявление в истории ответов испытуемого влияния искажающих результаты артефактов, обусловленных подсказками, угадыванием и другими формами некорректного целенаправленного вмешательства в процедуру испытаний. Разработанная технология адаптивного тестирования на базе марковских моделей позволяет бороться с этим явлением, устраняя артефакты на основе сравнения наблюдаемых и прогнозируемых результатов ответов на вопросы для разных уровней способностей испытуемых [21, 24]. В качестве инструмента для сравнения используется приспособленный для решения задачи тестирования многомерный непрерывный фильтр Калмана [27, 30] - нестационарная система с обратной связью, включающая в себя как составную часть формирующий фильтр, воспроизводящий идеализированную модель поведения.

Второе перспективное направление в развитии технологий тестирования связано с применением факторных моделей [26]. Его преимуществами по сравнению с другими подходами является отсутствие проблемы оценки сложности заданий тестов, а также возможность описания структуры способностей методами структурного моделирования. Устранение артефактов тестирования в этом случае обеспечивается многомерным цифровым фильтром Калмана. Процедура тестирования является неадаптивной. Этот подход, как и предыдущий, учитывает влияние фактора времени на результаты тестирования и обеспечивает уменьшение времени прохождения процедуры испытаний.

На основе рассмотренных выше технологий тестирования, использующих марковские и факторные модели, разработаны системы поддержки принятия решений [18, 26], которые ускоряют процесс тестирования, оптимизируя предъявление тестовых заданий. Диагностические выводы строятся на основе уточняющихся в процессе тестирования вероятностных оценок принадлежности испытуемых к различным категориям. Подобные инструменты дают практикующему специалисту дополнительную информацию для анализа и, в случае марковских моделей, предоставляют рекомендации по выбору следующего теста, обладающего, по сравнению с прочими, наибольшей для данного испытуемого дифференцирующей способностью. Такие рекомендации, не являясь обязательными и не лишая специалиста возможности получения собственного опыта, направляют его по наиболее эффективному и надёжному пути. Следует отметить, что сам процесс тестирования при этом не становится полностью автоматическим в силу многокомпонентности процедуры оценки способностей и наличия дополнительных неформализуемых критериев.

Все рассмотренные выше технологии тестирования объединяет общий признак: итоговые оценки обычно определяются только по формальным результатам выполнения заданий, предъявляемых испытуемому, без анализа хода его рассуждений и динамики изменения состояния человека в процессе выполнения теста. Это существенно ограничивает возможности измерительной процедуры, что обусловлено, во-первых, её, как правило, значительной продолжительностью, изменяющей психофизиологическое состояние испытуемого и его способности справляться с заданиями, и, во-вторых, упомянутой выше проблемой некорректного целенаправленного вмешательства в процедуру испытаний, искажающего вычисляемые баллы.

Перспективы преодоления этих проблем, по мнению многих экспертов, связаны с включением в процесс тестирования методов современной экспериментальной психологии и, в частности, средств анализа глазодвигательной активности [1-7]. Среди разработанных в этой области общих подходов следует отметить:

-     анализ традиционных параметров траекторий движений глаз (общего времени чтения, усреднённых характеристик фиксаций, прогрессивных и регрессивных саккад и т.д.) [8, 51],

-     анализ специальных показателей траекторий (соотношений времен пребывания взора в различных зонах стимула, частот посещений различных зон стимула и переходов от одной зоны к другой, степени следования испытуемыми различным пространственным стратегиям и т.д.) [25, 29, 47, 55],

-                       анализ символьных последовательностей с использованием метрики различий [32, 46],

-     методы, основанные на исследовании структуры и различных манипуляциях с матрицами переходных вероятностей цепей Маркова [34, 35, 38, 39, 48, 52, 53],

-                       методы, построенные на использовании скрытых марковских моделей [33, 49, 52, 53, 54].

Наиболее перспективными для анализа глазодвигательной активности испытуемых при прохождении тестовых процедур представляются так называемые матрицы представления преемника (SR-матрицы), вычисляемые как пределы сумм степенных последовательностей матриц переходных вероятностей цепей Маркова [34, 38].

Несмотря на отдельные примеры практического применения, развитие и распространение перечисленных выше методов, включая анализ SR-матриц, сдерживается рядом ограничений, наиболее существенными из которых являются слабые возможности для исследования временной динамики движения глаз, неразвитый математический аппарат, низкая степень дифференциации проблемных категорий испытуемых и недостаточная универсальность.

В этой работе предложен новый подход к построению интеллектуальных и компетент- ностных тестов[19], основанный на представлении движения взора испытуемого по поверхности стимулов с помощью одной из наиболее общих разновидностей случайных процессов и технологиях его последующего анализа. Особое внимание уделено математическому обоснованию рассмотренных методов. В качестве иллюстрации приведён пример практического применения полученных результатов для выявления уровня математической подготовки студентов и школьников.

2.     МАТЕМАТИЧЕСКИЕ АСПЕКТЫ НОВОГО ПОДХОДА К ПОСТРОЕНИЮ ТЕСТОВ

Будем полагать, что испытуемым предъявляется плоский стимул прямоугольной формы, представляющий содержательную информацию по определённой тематике. Испытуемые разделены на несколько заранее известных категорий, отражающих уровень знаний или компетенций по данной тематике. Считая, что для каждой из этих категорий имеется идентифицированная по результатам наблюдений оценка распределения вероятностей пребывания взора на поверхности стимула, поставим задачу распознавания категории ® £ Q, к которой принадлежит испытуемый, по данным о движении его взора по поверхности стимула.

Классификация в указанной постановке обеспечивается решением рассмотренных далее следующих подзадач:

-     выбора математического представления движения взора испытуемого по поверхности стимула;

-     идентификации распределения вероятностей пребывания взора на поверхности стимула по результатам наблюдений для всех рассматриваемых категорий испытуемых;

-     оценки вероятности наблюдаемой траектории движения взора по поверхности стимула при условии принадлежности к каждой из заданных категорий испытуемых.

Для вычисления приближённого решения приведённого выше уравнения Фокке- ра-Планка-Колмогорова проведём дискретизацию замкнутой области стимула  прямоугольной сеткой, равномерной вдоль каждой из осей (рис. 1).

Рис. 1. Дискретизация замкнутой области стимула прямоугольной сеткой.

Рис. 2. Произвольная внутренняя ячейка прямоугольной сетки.

 

 

Уравнения для граничных ячеек сетки получаются путём удаления из данного уравнения слагаемых, относящихся к отсутствующим элементам.

 

Процедура вычисления оценок свободных параметров состоит из двух этапов. На подготовительном этапе с помощью электронной таблицы для рассматриваемой системы обыкновенных дифференциальных уравнений кодируется численная схем нтегрирования, позволяющая вычислять вероятностные функции  [12, 13, 16, 40, 41, 42] с некоторым заданным временным шагом. Для вычисления решений с приемлемой точностью оказались достаточными методы Рунге-Кутта или их эквиваленты. Дл решения задачи важно, что электронная таблица поддерживает динамические связи мжду со ржимым ячеек. Ели пом- стить свободные параметры и временной шаг в отдельные ячейки, на которые ссылаются как ячейки, содержащие формулы для вычисления производных в системе дифференциальных уравнений, так и начальные вероятности нахождения в различных состояниях сстемы, то все рше- ние будет автоматически модифицироваться по мере изменения значений свободных параметров.

На заключительном этапе запускается численная процедура многомерной нелинейной оптимизации [12, 13, 16, 40, 41, 42]. Значения параметров, полученные с её помощью, рассматриваются как характеристики математической модели, выявленные в результате наблюдений. Следует отметить, что рассмотренная процедура обеспечивает решение обратной задачи, при котором вычисляются параметры системы дифференциальных уравнений, определяющей решение с заданными характеристиками.

Как правило, идентификация свободных параметров случайных процессов со структурой связей между состояниями, представленной на рис. 3, является сложной вычислительной задачей. Однако имеется эффективный приём, позволяющийупростить эту работу.

Получаемые при этом графы состояний представлены на рис.5 и 6.

Поскольку вероятность пребывания в каждом из сгруппированных состояний равна сумме вероятностей пебывания в составляющих его состояниях исходного случайного процесса, уравнения Колмогорова для вероятностей нахождения взора в сгруппированных состояниях получаются путём согласованного суммирования левых и правых частей всех уравнений (4), которые соответствуют ячейкам, формирующим данные состояния:

 

На практике приведённые выше интегралы для вычисления Р_го заменяются своими численными оценками.

3.     ПРИМЕР ПРАКТИЧЕСКОГО ПРИМЕНЕНИЯ

3.1.     Экспериментальная процедура и оборудование

Рис. 7. Регистрация движений глаз испытуемого с помощью системы SMI HighSpeed.

В эксперименте приняли участие 24 студента и школьника, имеющие нормально или скорректированное до нормального зрение.

Стимульный материал первого задания представлен на рис. 8. Заданный текст содержит контрольную ошибку: в предпоследнем предложении нельзя производить разложение множителя x2+1 на составляющие с вещественными коэффициентами.

Рис. 8. Стимульный материал первого задания, в котором описано решение
задачи на разложение полинома на множители.

Рис. 9. Стимульный материал второго задания, в котором описано решение
алгебраической проблемы собственных значений.

3.2.     Аппроксимация решения и результаты диагностики

Область, на которой располагается стимульный материал, была разбита прямоугольной сеткой размерностью 4x4 на 16 ячеек, что обеспечило высоту строк и ширину столбцов равными, соответственно, 256 и 320 точкам (см. рис. 10).

Для обеспечения лучшего соответствия результатов моделирования наблюдениям, интенсивности переходов между состояниями исследуем ого случайного процесса идентифицировалась по отдельности для следующих друг за другом временных интервалов длительностью 10 секунд. Для решения задачи оптимизации использовалось программное обеспечение компании FrontlineSystems, реализующее метод обобщенного градиентного спуска.

Численное интегрирование систем уравнений Ко мгорова с идентфицирован- ными значениями указанных параметров позволило вычислить погнозируемы вероятности пребывания в сгруппированных состояниях. Зависимости этих вероятностей от времени для второго задания совместно с соответствующими оценками, полученным в результате наблюденй, в качестве иллюстрации прив дены на рис. 11-14. Как видно из графиков, идентификаця свободных параметров моделй приводит к определённому сглаживанию наблюдаемых данных, устраняющему их лучайную «шумовую» составляющую.

Рис. 11. Зависимости от времени (в секундах) прогнозир емых вероятностей пребывания в состояниях, сгруппированных по строкам, и соответствующих им оценок, полученных в результате наблюдений, для испытуемых, выполнивших второе задание: H1-H4 - наблюдаемые оценки (показаны пунктиром), PH1-PH4 - прогнозируемые оценки.


Рис. 12. Зависимости от времени (в секундах) рогнзируемых верояностей пребывания в сост яниях, сгруппированных по строкам, и соответ твующих им оценок, полученных в результате наблюдений, для испытуемых, не выполнивших второе задание: H1-H4 - наблюдаемые оценки (показаны пунктиром), PH1-PH4 - прогнозируемые оценки.

Рис. 13. Зависимости от времени (в секундах) прогнозируемых вероятностей пребывания в состояниях, сгруппированных по столбцам, и соответствующих им оценок, полученных в результате наблюдений, для испыту мых, выполнивших вт рое задание: V1-V4 - наблюдаемые оценки(показаны пунктиром), PV1-PV4 - прогнозируемые оценки.

Рис. 14. Зависимости от времени (в секундах) прогнозируемых вероятностей пребывания в состояниях, сгруппированных по столбцам, и соответствующих им оценок,полученных в результате наблюдений, для испытуемых, не выполнивших второе задание: V1-V4 - наблюдаемые оценки (показаны пунктиром), PV1-PV4- прогнозируемые оценки.


 

4.     ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

1.    Перспективы разработки современных технологий тестирования связаны с включением в измерительный процесс методов современной экспериментальной психологии и, в частности, средств анализа глазодвигательной активности.

2.    Развитие и распространение имеющихся достижений в этой области сдерживается рядом ограничений, наиболее существенными из которых являются слабые возможности для исследования временной динамики движения глаз и неразвитый математический аппарат.

3.    Разработан новый подход к построению интеллектуальных и компетентностных тестов, основанный на представлении движения взора испытуемого по поверхности стимулов с помощью марковского случайного процесса, распределение переходных вероятностей которого удовлетворяет уравнению Фоккера-Планка-Колмогорова, и диагностической процедуре, которая обеспечивается идентификацией распределения вероятностей пребывания взора по поверхности стимула по результатам наблюдений для всех рассматриваемых категорий испытуемых и оценкой вероятности наблюдаемой траектории движения взора при условии принадлежности к каждой из заданных категорий испытуемых.

4.    Разработан метод приближённого решения уравнения Фоккера-Планка-Колмогорова, сводящий исходную задачу к решению задачи Коши для системы обыкновенных дифференциальных уравнений Колмогорова относительно плотностей вероятности пребывания взора на поверхности стимула, усреднённых по площади ячеек его дискретизованной области.

5.    Разработан метод идентификации интенсивностей переходов между ячейками дискретизо­ванной области, входящих в качестве свободных параметров в систему дифференциальных уравнений Колмогорова. Этот метод обеспечивает построение приближений к оценкам максимального правдоподобия и опирается на численную процедуру многомерной нелинейной оптимизации, что обеспечивает решение обратной задачи для указанной системы уравнений.

6.    Предложен статистический критерий для оценки степени соответствия наблюдаемых и прогнозируемых частот пребывания в ячейках дискретизованной области стимула в контрольные моменты времени, построенный на основе анализа регрессионной зависимости этих частот.

7.    Приведённый в данной работе пример практического применения полученных результатов для выявления уровня математической подготовки студентов и школьников свидетельствует об эффективности предложенного подхода к построению процедур тестирования.



[*] Работа выполнена при поддержке Российского фонда фундаментальных исследований в рамках научного проекта №10-06-00423а. Публикация этой статьи согласована с журналом «Экспериментальная психология», где был опубликован её первый вариант [19].

Литература

  1. Барабанщиков В.А.Окуломоторные структуры восприятия. – М.: ИП РАН, 1997. – 384 с.
  2. Барабанщиков В.А. Восприятие выражений лица. – М.: ИП РАН, 2009. – 448 с.
  3. Барабанщиков В.А. Экспрессии лица и их восприятие. – М.: ИП РАН, 2012.
  4. Барабанщиков В.А. Восприятие индивидуально-психологических особенностей человека по изображению целого и частично открытого лица. – Экспериментальная психология, 2008, №1, с. 62-83.
  5. Барабанщиков В.А., Ананьева К.И., Харитонов В.Н. Организация движений глаз при вос- приятии изображений лица. – Экспериментальная психология, 2009, №2,с. 31-60.
  6. Барабанщиков В.А., Демидов А.А. Экспериментальная психология в России: современ- ное состояние и перспективы развития. – Экспериментальная психология, 2011, №1, с. 134-140.
  7. Барабанщиков В.А., Майнина И. Н. Оценка «глубинных» индивидуально-психологических особенностей человека по фотоизображению его лица. – Экспериментальная психо- логия, 2010, №4, с. 50-71.
  8. Безруких М. М., Демидов А. А., Иванов В. В. (2009) Возрастные особенности окуломо- торной активности детей в процессе чтения // Психология человека в современном мире. Том 2: матер. Всеросс. юбил. науч. конф., посв. 120-летию со дня рождения С.Л. Рубин- штейна. С. 151-155.
  9. Демидов А.А., Жегалло А.В. (2008). Оборудование SMI для регистрации движений глаз: тест-драйв. Экспериментальная психология (№1), 149-159.
  10. Жегалло А.В. (2009). Система регистрации движений глаз SMI High Speed: особенности использования. Экспериментальная психология (№4), 111-117.
  11. Крамер Г. Математические методы статистики. – М.: Мир, 1976. – 648 с.
  12. Куравский Л. С., Баранов С. Н. Применение нейронных сетей для диагностики и прогно- зирования усталостного разрушения тонкостенных конструкций. – Нейрокомпьютеры: разработка и применение, 2001, №12, с. 47-63.
  13. Куравский Л. С., Баранов С. Н. Синтез сетей Маркова для прогнозирования усталостного разрушения. – Нейрокомпьютеры: разработка и применение, 2002, №11, с. 29-40.
  14. Куравский Л.С., Баранов С.Н., Корниенко П.А. Обучаемые многофакторные сети Марко- ва и их применение для исследования психологических характеристик. – Нейрокомпью- теры: разработка и применение, №12, 2005. – с. 65-76.
  15. Куравский Л.С., Баранов С.Н., Корниенко П.А. Обучаемые многофакторные сети Марко- ва и их применение для исследования психологических характеристик. – Нейрокомпью- теры: разработка и применение, №12, 2005. – с. 65-76.
  16. Куравский Л.С., Баранов С.Н., Малых С.Б. Нейронные сети в задачах прогнозирования, диагностики и анализа данных: Учеб. пособие. – М.: РУСАВИА, 2003. – 100 с.
  17. Куравский Л.С., Баранов С.Н., Юрьев Г.А. Синтез и идентификация скрытых марковских моделей для диагностики усталостного разрушения. – Нейрокомпьютеры: разработка и применение, №12, 2010, с. 20-36.
  18. Куравский Л.С., Марголис А.А., Юрьев Г.А., Мармалюк П.А. Концепция системы под- держки принятия решений для психологического тестирования. – Психологическая наука и образование, №1, 2012, с. 56-65.
  19. Куравский Л.С., Мармалюк П.А., Алхимов В.И., Юрьев Г.А. Математические основы но- вого подхода к построению процедур тестирования. – Экспериментальная психология, т.5, №4, 2012, с. 75-98.
  20. Куравский Л.С., Юрьев Г.А. Адаптивное тестирование как марковский процесс: модели и их идентификация. – Нейрокомпьютеры: разработка и применение, №2, 2011, с. 21-29.
  21. Куравский Л.С., Юрьев Г.А. Вероятностный метод фильтрации артефактов при адаптив- ном тестировании. – Экспериментальная психология, т.5, No.1, 2012, с. 119-131.
  22. Куравский Л.С., Юрьев Г.А. Использование марковских моделей при обработке результа- тов тестирования. – Вопросы психологии, №2, 2011, с. 98-107.
  23. Куравский Л.С., Юрьев Г.А. Использование марковских моделей при обработке результа- тов тестирования. – Вопросы психологии, №2, 2011, с. 98-107.
  24. Куравский Л.С., Юрьев Г.А. Об одном подходе к адаптивному тестированию и устране- нию его артефактов. // Нейрокомпьютеры: разработка и применение, №1, 2012.
  25. Мармалюк П.А., Звонкина О.М. Опорные показатели глазодвигательной активности при прохождении теста Равена и автоматизация их расчёта // Молодые ученые – нашей новой школе. Матер. XIМежвуз. науч.-практ. конф. с межд. участием – М.: МГППУ, 2012 – с. 350 – 352.
  26. Панфилова А.С. Система тестирования интеллекта на базе факторных моделей и само- организующихся карт Кохонена. // Нейрокомпьютеры: разработка и применение, №9, 2012 с. 6-12.
  27. Тихонов В.И., Шахтарин Б.И., Сизых В.В. Случайные процессы. Примеры и задачи. /Т.5. Оценка сигналов, их параметров и спектров. Основы теории информации. – М.: Горячая линия-Телеком, 2009. – 400 с.
  28. Тюменева Ю.А. Психологическое измерение. – М.: Аспект-Пресс, 2007.
  29. Хохлова А. А. Исследование глазодвигательной активности при прохождении матричного теста интеллекта Равена // Молодые ученые – нашей новой школе. Матер. X науч.-практ. межвуз. конф. – М.: МГППУ, 2011 – с. 343-345.
  30. Шахтарин Б.И. Случайные процессы в радиотехнике. /Т.1. Линейные преобразования. – М.: Горячая линия-Телеком, 2010. – 520 с.
  31. Baker F.B. The Basics of Item Response Theory. ERIC Clearinghouse on Assessment and Evaluation, University of Maryland, College Park, MD, 2001.
  32. Brandt S.A., Stark L.W. (1997). Spontaneous eye movements during visual imagery reflect the content of the visual scene. Journal of Cognitive Neuroscience, 9, 27-38.
  33. Cagli R.C., Coraggio P., Napoletano P., Boccignone G. (2008). What the draughtsman’s hand tells the draughtsman’s eye: A sensorimotor account of drawing. International Journal of Pattern Recognition and Artificial Intelligence, 22, 1015-1029.
  34. Dayan, P. (1993). Improving generalization for temporal difference learning: The successor representation. Neural Computation, 5, 613-624.
  35. Ellis S.R., Stark L. (1986). Statistical dependency in visual scanning. Human Factors, 28, 421-438.
  36. Gregory R.J. Psychological testing: History, principles, and applications (5th edition). – New York: Pearson, 2007.
  37. Gulliksen H. Theory of Mental Tests. – John Wiley & Sons Inc, 1950.
  38. Hayes Т.R., Petrov A.A., Sederberg P.B. A novel method for analyzing sequential eye movements reveals strategic influence on Raven’s Advanced Progressive Matrices. Journal of Vision, 2011, 10, 1-11.
  39. Jansen A.R., Marriott K., Yelland G.W. (2007). Parsing of algebraic expressions by experienced users of mathematics. European Journal of Cognitive Psychology, 19, 286-320.
  40. Kuravsky L. S., Baranov S. N. Condition monitoring of the structures suffered acoustic fatigue failure and forecasting their service life. – In: Proc. Condition Monitoring 2003, Oxford, United Kingdom, July 2003, pp. 256-279.
  41. Kuravsky L. S., Malykh S. B. On the application of queuing theory for analysis of twin data. – Twin Research, 2000; 3: pp. 92-98.
  42. Kuravsky L.S. and Baranov S.N. Condition monitoring of the structures suffered acoustic fatigue failure and forecasting their service life. – Proc. Condition Monitoring 2003, Oxford, United Kingdom, pp. 256-279, July 2003.
  43. Kuravsky L.S. and Baranov S.N. Neural networks in fatigue damage recognition: diagnostics and statistical analysis. – In: Proc. 11th International Congress on Sound and Vibration, St.- Petersburg, Russia, July 2004, pp. 2929-2944.
  44. Kuravsky L.S. and Baranov S.N. The concept of multifactor Markov networks and its application to forecasting and diagnostics of technical systems. – In: Proc. Condition Monitoring 2005, Cambridge, United Kingdom, pp. 111-117, July 2005.
  45. Kuravsky L.S., Baranov S.N. and Yuryev G.A. Synthesis and identification of hidden Markov models based on a novel statistical technique in condition monitoring. – In: Proc. 7th International Conference on Condition Monitoring & Machinery Failure Prevention Technologies, Stratford- upon-Avon, England, June 2010. – 23 pp.
  46. Myers C.W., Schoelles M. J. (2005). ProtoMatch: A tool for analyzing high-density, sequential eye gaze and cursor protocols. Behavior Research Methods, 37, 256-270.
  47. Patalano A. L., Juhasz B. J. and Dicke О. (2010) The Relationship Between Indecisiveness and Eye Movement Patterns in a Decision Making Informational Search Task // Journal of Behavioral Decision Making, 23: 353-368.
  48. Ponsoda V., Scott D., Findlay J.M. (1995). A probability vector and transition matrix analysis of eye movements during visual search. ActaPsychologica, 88, 167-185.
  49. Rabiner L. R. (1989). A tutorial on hidden Markov models and selected applications in speech recognition. Proceedings of the IEEE, 77, 257-286.
  50. Rasch, G. Probabilistic models for some intelligence and attainment tests. // Copenhagen, Danish Institute for Educational Research, expanded edition (1980) with foreword and afterword by B.D. Wright. Chicago: TheUniversityofChicagoPress. 1960/1980.
  51. Rayner K. (1998) Eye movements in reading and information processing: 20 years of research // Psychological Bulletin. V. 124. P. 372-422.
  52. Salvucci D.D., Anderson J.R. (2001). Automated eye-movement protocol analysis. Human- Computer Interaction, 16, 39-86.
  53. Simola J., Salojarvi, Kojo I. (2008). Using hidden Markov model to uncover processing states from eye movements in information search tasks. Cognitive Systems Research, 9, 237-251.
  54. Van der Lans R., Pieters R., Wedel M. (2008). Eyemovement analysis of search effectiveness. Journal of the American Statistical Association, 103, 452-461.
  55. Vigneau F., Caissie A., Bors D. Eye-movement analysis demonstrates strategic influences on intelligence // Intelligence 34, 2006. P. 261-272.
  56. Wright B.D., Masters G.N. Rating scale analysis. Rasch measurements. – Chicago: MESA Press, 1982.
  57. Wright B.D., Stone M.N. Best Test Design. – Chicago: MESA Press, 1979.

Информация об авторах

Куравский Лев Семенович, доктор технических наук, профессор, декан факультета информационных технологий, Московский государственный психолого-педагогический университет (ФГБОУ ВО МГППУ), Москва, Россия, ORCID: https://orcid.org/0000-0002-3375-8446, e-mail: l.s.kuravsky@gmail.com

Мармалюк Павел Алексеевич, кандидат технических наук, заведующий лабораторией математической психологии и прикладного программного обеспечения, Московский государственный психолого-педагогический университет (ФГБОУ ВО МГППУ), доцент факультета информационных технологий, ФГБОУ ВО МГППУ, Москва, Россия, e-mail: ykk.mail@gmail.com

Алхимов Валерий Иванович, доктор физико-математических наук, профессор кафедры прикладной математики факультета информационных технологий, ФГБОУ ВО МГППУ, Москва, Россия, e-mail: alvaliv@list.ru

Юрьев Григорий Александрович, кандидат физико-математических наук, доцент, заведующий кафедрой, "Прикладная информатика и мультимедийные технологии" факультета "Информационные технологии", ведущий научный сотрудник молодежной лаборатории информационных технологий для психологической диагностики, Московский государственный психолого-педагогический университет (ФГБОУ ВО МГППУ), Москва, Россия, ORCID: https://orcid.org/0000-0002-2960-6562, e-mail: g.a.yuryev@gmail.com

Метрики

Просмотров

Всего: 1453
В прошлом месяце: 6
В текущем месяце: 0

Скачиваний

Всего: 863
В прошлом месяце: 2
В текущем месяце: 0