Разработка информационной системы для психологической диагностики

В статье рассматривается информационная система, являющаяся прототипом адаптивного тренажёра, созданного на основе реализации марковских процессов для психологической диагностики, адаптирующего трудность и сложность заданий в соответствии с диагностической оценкой в реальном времени. Представлено описание системы для адаптивной диагностики уровня подготовки пользователей на основе марковских моделей. Система позволяет оценить уровень готовности пользователя путем предоставления ему заданий различной сложности и трудности в соответствии с марковским процессом. Сформирован алгоритм по созданию заданий с высоким порядком детализации градиента сложности, на примере предметной области профессионального консультирования, с целью диагностики способностей. При неправильных ответах или превышении временных ограничений пользователь попадает в "ловушку", где получает более простые задания с подсказками. Приведены примеры, иллюстрирующие применения информационной системы, а также результаты апробации.

Введение

В данной работе затрагивается то измерение образования, от которого зависит его включающий, то есть инклюзивный потенциал. Инклюзию принято характеризовать как конструкцию системы образования, которая признает разнообразие учащихся в общих группах и принимает ответственность за него [9].  Современная концепция инклюзии на первое место ставит задачу адаптации общества к особенностям составляющих его индивидов.

Адаптивные технологии, представляя перспективное направление современной науки и образования [1, 6, 7, 9, 10, 14], в сочетании с марковскими моделями позволяют дать более точную диагностическую оценку способностей. Это связано с учётом параметра времени [11] и некоторыми другими преимуществами по сравнению с классической и современной теориями тестирования (CТТ и IRT) [15]. Представляемая информационная система демонстрирует следующую последовательность операций. Пользователю предлагаются задания определённого порядка сложности по различным темам предметной области различной трудности. При даче правильного ответа, алгоритм предоставляет пользователю задания темы, трудность которых уже более высокого порядка, а также параллельно возрастает и порядок сложности формулировок заданий.

Главным преимуществом разработки является то, что диагностическая процедура с применением идентифицируемых вероятностных марковских моделей позволяет идентифицировать пользователя как принадлежащего к одному из трёх классов по временным порогам прохождения с установленными вероятностными оценками переходов по состояниям системы, а именно к классам: «готов», «условно готов» и «не готов». Процесс обхода состояний продолжается пока не установятся оценки по основным состояниям системы.

     В случае неверного ответа, алгоритм предоставляет пользователю задания той же темы, но более низкого порядка сложности, что соответствует попаданию в «ловушку»  в      данной паре      состояний.      Состояния «ловушки» системы позволяют при сохранении трудности темы уменьшить сложность формулировок заданий, создавая соответствующие условия для отработки пользователем в недостаточной степени усвоенного материала. Состояния «ловушки» пропускаются в случае, когда пользователь укладывается во временные пороги ответа на задания      и отвечает      верно, таким образом позволяя быстро закончить тренировку в случае очевидно высокого      уровня      подготовки     .

     Группировка заданий по      трудности      позволяет сделать      процедуру тренировки более случайной внутри      каждой пары состояний и тем самым устранить возможность списывания. Дополнительная градация по сложности формы задания позволяет подготовить пользователя к решению наиболее сложносочинённых заданий. Временные оценки прохождения позволяют подготовленному пользователю с лёгкостью миновать длительную диагностическую процедуру тренировки.

Построение адаптивной диагностической оценки с помощью идентифицируемых марковских моделей

В разработанном адаптивном тренажёре профориентационной работы адаптивная диагностическая процедура      представляет      математическую      модель,      разработанную и      реализованную для решения широкого спектра задач. В работах Л.С. Куравского и соавторов [4; 5; 6; 7; 8; 9; 12; 13]. В реализованной информационной системе марковский процесс имеет следующий вид:

Рис. 1. Марковский процесс с дискретными состояниями и непрерывным временем, представляющий динамику оценки: {xi}i=0,…,n  и {xi*}i=0,…,n  - состояния процесса ,          - упорядоченное множество интенсивностей переходов между состояниями для уровня подготовки испытуемого .

Функциональные состояния «ловушек» предлагают пользователю для отработки материал, соответствующий его текущему уровню подготовки («ловушки» рис.1 представлены состояниями xk*). Также эти состояния исключают вероятность угадывания правильного ответа, так как для выхода из состояния необходимо не только уложиться по времени, но и дать два правильных ответа подряд. Завершение тренировки предполагает прохождение пользователем всех основных состояний xk. Интенсивности переходов между основными состояниями соответствуютk. Интенсивности переходов между основным состоянием и состоянием «ловушки» соответствуют k.

В рамках модели процедура диагностики представляет собой получение данных об интенсивности переходов для испытуемого , и сопоставление их с усреднёнными выборочными интенсивностями переходов для различных по уровню подготовки выборок.

Информационная система на основе данной модели записывает данные множества интенсивностей переходов между состояниями пользователя и упорядочивает их, а затем их соотносят с апробационными выборочными оценками.

Предполагаемые значения интенсивности переходов между состояниями соответствующие различным уровням подготовки испытуемых могут быть получены из наблюдений в виде временных порогов прохождения состояний системы.

Предоставление заданий с      высокой      дифференциацией сложности

Задания внутри состояний предоставляются отдельно по группам с заданными темами разной трудности, данные о которой получены в результате апробации. Для каждой темы предназначено своё основное состояние и соответствующее состояние “ловушки”. Задания предоставляются пользователю в случайном порядке с целью устранить возможность списывания.

Таблица – 1. Соответствие понятий области профконсультирования определённым                    уровням сложности

Помимо возрастания порядка трудности темы, по мере успешного прохождения, возрастает и порядок сложности предоставляемых заданий по форме. Теоретические вопросы по соотнесению понятий и определений могут считаться элементарными заданиями в рамках выбранной предметной области. Более высокий порядок сложности по форме включает кейс-задания, позволяющие диагностировать на основе соответствия временных порогов принадлежность пользователя к заданным классам по уровню способности к единичным операциям и простым навыкам в рамках практики, соответствующей предметной области. Наибольший же порядок сложности включает экспертные кейс-задания, требующие комплексного внимательного рассмотрения, затрагивающие пройденные ранее темы в совокупности, которые могут быть расценены как более сложные по количеству элементарных смыслов и операций в рамках решения.

Рис. 2. Схема адаптации заданий разной сложности и трудности в соответствии с марковским процессом. Состояния ловушек сложности k* включают предоставление заданий более простых формулировок ответов.

Уровень сложности формы ответов на задание уже понижается при попадании в состояние xk*, в случае дачи ошибки в задании, либо в случае несоответствия временным рамкам для прохождения основного состояния. В таком случае, предлагаются более очевидные формулировки для заданий той же темы, на которых пользователь получает также подсказку, позволяющую усвоить дидактический материал и дать правильный ответ, после чего вновь быть перенаправленным в соответствующее основное состояние диагностического процесса и использовать оставшееся время на прохождение остальных состояний.

По завершении времени, отведённого на тренировку, формируется сводка прохождения, с подробной информацией о результатах. Данные результаты применимы для составления итоговой диагностической оценки при обработке в соответствии с моделью марковского процесса, а именно путём сопоставления ожидаемых частот пребывания в состояниях для каждого из диагностических уровней, для проверки вероятности принадлежности данных прохождения пользователя к тому или иному диагностическому уровню среди заданных. Данные результаты представляют из себя единичные диагностические оценки на каждой теме рассматриваемой предметной области, и в связи со временем пребывания в состояниях могут быть построены и приведены в согласованность наблюдений и диагностического уровня байесовские оценки типа  «» . Добавим, что, в дальнейшем, может быть произведено преобразование марковских моделей в квантовые представления для исследования диагностического процесса с помощью квантового спектрального анализа [3 ,7; 8; 13].

Общие сведения по реализации тренажера профориентационной работы

Программная реализация тренажера профориентационной работы психологов-консультантов включает в себя серверную и интерфейсную часть.

− Серверная часть реализована через веб-фреймворк CakePHP с дополнительными модулями Authentication и Authorization предоставляющий функционал для доступа пользователей к публичной и административной части тренажера. В качестве языка программирования используется PHP версии 8.2.1.

−     Интерфейсная часть реализована через фреймворк Bootstrap с набором шрифтов и значков Font Awesome. Также для предоставления редакторам более гибких возможностей по управлению содержимым тренажера в административной части был задействован платформонезависимый JavaScript HTML WYSIWYG редактор TinyMCE с дополнительным реализованным функционалом по загрузке файлов.

Для развертывания тренажера был задействован сервер с операционной системой Debian и веб-сервер Nginx. В качестве базы данных был задействован PostgreSQL.

Прохождение тренажера профориентационной работы

            Тренажер считается пройденным при прохождения всех состояний Марковского процесса. Пользователю на это выделяется 20 минут после чего происходит закрытие сеанса тестирования. Для тренажера профориентационной работы проиллюстрирована схема марковского процесса, представляющего процесс его прохождения (Рис. 3). В нем нижние ячейки представлены 7 состояниями и разделены на 3 уровня сложности: элементарный (2 состояния), основной (3 состояния) и экспертный (2 состояния). К каждому состоянию подключены группы с заданиями повышенной сложности из которых пользователь случайно получает задание. Верхние ячейки содержат ловушки, в которые пользователь прибывает при даче неверного ответа или если он не уложился в ограничения по времени для данной задачи. К ним подключены группы с заданиями пониженной сложности с подсказками по их выполнению. Для выхода из ловушек пользователь должен выбрать верный вариант ответа и уложится во временные ограничения.

Рис. 3. Схема марковского процесса

Для начала сеанса прохождения тренажера профориентационной работы пользователь переходит по URL-ссылке. Здесь он должен ввести данные своей учетной записи, полученной от редактора или администратора. Введя учетные данные, пользователь изучает инструкцию тренажера и переходит к прохождению своего первого задания в «Элементарном состоянии 1» марковского процесса (Рис. 4).

Рис. 4. Интерфейс тренажера для пользователя

На рисунке представлено название тренажера в данном варианте «Тренажер профориентационной работы». Потом, специальное окно с подсказкой, выделенное другим цветом, возникающее, когда пользователь попадает в состояние ловушки марковского процесса и ему требуется дополнительная помощь для выбора верного варианта ответа. После подсказки идёт инструкция, содержащая указания по решению выбранной задачи. Далее идет текст задачи, на которую пользователю предстоит ответить и 4 варианта ответа. Задача считается решенной если пользователь верно выбрал вариант ответа и уложился строго в отведенное на выполнение задачи время.

После выбора варианта ответа система проверяет решение задачи и при правильном результате отправляет пользователя в следующие состояние марковского процесса. Если выбран неверный вариант ответа или пользователь не уложился во временные ограничения он переводится в ловушку для данного состояния. Для выхода из неё пользователь должен верно решить задачу и вернуться в обычное состояние. Сохранение результатов в базу данных происходит при каждом выборе варианта ответа и при начале сеанса прохождения тренажера. Если пользователь хорошо подготовлен, то он пройдёт тренажер за 7 правильно решенных заданий без попадания в ловушки. По мере прохождения состояний марковского процесса растёт сложность и трудность заданий, которые предоставляются пользователю. Плохо подготовленный пользователь начинает застревать на определенном этапе прохождения постоянно переходя из обычного состояния в состояния ловушки и наоборот. Это приводит к исчерпанию времени отведенного на прохождение тренажера с последующим закрытием сеанса.

Далее, приведём гистограммы распределений вероятностей итогового результата прохождения тренажёра для каждого из семи состояний. На рисунках 5-11 представлены данные о вероятности присваиваемого типа пользователя при условии выхода из текущего состояния в следующее, для каждого из семи состояний. 

Рис. 5. Значения вероятности принадлежности пользователя к определённому классу при выходе из состояния 1 (элементарное состояние-1)

Рис. 6. Значения вероятности принадлежности пользователя к определённому классу при выходе из состояния 2 (элементарное состояние-2)

Рис. 7. Значения вероятности принадлежности пользователя к определённому классу при выходе из состояния 3 (основное состояние-1)

Рис. 8. Значения вероятности принадлежности пользователя к определённому классу при выходе из состояния 4 (основное состояние-2)

Рис. 9. Значения вероятности принадлежности пользователя к определённому классу при выходе из состояния 5 (основное состояние-3)

Рис. 10. Значения вероятности принадлежности пользователя к определённому классу при выходе из состояния 6 (экспертное состояние-1)

Рис. 11. Значения вероятности принадлежности пользователя к определённому классу при выходе из состояния 7 (экспертное состояние-2)

Данные гистограммы распределений вероятностей демонстрируют, как со временем увеличивается дифференциация принятия решений между отнесением пользователей к определённому классу. В элементарном состоянии-2 и основном состоянии-1 дифференциация по классам достаточно слабая, в отличии от последующего основного состояния-2, где наблюдается гораздо более явная дифференциация. Получается, что этот рост также отражает рост диагностической ценности перехода между состояниями.

Заключение

Разработанная информационная система на основе марковских моделей демонстрирует эффективность в решении задач адаптивной психологической диагностики. Использование данного подхода позволяет получить более точную и объективную оценку уровня подготовки и способностей пользователей за счет учета динамики ответов и временных показателей.

Представленный в статье алгоритм формирования заданий с высокой степенью дифференциации по сложности и трудности обеспечивает постепенный рост нагрузки в процессе тестирования. Это позволяет подготовить пользователя к решению сложных комплексных задач.

Результаты апробации подтверждают эффективность разработанной информационной системы в оценке уровня подготовки пользователей. Дальнейшее совершенствование системы на основе марковских и квантовых моделей открывает перспективы применения данного подхода в различных областях обучения и психодиагностики.

1. Коляда М.Г., Бугаева Т.И., Миклашевич Н.В. Адаптивное тестирование с возможностями искусственного интеллекта // МОО «Академия информатизации образования». Орел: Изд. ОГУ им. И.С. Тургенева, 2020. С. 265—273.
2. Корсини Р., Ауэрбах А. Психологическая энциклопедия. СПб: «Питер», 2006. 1876 с.
3. Куравский Л.С., Юрьев Г.А. Адаптивное тестирование как марковский процесс: модели и их идентификация // Нейрокомпьютеры: разработка и применение. — 2011. — №2. — С. 21—29.
4. Куравский Л.С., Артеменков С.Л., Юрьев Г.А., Григоренко Е.Л. Новый подход к компьютеризированному адаптивному тестированию // Экспериментальная психология. — 2017. — Т. -10, №. 3. — С. 33—45. doi:10.17759/exppsy.2017100303
5. Куравский Л.С., Марголис А.А., Мармалюк П.А., Панфилова А.С., Юрьев Г.А. Математические аспекты концепции адаптивного тренажера // Психологическая наука и образование. 2016. Том 21. № 2. C. 84—95.
6. Куравский Л.С., Марголис А.А., Юрьев Г.А., Поминов Д.А. Концепция самообучающегося адаптивного тренажера // Нейрокомпьютеры: разработка и применение. 2018. № 3. С. 29—37.
7. Куравский Л.С., Поминов Д.А., Юрьев Г.А., Юрьева Н.Е., Сафронова М.А., Куланин Е.Д., Антипова С.Н. Концепция адаптивного тренажера и оценка его эффективности в математическом обучении // Моделирование и анализ данных. 2021. Том 11. № 4. С. 5—20. DOI:10.17759/mda.2021110401
8. Куравский Л.С., Юрьев Г.А., Юрьева Н.Е., Исаков С.С. Адаптивная технология психологической диагностики на основе марковских и квантовых представлений процесса выполнения заданий // Моделирование и анализ данных. 2022. Том 12. № 4.
9. Куравский Л.С., Юрьева Н.Е., Юрьев Г.А., Ермаков С.С., Исаков С.С., Левонович Н.И., Несимова А.О., Николаев И.А. Разработка информационной системы для психологической диагностики с использованием элементов искусственного интеллекта. Государственное задание Министерства просвещения Российской Федерации № 073-00110-22-06 от 12.12.2022 г.
10. Осипов Г.В. Российская социологическая энциклопедия. М: Издательская группа НОРМА-ИНФРА М, 1998. 672 с.
11. Федерякин Д.А. Время ответа в компьютерном адаптивном тестировании [Электронный ресурс] // Информатизация образования и методика электронного обучения: цифровые технологии в образовании: Материалы IV Международной научной конференции. В 2 ч., Красноярск, 06—09 октября 2020 года. Том 2. Ч. 2. Сибирский федеральный университет, Красноярск. 2020. С. 249—255. URL: https://publications.hse.ru/chapters/412400421
12. Kuravsky L.S. Modeling Dynamical Behavior of Stochastic Systems: Spectral Analysis of Qubit Representations vs the Mutual Markovian Model Likelihood Estimations. Lobachevskii J. Math., 42 (10), 2364–2376 (2021).
13. Kuravsky L.S. Simplification of Solving Diagnostics Problems by Convolution of Applied Markovian Models into the Quantum Representations // Lobachevskii J. Math. 2022. № 43(7). P. 1669—1682.
14. Kyllonen P.C., et al. Implementing Soft skills training in gift // Design Recommendations for Intelligent Tutoring Systems. Vol. 9: Competency-Based Scenario Design. P. 49.
15. Ермаков С.С., Савенков Е.А., Шепелева Е.А. Анализ возможностей компьютеризированного адаптивного подхода к задачам психологической диагностики и обучения // Экспериментальная психология. 2023. Том 16. № 3. С. 182–196. DOI: 10.17759/exppsy.2023160312