Процессуальный подход к оценке когнитивных способностей

946

Аннотация

Компьютерное тестирование в настоящее время широко используется в медицине, психологии и образовании с целью диагностики, определения уровня компетенций и пригодности испытуемых для выполнения тех или иных функций, включая контроль качества обучения. Качество тестирования и достоверность его результатов в значительной степени зависят от технологий проведения тестов, которые в последние десятилетия стали предметом активных научных исследований. В статье рассматривается новый подход к оценке уровня когнитивных способностей человека. При решении поставленной задачи используется модель адаптивного тестирования, основанная на возможностях обучаемых марковских моделей. Испытуемому предлагается специфический тест, каждое задание которого подразумевает управление технической системой в реальном масштабе пространства и времени. Оценка уровня способности производится на основе информации, характеризующей временную динамику процесса решения такого теста. Описываемый подход лишен таких традиционных недостатков компьютерного тестирования, как увеличение вероятности случайного выбора ответа, потеря информации о логике рассуждения и процессе выполнения отдельных заданий.

Общая информация

Ключевые слова: когнитивные способности, тесты когнитивных способностей, конечный автомат, компьютерное тестирование, диагностика

Рубрика издания: Психология развития

Тип материала: научная статья

Для цитаты: Юрьев Г.А. Процессуальный подход к оценке когнитивных способностей [Электронный ресурс] // Психологическая наука и образование psyedu.ru. 2012. Том 4. № 4. URL: https://psyjournals.ru/journals/psyedu/archive/2012_n4/57127 (дата обращения: 09.10.2024)

Полный текст

 

В настоящее время для оценки когнитивных способностей чаще всего применяются две группы тестов.

Первая группа известна как бланковые тесты интеллекта (тесты типа «Карандаш и бумага») и их компьютерные варианты [1; 2]. Тесты этого типа требуют от испытуемого письменных ответов на задания с выбором из списка вариантов, иногда, для определенных классов задач, ответ дается в свободной форме. Оценка результатов подавляющего большинства таких тестов производится в соответствии с ключом и имеющимися нормативами, заданными для различных групп испытуемых. Основным преимуществом такого рода тестов является простота проведения теста и оценки результатов.

Вторая группа тестов связана с решением более сложных задач и предполагает предъявление испытуемому своего рода математической игры [3], в которой рассматривается система с множеством скрытых факторов, определяющих сложные перекрестные влияния различных параметров. Эти параметры связаны между собой определенными типами математических зависимостей: линейными, экспоненциальными и степенными. Целью игры является выведение заданного набора независимых параметров на определенный уровень путем изменения зависимых параметров. Для испытуемого такие задачи обычно представляются в виде игр по управлению городом, предприятием, экосистемой и т.д. Эти задачи демонстрируют уровень мышления испытуемого, но интерпретация результатов их решения зачастую носит субъективный характер и с трудом поддается формализации.

Среди прочих методов оценки интеллекта можно указать также предметные и аппаратные тесты [1].

В рамках новой концепции адаптивного тестирования на базе скрытых марковских моделей [5-8] был разработан тест интеллекта, сочетающий достоинства существующих методов и в то же время лишенный их основных недостатков.

Этот тест позволяет комплексно оценивать способности человека к управлению сложными системами с неизвестной схемой управления. При выполнении теста испытуемому предлагается провести робототехническую платформу (рис. 1) по П- образному лабиринту (рис. 2) из фиксированного начального положения в фиксированное конечное положение. Испытуемому доступно устройство управления (клавиатура, джойстик и т.д.) и известно, какие действия может выполнять роботизированная платформа. Для выполнения задания необходимо методом проб и ошибок выявить неизвестное соответствие между допустимыми воздействиями на органы управления и вызываемой ими реакцией управляемого объекта. Сложность и содержание этого соответствия автоматически изменяются в процессе прохождения теста в зависимости от успешности действий испытуемого. Задание считается выполненным, если платформа достигла границы лабиринта, распознав ее с помощью датчика.


Рис.1. Роботизированная платформа на базе ПЛИС NI Single-Board RIO-9631

Временные границы выполнения каждого задания определяются циклом, начинающимся со старта платформы из начального положения в лабиринте и заканчивающимся достижением платформой конечного положения. Задание считается не выполненным, если испытуемый выходит за интервал времени, установленный для решения задач данной сложности. В соответствии с используемой концепцией успешное выполнение приводит к усложнению следующего задания, а неверное выполнение - к его упрощению.


Рис. 2. Эскиз П-образного лабиринта, используемого при тестировании

Схему управления платформой при разовой попытке воздействия на органы управления можно представить как конечный автомат (рис. 3), который принимает конечный набор слов, количество которых определяется множеством возможных действий роботизированной платформы. В реализованном варианте возможны четыре типа таких действий: движение назад, движение вперед, движение влево, движение вправо. Они представлены на рис. 3 как конечные состояния B, F, R, L. Символы входного алфавита £ представляют допустимые управляющие воздействия испытуемого (в реализованном варианте их также четыре).

Сложность задания определяется максимальной длиной принимаемых автоматом слов. Автомат, представленный на рис. 5, принимает четыре управляющих слова, приводящих его в одно из конечных состояний из множества {B, F, R, L}. При усложнении задания максимальная длина слов, принадлежащих языку автомата, увеличивается на один символ, случайно выбранный из алфавита £, причем слова, полученные таким образом, должны различаться. Соответственно, в автомат при усложнении задания добавляются четыре состояния и восемь переходов.

Если испытуемый вводит слово, приводящее автомат в одно из состояний из множества {B, F, R, L}, то управляемая платформа получает команду на движение, соответствующее достигнутому состоянию. Ввод любого другого слова приводит к переходу в состояние отказа S, в котором испытуемый оповещается об ошибке управления. Попав в состояние S, следует приступать к следующей попытке воздействия на органы управления.


Рис. 3. Схема управления платформой, представленная в форме конечного автомата

Тест был разработан и программно реализован в среде графического программирования LabView 2010. Осуществлена возможность управления роботами на базе ПЛИС NI Single-Board RIO-9631по беспроводной сети WiFi с любого компьютера с соответствующим радио модулем.

Экран испытуемого (рис.4) позволяет выполнить соединение с устройством, сигнализирует о потере соединения и выводит сообщение об ошибке при вводе комбинации управления, этот сигнал может дублироваться звуковым сообщением, так как в большинстве случаев взгляд испытуемого в процессе решения задачи обращен к устройству. Выводится информация о номере задания (в программной реализации предлагается 10 заданий различного уровня сложности). Увеличение числа заданий, как следует из описания, - чисто формальная процедура, и никакой проблемы во введении большего количества задач нет, но это не оправдано с практической точки зрения, поскольку большинство испытуемых не решают задания сложности выше, чем 5.


Рис. 4. Экран испытуемого в процессе решения задачи управления

В расширенном режиме (рис. 5), необходимом для первичной настройки программы и выявления возможных ошибок, выводится информация о статусе устройства, набранной комбинации, есть возможность изменения положения сенсора, используемого при оценке успешности выполнения задания, выводятся данные, получаемые с этого сенсора, представлена возможность указать IP-адрес управляемого устройства.

В качестве результата такого теста определяется уровень способности (соответствующий номеру задания, сложность которого оптимальна для испытуемого), его оценка производится на основе параметров марковской модели, оцененных по выборке испытуемых в соответствии с используемой концепцией адаптивного тестирования. Кроме того, доступна информация о времени, затраченном на решение испытуемым каждой задачи. По желанию исследователя может быть сохранена следующая информация: количество ошибок, а также время их совершения и путь устройства. Эти дополнительные сведения не используются при оценке.


Рис. 5. Расширенный режим

Выводы

В представленном выше тесте перед испытуемым ставится новый, не применявшийся ранее, тип тестовых задач, а их решение разворачивается в реальном масштабе пространства и времени. Испытуемый может сразу видеть последствия своих действий, внося в них корректировку. Результаты выполнения данного теста оцениваются на основе анализа характерных параметров выполнения заданий. Получаемые оценки в значительной степени процессуальны и распределены во времени, что лучше согласуется с особенностями процесса мышления [9] и является очевидным преимуществом предлагаемого подхода.

Описываемый подход лишен традиционных недостатков компьютерного тестирования, таких как увеличение вероятности случайного выбора ответа, потеря информации о логике рассуждения и процессе выполнения отдельных заданий.

Литература

  1. Акимова М.К., Гуревич К.М. Психологическая диагностика: 3-е изд. СПб., 2008.
  2. Анастази А., Урбина С. Психологическое тестирование. СПб.,2001.
  3. Дернер Д. Логика неудачи: стратегическое мышление в сложных ситуациях.  М., 1997.
  4. Куравский Л.С., Баранов С.Н., Корниенко П.А. Обучаемые многофакторные сети Маркова и их применение для исследования психологических характеристик // Нейрокомпьютеры: разработка и применение. 2005.  № 12.
  5. Куравский Л.С., Юрьев Г.А. Адаптивное тестирование как марковский процесс: модели и их идентификация// Нейрокомпьютеры: разработка, применение.  2011.  № 2.
  6. Куравский Л.С., Юрьев Г.А. Использование марковских моделей при обработке результатов тестирования// Вопросы психологии.  2011. № 2.
  7. Куравский Л.С., Юрьев Г.А. Марковские модели адаптивного тестирования //Моделирование и анализ данных. 2011. № 1.
  8. Куравский Л.С., Юрьев Г.А. Об одном подходе к адаптивному тестированию//Современная экспериментальная психология: В 2 т. / Под ред. В.А.Барабанщикова. Т.1. М., 2011.
  9. Столяренко Л.Д.  Основы психологии: 3-е изд. Ростов-н/Д., 2000.
  10. Kuravsky L.S., Baranov S.N. The concept of multifactor Markov networks and its application to forecasting and diagnostics of technical systems// Proc. Condition Monitoring. Cambridge,  2005.
  11. Kuravsky L.S., Baranov S.N., Yuryev G.A. Synthesis and identification of hidden Markov models based on a novel statistical technique in condition monitoring//Proc. 7th International Conference on Condition Monitoring &Machinery Failure Prevention Technologies. Stratford-upon-Avon, 2010.

Информация об авторах

Юрьев Григорий Александрович, кандидат физико-математических наук, доцент, заведующий кафедрой, "Прикладная информатика и мультимедийные технологии" факультета "Информационные технологии", ведущий научный сотрудник молодежной лаборатории информационных технологий для психологической диагностики, Московский государственный психолого-педагогический университет (ФГБОУ ВО МГППУ), Москва, Россия, ORCID: https://orcid.org/0000-0002-2960-6562, e-mail: g.a.yuryev@gmail.com

Метрики

Просмотров

Всего: 1935
В прошлом месяце: 6
В текущем месяце: 0

Скачиваний

Всего: 946
В прошлом месяце: 4
В текущем месяце: 0