Процессуальный подход к оценке когнитивных способностей

В настоящее время для оценки когнитивных способностей чаще всего применяются две группы тестов.

Первая группа известна как бланковые тесты интеллекта (тесты типа «Карандаш и бумага») и их компьютерные варианты [1; 2]. Тесты этого типа требуют от испытуемого письменных ответов на задания с выбором из списка вариантов, иногда, для определенных классов задач, ответ дается в свободной форме. Оценка результатов подавляющего большинства таких тестов производится в соответствии с ключом и имеющимися нормативами, заданными для различных групп испытуемых. Основным преимуществом такого рода тестов является простота проведения теста и оценки результатов.

Вторая группа тестов связана с решением более сложных задач и предполагает предъявление испытуемому своего рода математической игры [3], в которой рассматривается система с множеством скрытых факторов, определяющих сложные перекрестные влияния различных параметров. Эти параметры связаны между собой определенными типами математических зависимостей: линейными, экспоненциальными и степенными. Целью игры является выведение заданного набора независимых параметров на определенный уровень путем изменения зависимых параметров. Для испытуемого такие задачи обычно представляются в виде игр по управлению городом, предприятием, экосистемой и т.д. Эти задачи демонстрируют уровень мышления испытуемого, но интерпретация результатов их решения зачастую носит субъективный характер и с трудом поддается формализации.

Среди прочих методов оценки интеллекта можно указать также предметные и аппаратные тесты [1].

В рамках новой концепции адаптивного тестирования на базе скрытых марковских моделей [5-8] был разработан тест интеллекта, сочетающий достоинства существующих методов и в то же время лишенный их основных недостатков.

Этот тест позволяет комплексно оценивать способности человека к управлению сложными системами с неизвестной схемой управления. При выполнении теста испытуемому предлагается провести робототехническую платформу (рис. 1) по П- образному лабиринту (рис. 2) из фиксированного начального положения в фиксированное конечное положение. Испытуемому доступно устройство управления (клавиатура, джойстик и т.д.) и известно, какие действия может выполнять роботизированная платформа. Для выполнения задания необходимо методом проб и ошибок выявить неизвестное соответствие между допустимыми воздействиями на органы управления и вызываемой ими реакцией управляемого объекта. Сложность и содержание этого соответствия автоматически изменяются в процессе прохождения теста в зависимости от успешности действий испытуемого. Задание считается выполненным, если платформа достигла границы лабиринта, распознав ее с помощью датчика.

Рис.1. Роботизированная платформа на базе ПЛИС NI Single-Board RIO-9631

Временные границы выполнения каждого задания определяются циклом, начинающимся со старта платформы из начального положения в лабиринте и заканчивающимся достижением платформой конечного положения. Задание считается не выполненным, если испытуемый выходит за интервал времени, установленный для решения задач данной сложности. В соответствии с используемой концепцией успешное выполнение приводит к усложнению следующего задания, а неверное выполнение - к его упрощению.

Рис. 2. Эскиз П-образного лабиринта, используемого при тестировании

Схему управления платформой при разовой попытке воздействия на органы управления можно представить как конечный автомат (рис. 3), который принимает конечный набор слов, количество которых определяется множеством возможных действий роботизированной платформы. В реализованном варианте возможны четыре типа таких действий: движение назад, движение вперед, движение влево, движение вправо. Они представлены на рис. 3 как конечные состояния B, F, R, L. Символы входного алфавита £ представляют допустимые управляющие воздействия испытуемого (в реализованном варианте их также четыре).

Сложность задания определяется максимальной длиной принимаемых автоматом слов. Автомат, представленный на рис. 5, принимает четыре управляющих слова, приводящих его в одно из конечных состояний из множества {B, F, R, L}. При усложнении задания максимальная длина слов, принадлежащих языку автомата, увеличивается на один символ, случайно выбранный из алфавита £, причем слова, полученные таким образом, должны различаться. Соответственно, в автомат при усложнении задания добавляются четыре состояния и восемь переходов.

Если испытуемый вводит слово, приводящее автомат в одно из состояний из множества {B, F, R, L}, то управляемая платформа получает команду на движение, соответствующее достигнутому состоянию. Ввод любого другого слова приводит к переходу в состояние отказа S, в котором испытуемый оповещается об ошибке управления. Попав в состояние S, следует приступать к следующей попытке воздействия на органы управления.

Рис. 3. Схема управления платформой, представленная в форме конечного автомата

Тест был разработан и программно реализован в среде графического программирования LabView 2010. Осуществлена возможность управления роботами на базе ПЛИС NI Single-Board RIO-9631по беспроводной сети WiFi с любого компьютера с соответствующим радио модулем.

Экран испытуемого (рис.4) позволяет выполнить соединение с устройством, сигнализирует о потере соединения и выводит сообщение об ошибке при вводе комбинации управления, этот сигнал может дублироваться звуковым сообщением, так как в большинстве случаев взгляд испытуемого в процессе решения задачи обращен к устройству. Выводится информация о номере задания (в программной реализации предлагается 10 заданий различного уровня сложности). Увеличение числа заданий, как следует из описания, - чисто формальная процедура, и никакой проблемы во введении большего количества задач нет, но это не оправдано с практической точки зрения, поскольку большинство испытуемых не решают задания сложности выше, чем 5.

Рис. 4. Экран испытуемого в процессе решения задачи управления

В расширенном режиме (рис. 5), необходимом для первичной настройки программы и выявления возможных ошибок, выводится информация о статусе устройства, набранной комбинации, есть возможность изменения положения сенсора, используемого при оценке успешности выполнения задания, выводятся данные, получаемые с этого сенсора, представлена возможность указать IP-адрес управляемого устройства.

В качестве результата такого теста определяется уровень способности (соответствующий номеру задания, сложность которого оптимальна для испытуемого), его оценка производится на основе параметров марковской модели, оцененных по выборке испытуемых в соответствии с используемой концепцией адаптивного тестирования. Кроме того, доступна информация о времени, затраченном на решение испытуемым каждой задачи. По желанию исследователя может быть сохранена следующая информация: количество ошибок, а также время их совершения и путь устройства. Эти дополнительные сведения не используются при оценке.

Рис. 5. Расширенный режим

Выводы

В представленном выше тесте перед испытуемым ставится новый, не применявшийся ранее, тип тестовых задач, а их решение разворачивается в реальном масштабе пространства и времени. Испытуемый может сразу видеть последствия своих действий, внося в них корректировку. Результаты выполнения данного теста оцениваются на основе анализа характерных параметров выполнения заданий. Получаемые оценки в значительной степени процессуальны и распределены во времени, что лучше согласуется с особенностями процесса мышления [9] и является очевидным преимуществом предлагаемого подхода.

Описываемый подход лишен традиционных недостатков компьютерного тестирования, таких как увеличение вероятности случайного выбора ответа, потеря информации о логике рассуждения и процессе выполнения отдельных заданий.