Особенности программной реализации адаптивного теста оценки интеллекта Бертлинга-Холлинга

Использовавшийся в работе тест принадлежит к группе невербальных тестов индуктивного мышления. В тес ах индуктивного мышления испытуемый должен вначале обнаружить правила, на основании которых организовано тестовое задание, а затем применить это правил для выбора надлежащего ответа. Наиболее известными тестами такого рода являются тесты Равена, тестовое задание одного из которых (АРМ) приведено на рис. 2.

 Рис. 2. Задание теста АРМ Равена.

Чтобы правильно решить представленное на рис. 2 задание, испытуемому необходимо обнаружить 3 правила.

Правило А: Каждый ряд содержит три геометрические фигуры (ромб, квадрат и треугольник), распределенные между тремя колонками.

Правило Б: Каждый ряд содержит три линии с разными текстурами (темная, штрихованная и светлая), распределенные между тремя колонками.

Правило В: Ориентация линий (вертикальная, горизонтальная или наклонная) одинакова внутри каждого ряда, но различается для разных рядов.

На основе этих правил легко найти верный ответ для пропущенной в нижнем правом углу фигуры, это ответ №5.

Тесты индуктивного мышления, как показали исследования, являются очень эффективным методом оценки общего интеллекта [Snow], потому широко применяются как исследователями, так и практиками. Однако порой возникает задача предъявлять тест испытуемым много раз, при этом повторять одни и те же задания нежелательно ввиду научения. Более того, тест, включающий фиксированный набор заданий, быстро становится общеизвестным, что делает возможным предварительный доступ к нему тестируемых и приводит к потенциальному искажению результатов.

Выходом из описанной ситуации было бы создание теста, который мог бы по ходу тестирования создавать новые задания из фиксированного набора элементов. При этом необходимо, чтобы сложность задания была бы заранее известна, т.е. набор элементов определял эту сложность. Дополнительным преимуществом подобного теста была бы возможность адаптивного тестирования: испытуемому предъявляются задания того или иного уровня сложности в зависимости от того, насколько успешно он решал предшествующие задания. Именно такой тест, разработанный Холлингом и Бертлингом, применялся в настоящей работе.

Тест предполагает нахождение правил, определяющих соотношение фигур А и В, и выбор из различных вариантов ответов такой фигуры D, которая находится в таком же отношении к данной фигуре С, как В к А.

После нажатия кнопки «Start» запускается тест и испытуемому предлагаются три сложные геометрические фигуры A, B и C. Первые две фигуры одинаковы. Вторая фигура должна отличаться от первой положением в пространстве. Кроме того, в фигурах присутствуют дополнительные элементы (например, точки, прямоугольники, кружки и т.д.), которые могут быть перемещены во второй фигуре в другие места.

Третья фигура отличается по форме от первых двух фигур. Она имеет те же детали, что и первые фигуры, но в других местах.

Пользователь должен определить закономерность в изменении второй фигуры (фигура B) по отношению к первой фигуре (фигура A) и выбрать из предъявленных восьми фигур ту фигуру, которая получается из третьей фигуры (фигура С) при учёте указанных выше закономерностей. Варианты выбора обозначены маленькими латинскими буквами от «a» до «i». Буква «i» соответствует тому случаю, когда среди восьми предложенных решений (от «a» до «h») нет подходящего.

3.    МАТЕМАТИЧЕСКИЕ АСПЕКТЫ ТЕСТА

На первом этапе тестирования по результатам выполнения короткой последовательности заданий разной степени трудности формируется начальная оценка интеллектуальных способностей испытуемого. Второй этап тестирования представляет собой итерационную процедуру, на каждом шаге которой респонденту в соответствии с концепцией Г. Раша [2,3] предлагается очередное задание с трудностью, соответствующей текущей оценке его способностей. Эта оценка уточняется по результатам выполнения каждого нового задания.

Пусть вектор представляет результаты испытуемого, полученные в n тестах. Величина xi принимает значение 1 в случае правильного ответа и 0 - в случае неправильного ответа. Вероятность P получения последовательности ответов при этом выражается следующим произведением:                                                                         

где - текущая оценка способностей,  - трудность теста i, а вероятность  согласно модели Раша выражается логистической функцией

Текущая оценка величины 9 вычисляется методом макс имального правдоподобия, при численной реализации которого используется итерационная процедура Ньютона-Рафсона.

Применяемый подход позволяет получать стандартные отклонения и границы доверительных интервалов для характеристики 0, что даёт возможность останавливать процесс тестирования по достижении заданных значений этих параметров.

При построении заданий теста Бертлинга-Холлинга используются несколько различных геометрических, половина из которых являются выпуклыми, а половина - нет. Каждая фигура может занимать восемь различных положений. Прилагаемые к фигурам детали создают новые различия. Будем называть эти различия характеристиками. Многообразие вариантов фигур позволяет генерировать тесты различной трудности. Трудность каждого сгенерирован­ного теста рассчитывается по следующей формуле:

где i=1,..., n - номер задания теста, — трудность, вносимая j-й характеристикой теста,  - параметры, принимающие значения 1 или 0 в зависимости от использования или неиспользования соответствующих деталей фигур. Всего в тесте присутствует 14 характеристик, задающих различную степень трудности.

4.      ОСОБЕННОСТИ ПРОГРАММНОЙ РЕАЛИЗАЦИИ

Для реализации основных компонентов теста рассматривались три возможных варианта системы программирования, а именно:

-       ActionScript[4-7];

-       JavaScript[8-10];

-       PHP [11-12] в комбинации с JavaScript.

Каждый из этих вариантов имеет свои недостатки:

-       из программ, написанных на языке ActionScript, неудобно передавать данные в программы, написанные на языке PHP;

-       на языке JavaScript неудобно рисовать наклонные линии;

-       генерация фигур на PHP может привести к временным задержкам их отображения при передаче данных по сети Internet.

В результате сопоставления характеристик указанных систем для программной реализации содержательной части теста был выбран язык ActionScript. Системы JavaScriptи PHP использовались для регистрации входа пользователей в систему и поддержки их взаимодействия с базой данных.

Система состоит из следующих функциональных блоков и модулей:

-       административного модуля;

-       модуля регистрации пользователя;

-       модуля интерактивного взаимодействия с пользователем;

-       модуля генерации теста;

-       модуля отображения;

-       модуля вычисления текущей оценки способностей;

-       модуля взаимодействия с базой данных.

Тест поддерживает три уровня пользователей:

-      администратор базы данных, который имеет полный доступ ко всем таблицам и обладает правами для их создания и удаления;

-       администратор процесса работы теста;

-       обычный пользователь.

Информация о пользователях, включающая имена и пароли, хранится в базе данных. Число заданий в тесте задается администратором при настройке теста.

В основном окне теста имеется кнопка «следущ» (next). При её нажатии модуль интерактивного взаимодействия обращается к модулю генерации теста для создания следующего задания, а затем - к модулю отображения, чтобы вывести на экран составленное задание. При нажатии кнопки «правила» (rules) появляется окно с описанием правил пользования тестом.

Справа расположены восемь вариантов ответа. Пользователь должен учесть закономерности в изменении второй фигуры относительно первой и выбрать из предъявленных восьми фигур ту, которая получается из третьей фигуры с учётом заданных выше закономерностей. Если такой фигуры нет, то пользователю следует выбрать вариант «No correct alternative». Выбор осуществляется щелчком левой кнопки мыши. Получив ответ, модуль интерактивного взаимодействия обращается к модулю расчёта способностей, после чего в окне появляется кнопка «следущ». До выбора нужного варианта мышью этой кнопки не видно.

Обозначим левые четыре фигуры теста буквами A, B, C и D. Для обеспечения выбора сочетаний вида фигуры и её деталей эти сочетания были пронумерованы, после чего был составлен соответствующий массив, отсортированный в порядке возрастания значений трудностей.

При генерации фигур элементы массива сочетаний выбираются случайным образом. Для фигур A и B выбираются:

-      вид фигуры;

-      положение фигуры;

-      вид деталей;

-      расположение деталей;

Для фигуры C выбираются:

-      вид фигуры (из оставшихся - за исключением фигуры, выбранной для А и В);

-      положение фигуры;

-      расположения деталей.

Вид деталей фигуры A должен совпадать с видом деталей фигуры C. Фигура D, которую должен найти испытуемый, при отображении на экране заменяется вопросительным знаком. В случае отсутствия фигуры D среди предложенных вариантов ответа испытуемому следует выбрать «No correct alternative».

После сочетаний вида фигуры и её деталей генерируются альтернативы a, b, ..., i. Событие «Нет корректного варианта» («No correct alternative») генерируется с вероятностью 1/10. Остальные восемь вариантов ответа случайным образом делятся на три группы равной вероятности (3+3+2, 3+2+3, 2+3+3). Расположение фигур первой группы совпадает с расположением фигуры правильного ответа, который, если он есть, содержится в этой же группе. Другие элементы этой группы имеют одно отличие от правильного ответа. Вторая группа содержит элементы с двумя отличиями от правильного ответа, а третья группа - с тремя.

Модуль отображения используется для вывода на экран фигур A,B, C и D, девяти вариантов ответа, результатов прохождения теста и параметров теста в режиме администратора.

В левом верхнем углу окна отображается общее время выполнения теста и время выполнения текущего задания. Строкой ниже отображаются номер задания и число выполненных заданий в процентах (например, Item 2 40%). После выполнения теста в третьей строке может выдаваться достигнутый процент от наивысшего результата (например, result: - 74%).

При входе в систему в режиме администратора можно просмотреть и задать параметры теста в ручном режиме.

5.    ОСОБЕННОСТИ РАБОТЫ ТЕСТА И НАПРАВЛЕНИЯ ЕГО РАЗВИТИЯ

Для хранения результатов теста поддерживается база данных со списком идентификаторов испытуемых и информацией о результатах прохождения теста.