Особенности компьютерной диагностики интеллектуальных способностей учащихся VI-IX классов

Описываются особенности использования компьютерных технологий в психодиагностике. Приводится описание отечественных и зарубежных исследований, в которых сравнивались результаты бумажных и компьютерных вариантов различных тестовых методик. Рассматривается ряд специфических для компьютерной диагностики факторов, которые необходимо учитывать при организации и проведении тестирования. Компьютерные диагностические программы в значительной степени облегчают процедуру проведения тестирования и последующую обработку ответов испытуемых. Такое преимущество, как моментальный подсчет результатов тестирования, экономит время экспериментатора и дает возможность, сразу же предоставить результаты теста испытуемому. Описанное в статье эмпирическое исследование, проведенное сотрудниками Городского ресурсного центра одаренности МГППУ (руководитель В.С. Юркевич), представляет данные сравнения результатов, полученных по двум вариантам методики диагностики интеллектуальных способностей «Стандартные прогрессивные матрицы плюс Равена» (компьютерный и классический бумажный варианты) на одной группе учеников. Проанализированы особенности проведения компьютерного варианта данной методики, которые необходимо учитывать экспериментатору для получения достоверных результатов диагностики.

Описываются особенности использования компьютерных технологий в психодиагностике.
Приводится описание отечественных и зарубежных исследований, в которых   сравнивались результаты бумажных и компьютерных вариантов различных тестовых методик.
Рассматривается ряд специфических для компьютерной диагностики факторов, которые необходимо учитывать при организации и проведении тестирования.  Компьютерные диагностические программы в значительной степени облегчают процедуру проведения тестирования и последующую обработку ответов испытуемых. Такое преимущество, как моментальный подсчет результатов тестирования, экономит время экспериментатора и дает возможность, сразу же предоставить результаты теста испытуемому. Описанное в статье эмпирическое исследование, проведенное сотрудниками Городского ресурсного центра одаренности МГППУ (руководитель В.С. Юркевич), представляет данные сравнения результатов, полученных по двум вариантам методики диагностики интеллектуальных способностей «Стандартные прогрессивные матрицы плюс Равена» (компьютерный и классический бумажный варианты) на одной группе учеников. Проанализированы особенности проведения компьютерного варианта данной методики, которые необходимо учитывать экспериментатору для получения достоверных результатов диагностики.

В настоящее время в системе школьного образования появляется все больше возможностей для использования компьютеров в образовательном процессе. В школах, как правило, сейчас уже в младших классах (иногда с первых) изучаются основы информатики, где ученики получают базовые навыки работы с компьютером. Это обстоятельство обеспечивает возможность для организации тестирования детей с использованием компьютерных форм психологического инструментария.
Основные задачи при проектировании компьютерных тестов – точная передача на экране компьютера стимульного материала методик, выявление и устранение всех побочных факторов, которые могут повлиять на результат прохождения теста. Это необходимо для обеспечения полного соответствия данных, полученных с помощью использования компьютерной программы, результатам, которые показали бы испытуемые в случае использования бумажного варианта теста.
Цель нашего исследования заключалась в анализе соответствия результатов компьютерной диагностики интеллектуальных способностей учеников VI–IX классов по методике «Стандартные прогрессивные матрицы плюс Равена» ее бумажному аналогу. В наши задачи входила оценка соответствия результатов, полученных учениками по обоим вариантам данной методики, и выявление существенных особенностей проведения ее на компьютере, которые необходимо учитывать при организации тестирования в школах.

Особенности использования компьютерных методик диагностики интеллектуальных способностей

В отечественной психологии компьютерная психодиагностика как отдельное направление исследований возникла в начале 1980-х гг. Одним из показателей, который появилась возможность зафиксировать и ввести в процедуру исследования с помощью компьютера, стало латентное время ответа при прохождении испытуемыми некоторых личностных методик (например, опросник Айзенка) [5]. Таким образом, можно определить   вопросы, которые для испытуемого являются тревожными: «для вызывающих беспокойство заданий латентное время ответа должно быть больше» [5, с. 258]. В настоящее время разрабатывается особый класс компьютерных методик – «психодиагностические мультимедийные системы», которые «предполагают использование в психодиагностике новых возможностей компьютерных технологий – мультимедиа и систем виртуальной реальности» [5, c. 260]. Такие программы позволят работать с динамической графикой, движущимися и статическими видеоизображениями, высококачественными речью и звуком, «что может существенно расширить диапазон компьютерного инструментария путем создания методик, основанных на динамической или полимодальной стимуляции испытуемых» [5, с. 260].
Отечественными учеными И.А. Кибальчиченко, Д.А. Устиновым и С.Н. Шаповаловым было проведено исследование для определения репрезентативной надежности двух компьютерных версий методик, направленных на выявление одаренных учеников: «Карта интересов младших школьников» (для учеников) и «Карта одаренности» (она позволяет количественно оценить степень выраженности у ребенка различных  видов одаренности и предназначена для родителей и педагогов; разработаны А.И. Савенковым на основе методики Д. Хаана и М.Каффа) [2].
Выборку составили 73 ученика III классов и 86 учителей. Исследование проводилось в два этапа с промежутком в десять дней. На первом этапе ученики и учителя заполняли бумажные варианты методик. На втором этапе те же испытуемые повторно проходили тестирование по данным методикам на компьютере. Коэффициент ранговой корреляции Спирмена между результатами обоих этапов исследования составил от 0,75 до 0,93 по всем диагностируемым видам одаренности и 0,63 по показателям способностей и интересов (уровень значимости α = 0,001).
Полученные результаты дают основания для вывода о высокой репрезентативной надежности компьютерных вариантов методик.
Ч.Я. Пиав провел анализ эквивалентности компьютерного и бумажного вариантов тестирования по трем методикам: тест по биологии, тест на критическое и творческое мышление (тест «YBRAINS» [7]) и мотивационный опросник («The Testing Motivation Questionnaire» [8]), измеряющий общую мотивацию к тестированию и четыре мотивационных компонента: самоэффективность, внешние, внутренние и социальные мотивы [8].  Испытуемыми были студенты педагогического института Малайзии (140 человек, средний возраст 21 год).
Статистический анализ результатов с использованием Т-критерия Стьюдента не выявил существенных межгрупповых различий в результатах по достижениям (баллы по тесту на знание биологии) и по показателям критического и творческого мышления. Существенные различия были обнаружены по мотивационным показателям. Мотивационный показатель к прохождению теста в общем, мотивация самоэффективности, внутренняя и социальная мотивации по результатам анализа разделенных участков ANOVA (split-plot ANOVA analysis) оказались существенно выше в случае прохождения испытуемыми компьютерных вариантов методик.
Таким образом, анализ результатов свидетельствует о наличии более низких мотивационных показателей у испытуемых по отношению к процедуре тестирования при прохождении ими бумажных вариантов тестов. Ч.Я. Пиав отмечает, что такой результат свидетельствуют о наличии негативного эффекта утомляемости в случае работы с бумажными методиками [8]. Основываясь на результатах данного исследования, Ч.Я. Пиав утверждает, что проведение компьютерных тестов также является более надежным способом диагностики с точки зрения внешней и внутренней валидности [6].
Можно выделить следующие преимущества при использовании компьютерных психодиагностических методик: проведение тестирования сразу нескольких человек; возможность дистанционного прохождения методики (в случае, если присутствие экспериментатора не является обязательным условием теста); автоматический подсчет результатов, который дает возможность оценить и обсудить их сразу после завершения тестирования [4]. Кроме того, компьютеризированные методики обеспечивают постоянство условий тестирования [1].
Компьютерная версия теста «Стандартные прогрессивные матрицы плюс Равена» также предпочтительна с точки зрения реализации процедуры тестирования. Перед началом тестирования ученики самостоятельно знакомятся с инструкцией, экспериментатору не приходится зачитывать ее вслух. Если что-либо в инструкции или в тренировочной задаче ученику непонятно, он имеет возможность вернуться к ним и еще раз посмотреть пример. Помимо автоматического подсчета результатов теста сразу после его прохождения   компьютерная программа осуществляет подсчет и выводит информацию о том, какие именно задания были решены верно, в каких были допущены ошибки и какие задания были пропущены учеником. Это в значительной степени упрощает обработку результатов. Кроме того, компьютерная методика предоставляет данные о времени работы ученика над каждым из 60 заданий теста.
Дж.К. Равен перечисляет несколько вариантов компьютерной реализации теста «Прогрессивные матрицы Равена» (ПМР) и описывает ряд исследований, проведенных с использованием этих программ с целью определить, дают ли компьютерные и бумажные варианты теста одинаковые результаты [3]. Одна из первых версий компьютерной программы теста «Прогрессивные матрицы Равена», которая была реализована на компьютере Эппл II, имела проблемы с качеством компьютерной графики. Это влияло на четкость предъявления картинок с заданиями теста. Несмотря на это Дж.К. Равен подчеркивает, что «при использовании обеих процедур тест почти не меняет свои психометрические свойства» [3, с. 64]. Дж.К. Равен приводит обзор ряда исследований нескольких вариантов компьютерных версий методик («Стандартные прогрессивные матрицы» (СПМ) и «Продвинутые прогрессивные матрицы» (ППМ)) и отмечает, что все проведенные исследования «убедительно показали эквивалентность компьютерной и бумажной версий» [3, с. 64].
Необходимо отметить ряд особенностей использования компьютерной версии теста, которые должен учитывать экспериментатор при проведении диагностики. Компьютерная методика дает возможность ученикам, не заинтересованным в успешном прохождении теста, отвечать на все вопросы быстро, не размышляя о правильности ответа, что будет свидетельствовать о соответствующей мотивации школьника. Для младших школьников прохождение теста на компьютере может стать большей нагрузкой по сравнению с бумажным вариантом. Хотя мы и не проводили специального исследования в начальных классах, но предполагаем, что использование компьютерного варианта теста в некоторых случаях может привести к более низким результатам у учеников I–IV классов. Именно поэтому следует проводить тестирование в начальной школе только в первой половине дня.

Следует признать, что в настоящее время большинство школьников являются «цифровыми аборигенами» («digital natives» [9]) и легко ориентируются в виртуальной среде, но все же при этом даже третьеклассники не все свободно работают на компьютере, и для этих учеников прохождение компьютерного теста будет представлять дополнительные сложности. Кроме того, при проведении тестирования с использованием компьютерной версии теста могут возникнуть некоторые технические трудности. Программа рассчитана на Windows 98 и более поздние версии и не будет работать под другими операционными системами. Инструкция к тесту не адаптируется к разрешению монитора и при низком разрешении не помещается целиком на экране.

Сравнение результатов компьютерного и бумажного вариантов методики «Стандартные прогрессивные матрицы плюс Равена» у учеников VI–IX классов

В нашем исследовании, проведенном сотрудниками Городского ресурсного центра одаренности Московского городского психолого-педагогического университета (руководитель В.С. Юркевич), диагностировался уровень развития общего интеллекта учеников средней школы.
Для этой цели нами использовались два варианта тестовой методики «Стандартные прогрессивные матрицы плюс Равена»: классический бумажный вариант и разработанный компанией «Когито-центр» компьютерный вариант теста (программа «Пси Профиль» версия 4.01 от 14.03.2011 для локальных ПК, тест «Стандартные прогрессивные матрицы плюс Равена»).
Очень важным параметром при анализе результатов диагностики интеллекта по тесту Равена является показатель несогласованности, который представляет собой разницу «между количеством баллов, набранным испытуемым по каждой Серии, и количеством, которое ожидается в норме для данного общего количества баллов» [3, с. 77]. Дж.К. Равен подчеркивает значимость данного параметра: «Если количество баллов, набранное испытуемым по одной из Серий, отклоняется более чем на 2 единицы, то суммарное количество баллов не может быть принято в качестве показателя стабильной оценки общей интеллектуальной способности» [3, c. 77]. Подсчет параметра несогласованности вручную – довольно трудоемкий процесс, занимающий у экспериментатора много времени.   Для упрощения работы по расчету несогласованностей Городским ресурсным центром одаренности была разработана авторская программа «Расчет показателя несогласованности по тесту СПМ+ Равена», которая вычисляет значения данного показателя автоматически сразу для всей выборки испытуемых (авторы С.С. Андрианов, С.С. Ермаков). Программа позволяет сразу выявить испытуемых, у которых на результаты тестирования оказали влияние такие факторы, как низкая мотивация к прохождению теста или списывание во время выполнения заданий.
Выборку составили ученики VI–IX классов, всего 277 человек. Характеристика выборки представлена в табл. 1.

Задачей исследования было выявление особенностей проведения компьютерного варианта теста и определение уровня его соответствия бумажному варианту. Исследование проводилось в два этапа. На первом этапе ученики работали с бумажным вариантом методики. Второй этап был проведен через три недели на тех же испытуемых с использованием компьютерного варианта теста.
В качестве показателя корреляции мы использовали коэффициент корреляции Пирсона, так как оценка уровня интеллекта осуществляется по шкале отношений и полученное распределение данных по критерию Колмогорова–Смирнова соответствует нормальному. В результате проведенного исследования были получены данные о значимой и высокой корреляционной связи между результатами компьютерной и бумажной форм проведения методики во всех классах (табл. 2).

Ретестовая надежность бумажного варианта теста в ряде других исследований находится примерно в том же диапазоне оценок [3].
Известно, что компьютерные методики способствуют «расслоению выборки», когда худшие показывают результаты еще хуже, а лучшие еще лучше. Это объясняется не столько навыками работы на компьютере, сколько в целом когнитивной нагрузкой, что также меняется с возрастом.
Поэтому мы провели корреляционный анализ между результатами выполнения бумажного и компьютерного вариантов теста у учеников, набравших наибольшие и наименьшие результаты, соответственно попавших в первый (I) и четвертый (IV) квартили (табл. 3).

У учеников из I и IV квартиля корреляционная связь оказалась несколько ниже, чем в общем по выборке. Практически идентичный результат был получен только в IX классе по I  квартилю.
Несмотря на несколько более низкие корреляционные показатели связь между результатами по бумажной и компьютерной версиями теста остается значимой во всех параллелях.
Для выявления различий между группами учеников, набравших наибольшее и наименьшее количество баллов по обоим вариантам тестовой методики, нами был проведен анализ результатов с использованием t-критерия различий Стьюдента для связанных выборок (табл. 4).

Статистически значимые различия между результатами по бумажной и компьютерной версиями методики были обнаружены только в результатах у учеников VI классов из IV  квартили и у учеников VIII классов из I квартили.
Необходимо отметить, что в целом средние значения у учеников из I и IV квартили немного различаются, в зависимости от способа проведения тестирования, но данная разница в средних значениях не превысила 1,61 балла (ученики VIII класса, I квартиль; табл. 5).

Таким образом, можно сделать вывод, что, хотя у двух групп учеников, набравших наибольшие и наименьшие баллы, и присутствуют некоторые различия в средних значениях по результатам бумажного и компьютерного вариантов тестирования, но в целом данные различия не являются статистически значимыми. Тем не менее, обнаруженные нами различия в результатах у учеников VI классов из IV квартили и у учеников VIII классов из I  квартили дают основания предположить, что в данном случае на результат мог повлиять эффект утомляемости. Возможно, сильные ученики приучены работать с печатным текстом. Слабым ученикам легче и привычнее проходить тест на компьютере.

Обсуждение результатов

Полученные значения коэффициента корреляции Пирсона между результатами по обоим вариантам методики у одних и тех же учеников согласуются с данными предшествующих аналогичных исследований [3]. Компьютерный вариант методики оказался более удобным в проведении и менее трудоемким в обработке способом диагностики интеллекта у школьников.
Необходимо отметить, что результаты подобной диагностики будут достоверными лишь при том условии, что экспериментатор учитывает указанные нами выше особенности компьютерного варианта данной методики при организации тестирования в школах.

Выводы

Таким образом, результаты проведенного исследования показывают, что особенности прохождения компьютерного варианта теста «Стандартные прогрессивные матрицы плюс Равена» не оказывают существенного влияния на итоговые результаты тестирования. Анализ полученных данных по обоим вариантам теста позволяет сделать вывод о возможности применения компьютерного варианта методики в качестве полноценного аналога ее бумажного варианта.
Проведение компьютерного тестирования также позволяет определить мотивацию испытуемых к прохождению теста на основании данных о времени работы над каждым отдельным заданием методики.

Заключение

Использование компьютерных диагностических методик в значительной степени упрощает последующую обработку полученных данных и имеет ряд других существенных преимуществ, описанных нами в данной статье. Однако работа с программой требует от ученика хотя бы начального уровня владения компьютером, поэтому у определенных групп испытуемых, которые не обладают базовыми компьютерными навыками (например, некоторые школьники в начальных классах), могут возникнуть существенные трудности с прохождением теста на компьютере, что, в свою очередь, может привести к более низкому результату. С учетом этого обстоятельства необходимы дальнейшие исследования, призванные определить возможности применения компьютерного варианта методики «Стандартные прогрессивные матрицы плюс Равена» для диагностики интеллекта учеников в начальной школе.

1. Епачинцева Г.А. К проблеме компьютерной диагностики в образовании // Вестник ОГУ. 2005. № 4. С. 170–173.
2. Иванов С.В. Информационно-измерительные аспекты психологического тестирования на компьютере // Известия Российского государственного педагогического университета им. А.И. Герцена. 2008. № 69.  С. 389–393.
3. Равен Дж.К., Корт Дж.Х., Равен Дж. Руководство к Прогрессивным Матрицам Равена и Словарным Шкалам: Раздел 3: Стандартные Прогрессивные Матрицы (включая параллельные и плюс версии): Пер. с англ. М.: Когито-центр, 2002. 144 с.
4. Соловьева Д.В. Компьютерные технологии для психолога // Школьный психолог. 2009. № 24. C. 8–10.
5. Червинская К.Р. Компьютерная психодиагностика. СПб.: Речь, 2003. 336 с.
6. Piaw C.Y.  Effects of computer-based testing on test performance and testing motivation // Computers in Human Behavior. 2012. Vol. 28. P. 1580–1586. doi: 10.1016/j.chb.2012.03.020.
7. Piaw C.Y.  Establishing a Brain Styles Test: The YBRAINS Test // Procedia – Social and Behavioral Sciences. 2011. Vol. 15. P.4019–4027. doi:10.1016/j.sbspro.2011.04.407.
8. Piaw C.Y.  Replacing paper-based testing with computer-based testing in assessment: Are we doing wrong? // Procedia – Social and Behavioral Sciences. 2012.Vol. 64. P. 655–664. doi: 10.1016/ j.sbspro.2012.11.077.
9. Prensky M. Digital Natives, Digital Immigrants // MCB University Press. 2001.Vol. 9(5). P. 1–6.

PlumX

Метрики публикации