Диагностика сформированности метапредметных компетенций у пятиклассников

Представлены результаты обследования 1287 учащихся из 40 школ ЦАО (648 мальчиков и 639 девочек) и 88 учащихся гимназии 1567 ЗАО Москвы (46 мальчиков, 42 девочки) с использованием методики А.З. Зака «Перестановки». Методика, построенная на материале пространственно-комбинаторных задач неучебного содержания, включает задания для определения сформированности метапредметных компетенций, связанных с осуществлением познавательной рефлексии, построением способа решения проблем поискового характера, планированием достижения требуемого результата. Получены статистически значимые различия по сформированности всех компетенций между распределениями совокупностей школ ЦАО и гимназии (р < 0,001), гендерные различия среди учащихся школ ЦАО по построению способов решения проблем поискового характера (р < 0,05). Статистически доказана надежность шкал методики и ее дифференциальная валидность по социо-демографическим факторам «категория учащихся» и «пол». Результаты экспериментально подтверждают возможность использования методики «Перестановки» в оценке заявленных метапредметных компетенций для широкой практики отечественного образования.

Процессы обновления, происходящие в современной отечественной системе образования на протяжении последнего десятилетия, нашли отражение в новом законе «Об образовании в Российской Федерации» [16]. Одним из основных принципов государственной политики в сфере образования в нем объявляется «создание благоприятных условий для интеграции системы образования Российской Федерации с системами образования других государств на равноправной и взаимовыгодной основе» [19, гл. 1, ст. 3, п. 5], что придает особую актуальность проблеме разработки адекватного инструментария для психолого-педагогических измерений, характерных, в частности, для стран Евросоюза и США.

С 2010/2011 учебного года поэтапно вводятся Федеральные государственные образовательные стандарты общего образования (ФГОС). С 1 сентября 2015 года по ФГОС начали обучаться школьники 1-5 классов. В настоящее время активно обсуждается Проект профессионального стандарта педагога [9], разработанный МГППУ совместно с педагогической ассоциацией «Педагог 21 века» в 2017 году. В Проекте в формулировке Трудового действия 5 «Оценка образовательных результатов обучающихся», относящегося к Трудовой функции 1 «Профессиональная деятельность по обучению и воспитанию обучающихся в соответствии с ФГОС общего образования и основными образовательными программами», отмечается умение учителя использовать «эффективные средства (инструменты) объективной оценки образовательных результатов обучающихся для индивидуализации их обучения и воспитания» [9, с. 59]. Независимая оценка качества знаний и умений обучающихся по разным предметам и приобретенных метапредметных компетенций требует разработки диагностических методик, прошедших все необходимые процедуры апробации и стандартизации.

В 2011/2012 учебном году ПИ РАО совместно с МГППУ было проведено научное исследование на тему «Комплексный подход в диагностике метапредметных результатов начального школьного образования в соответствии с новыми образовательными стандартами» в ЦАО Москвы (руководитель — в.н.с. И.М. Улановская). Цель исследования — экспериментальная оценка различных аспектов компетентности учащихся 5-х классов, а его важнейшая задача — апробация ряда диагностических методик, разработанных психологами ПИ РАО, как на материале школьных предметов, так и на неучебном содержании.

Согласно международным стандартам, хороший тест должен удовлетворять, в частности, требованиям надежности [1; 6; 13; 15], а также дифференциальной валидности, понимаемой здесь как способность теста выявить различия по социо-демографическим факторам [6; 12; 13]. В настоящей статье впервые представлен анализ психометрических характеристик методики А.З. Зака «Перестановки» оценки сформированности познавательных и регулятивных метапредметных компетенций у пятиклассников.

В исследовании участвовали 2 выборки учащихся 5-х классов города Москвы: экспериментальная группа n1 = 1287 человек из 40 школ ЦАО (648 мальчиков, 639 девочек) — выборка стандартизации — и контрольная группа n₂ = 88 человек из гимназии № 1567 ЗАО (46 мальчиков, 42 девочки).

Обследование с помощью методики «Перестановки» занимает 40 минут и включает 2 части. В первой из них экспериментатор сначала изображает на доске условия простых пространственно-комбинаторных проблем (того же вида, что и в методике) и знакомит детей с нотацией игровых полей. Затем объясняет формальные правила решения данного вида задач, согласно которым за одно действие принимается взаимная перестановка любых двух геометрических фигур. Далее вместе с детьми разбирается решение простых проблем и показывается, как записываются выполняемые действия. Во второй части каждому ученику дается лист с условиями 12 проблем (объединенных в три задания) для самостоятельного решения [8, с. 23-31]. При этом предупреждается о необходимости решать задачи только в умственном плане, путем мысленного манипулирования фигурами и цифрами, глядя на игровые поля.

Материал каждой задачи включает 2 игровых поля: слева — геометрические фигуры, справа — цифры. Требуется путем мысленного перемещения за требуемое число действий по определенным правилам разместить одинаковые фигуры в тех же клетках, где находятся одинаковые цифры (рис.). За одно действие принимается взаимная перестановка любых двух фигур. Например, проблема в два действия:

Рис. Проблема из задания 2 методики «Перестановки»

Одно из решений: обмен местами фигур в клетках В2 — В3 и в клетках А2 — А1.

Задание 1 связано с определением сформированности метапредметной компетенции, отражающей выполнение рефлексивных действий при решении проблем. Разработка задания опиралась на представления о внешних и внутренних рефлексивных действиях: первые связаны с рассмотрением наблюдаемых характеристик условий реализации способов решения проблем, вторые — с осмыслением оснований этих способов [3].

Основываясь на отмеченных представлениях, была предложена двухэтапная схема эксперимента [5], реализуемая на неучебном [7; 11] и учебном [2] содержании. На первом этапе ребенку нужно справиться с тремя проблемами (А, Б и В) двух видов: проблемы А и В решаются одним способом, проблема Б — другим. На втором этапе, при успешном решении всех проблем, - их нужно объединить. Когда объединение проводится по наблюдаемым характеристикам их условий, то считается, что выполнялись внешние рефлексивные действия. Когда объединение проводится по способам решения проблем, то считается, что выполнялись внутренние рефлексивные действия.

В задании 1 сначала решались подготовительные проблемы (1 и 2), затем — основные (3, 4, 5), проблемы 3 и 5 решаются одним способом, 4 — другим. Далее нужно было согласиться с одним из пяти мнений об основных проблемах. Согласие с мнением «...проблема 4 отличается от проблем 3 и 5...» позволяло считать, что выполнялись внутренние рефлексивные действия, что рассматриваемая компетенция сформирована, а задание 1 выполнено. Согласие с любым другим мнением позволяло считать, что выполнялись внешние рефлексивные действия, рассматриваемая компетенция не сформирована, а задание 1 не выполнено. При неправильном решении хотя бы одной проблемы считалось, что согласие с любым мнением не действительно и задание не выполнено.

Задание 2 связано с определением сформированности компетенции, отражающей разработку способа решения поисковых задач. Подготовка этого задания для обследования опиралась на представления об обобщенном и необобщенном способах решения задач [3; 10]. Выполняя задание, нужно было справиться с тремя задачами. Если они решались правильно, то считалось, что применялся обобщенный способ, диагностируемая компетенция сформирована и задание выполнено. Если правильно решались только две или одна проблема, то считалось, что применялся необобщенный способ, компетенция не сформирована и задание не выполнено.

Задание 3 связано с определением сформированности компетенции, отражающей умение планировать программу действий по достижению результата. Такое планирование зависит от развития способности действовать «в уме» [4]. Разработка этого задания опиралась на представления о целостном и частичном планировании действий по достижению результата [10]. При целостном планировании последующие действия намечаются одновременно с предыдущими, достижение нужного результата планируется в целом. При частичном планировании достижение результата намечается лишь по отдельным звеньям.

Опираясь на эти представления, для определения характеристик планирования предлагалось использовать двухэтапный эксперимент. На первом этапе осваивается некоторое простое действие, на втором — решается несколько задач на построение последовательности этих действий.

Правильное решение всех четырех задач задания 3 характеризует 4-й уровень сформированности данной компетенции, трех задач — 3-й, двух задач — 2-й, одной задачи — 1-й, неверное решение всех задач — 0-й уровень.

Описательная статистика. В выборке ЦАО можно заметить, что максимальное количество правильных решений в задаче 1 (75,6%). Более сложными оказались задачи 2-8: правильных ответов 50-60%, к тому же постепенно увеличивается число отказов. Самые же трудные задачи — с 9-й по 12-ю. Неверных ответов в задачах 2-9 и 11-12 — примерно 30-50%.

В выборке школы 1567 в задачах 1 и с 3-й по 8-ю правильных ответов более 80%. В задачах 2, 9, 10 их в районе 50-60%, а в 11-й и 12-й — около 30%. Доли учащихся обеих групп, которые верно высказали мнение в 1-м задании, практически совпадают: 15,4% стандартизационной выборки и 13,6% — контрольной. В табл. 1 представлены распределения ответов учащихся стандартизационной и контрольной выборок по категориям, характеризующим сформированность 3-х метапредметных компетенций. Критерий Хи-квадрат [17] подтверждает статистически значимые различия (р < 0,001).

Подчеркнем, что в выборке школы 1567 вообще нет отказов. В школе 1567 больше процент заданий 1, выполненных успешно, и меньше процент заданий 1, вообще не выполненных. Процент неуспешно выполненных заданий 1 выше, чем в ЦАО, но это означает, напомним, что правильно решены все 3 задачи, и лишь мнение об их сходстве и различии выбрано неверно. В этой группе также значительно больше процент заданий 2, выполненных успешно (на 44,5%), и значительно меньше процент заданий 2, выполненных неуспешно (на 25,7%), чем в группе ЦАО. Возможно, из-за отсутствия отказов в школе 1567 существенно больше процент заданий 3, выполненных неуспешно, чем в ЦАО. Но если учесть число отказов в ЦАО, то в сумме с неуспешно выполненными заданиями 3 они составляют 98,2% (!), в то время как в школе 1567 неуспешны лишь 52,7% испытуемых. Соответственно, процент успешно выполненных заданий в школе 1567 значительно выше (на 11,7%), чем в ЦАО. Таким образом, учащиеся школы 1567 показывают лучшие результаты, чем школьники ЦАО.

Сравнивая результаты сформированности метапредметных компетенций (табл. 1), можно заметить, что в школе 1567 на 25% больше учащихся показали формальную рефлексию, на 5,8% — содержательную рефлексию и на 30,8% меньше не показали никакой рефлексии, чем в ЦАО. Кроме того, в группе школы 1567 значительно больший процент детей показал решение общим способом (на 44%) и значительно меньший — решение частным способом или никакого решения (на 13,6% и на 30,8% соответственно). В свою очередь, в ЦАО на 38,6% больше учащихся, у которых способность действовать «в уме» находится на нулевом уровне, и значительно меньший процент учащихся, показавших 2-й, 3-й и 4-й уровень развития этой способности (на 14,1%, 10,8% и 12,9% соответственно). Следовательно, и здесь школа 1567 демонстрирует лучшие результаты по сравнению с ЦАО.

Таблица 1

Распределения ответов, отражающих сформированность метапредметных компетенций, в стандартизационной и контрольной выборках

Примечание. *** — различия значимы на уровне р < 0,001.

Поскольку для компетенции 3 уровень определялся числом решенных задач, мы проверили статистическую однородность обеих выборок по критериям Манна-Уитни, Стьюдента и Фишера (табл. 2) [17]. Заметим, что распределение показателей учащихся ЦАО отклоняется от нормального, поэтому более адекватно здесь применение непараметрического критерия Манна- Уитни. Первые два критерия показывают, что средний уровень развития этой компетенции в школе 1567 выше, чем в ЦАО (р < 0,001). Однако стандартное отклонение там тоже больше (Фишер, р < 0,001), что говорит о более широком рассеянии тестовых баллов вокруг среднего.

Таблица 2

Сравнение средних и стандартных отклонений для компетенции «способность действовать “в уме”» по критериям Манна-Уитни, Стьюдента и Фишера

Примечание. *** — различия значимы на уровне р < 0,001.

Надежность (внутренняя согласованность) для методики «Перестановки» проверялась при помощи показателя Альфа Кронбаха как для отдельных субшкал (заданий 1-3), так и для теста в целом. Кроме того, рассчитывалась расщепленная надежность для выборок стандартизации и контрольной, а также для их совокупности (табл. 3). Внутренняя согласованность достаточно хорошая: в выборке ЦАО и объединенной выборке для заданий 1 и 2 и итоговой шкалы Альфа Кронбаха превышает 0,8, для задания 3 его значение более 0,6. Расщепленная надежность, рассчитанная по выборке ЦАО и объединенной выборке, тоже высокая — больше 0,8. В выборке школы 1567 она ниже, но и сама выборка существенно меньше по объему. Таким образом, надежность методики «Перестановки» статистически доказана.

Таблица 3

Расщепленная надежность и внутренняя согласованность методики «Перестановки»

Примечание. *** — корреляция значима на уровне р < 0,001.

Оценка гендерных различий. Сравнение распределений успешности решения задач 1, 2 и 3 методики «Перестановки» у мальчиков и девочек по критерию Хи-квадрат отдельно в выборках ЦАО и школы 1567 не выявило достоверных различий ни по одному из заданий. Это значит, что и в ЦАО, и в школе 1567 в генеральных совокупностях пропорции мальчиков и девочек, выполнивших, например, задание 1 успешно, одинаковы, и то же самое верно для остальных категорий.

Далее по критерию Хи-квадрат были сопоставлены распределения мальчиков и девочек по уровням овладения тремя метапредметными компетенциями отдельно в выборках ЦАО и школы 1567. В выборке ЦАО значимые различия выявлены только по способам решения проблем поискового характера (р = 0,033, р < 0,05). Как следует из табл. 4, девочки чаще дают решение частным способом и реже не дают решения, чем мальчики. Процент испытуемых, решивших задание общим способом, примерно одинаков в обеих совокупностях. В выборке школы 1567 статистически значимых различий не выявлено ни по одной из компетенций. Это означает, что в генеральных совокупностях мальчиков и девочек школы 1567 пропорции представителей обоих полов в категории, например, «формальная рефлексия» одинаковы, и то же самое справедливо для любой другой категории.

Таблица 4

Распределение результатов освоения способов решения проблем поискового характера, измеряемых методикой «Перестановки», в группах мальчиков и девочек ЦАО Москвы

Примечание. * — различия значимы на уровне р < 0,05.

Выводы

В задачах 1-8 первых 2-х заданий методики «Перестановки» число верных ответов в выборке ЦАО колеблется от 46,1% до 75,6%, а в выборке школы 1567 — от 54,5% до 92,0%. В задачах задания 3 результаты скромнее: от 8,0% до 26,7% верных ответов в ЦАО и от 28,4% до 60,2% — в школе 1567, причем самыми трудными оказались задачи 11 и 12. В 1-м задании правильное мнение было только у 15,4% школьников стандартизационной выборки и 13,6% - контрольной. Эти цифры могут служить ориентиром при дальнейшем использовании методики на практике.

Подтверждена надежность методики «Перестановки» с помощью показателей Альфа Кронбаха и расщепленной надежности: все три задания по отдельности и итоговая шкала в целом демонстрируют хорошую внутреннюю согласованность. В выборке ЦАО и объединенной выборке для заданий 1 и 2 и итоговой шкалы Альфа Кронбаха превышает 0,8. Для задания 3 этот показатель превышает 0,6, что тоже благоприятно. Показатель расщепленной надежности в выборке ЦАО и объединенной выборке превышает 0,8.

Дифференциальная валидность методики «Перестановки» как способность выявлять различия по факторам «категория учащихся» и «пол» тоже статистически доказана. Сравнение результатов выполнения заданий 1-3, а также уровней овладения всеми 3-мя метапредметными компетенциями во всех случаях показывает статистически значимые различия между распределениями совокупностей ЦАО и школы 1567 (р < 0,001). В целом, учащиеся школы 1567 демонстрируют лучшие результаты по сравнению с ЦАО. Проверка различий между центральными параметрами показывает, что в среднем по компетенции 3 школа 1567 показала более высокие результаты, чем ЦАО, но и стандартное отклонение там достоверно больше. В популяции ЦАО гендерных различий не выявлено ни по одному из заданий. При сопоставлении результатов овладения метапредметными компетенциями в выборке ЦАО достоверные различия между мальчиками и девочками выявлены только по способам решения проблем поискового характера (р < 0,05): девочки чаще дают решение частным способом и реже не дают решения, чем мальчики. Среди учащихся школы 1567 гендерных различий не выявлено.