Оценка сформированности познавательных и регулятивных метапредметных компетенций выпускников начальной школы (при решении сюжетно-логических задач)^*

В новом Стандарте НОО [Федеральный государственный образовательный стандарт] впервые сформулированы требования к метапредметным результатам освоения детьми основной образовательной программы начальной школы. Реализация этих требований предполагает развертывание сложной научно-практической работы по психологическому сопровождению реализации Стандарта в начальном школьном образовании.

Для разработки вопросов такого сопровождения научные сотрудники Психологического института РАО, Московского городского психолого-педагогического университета и учителя школы № 91 г. Москвы* совместно выполнили в самом начале 2011/2012 учебного года исследование, в котором участвовали около 2000 пятиклассников сорока школ г. Москвы. Его цель состояла в оценке сформированности у выпускников начальной школы метапредметных компетенций разного рода и апробации соответствующих диагностических методик.

Наша экспериментальная работа проводилась в рамках этого масштабного исследования. Ее цель состояла в оценке сформированности у выпускников начальной школы (работа проводилась с пятиклассниками в начале учебного года) метапредметных компетенций как результатов освоения детьми познавательных и регулятивных универсальных учебных действий путем апробации новой методики. В экспериментах участвовали две выборки школьников: стандартизационная (n1=1356, учащиеся из сорока школ Центрального округа Москвы: 679 мальчиков и 677 девочек) и контрольная (n2=88, учащиеся из многопрофильной гимназии Западного округа Москвы: 46 мальчиков и 42 девочки). Следует отметить, что для поступления в пятый класс гимназии нужно пройти специальный отбор, в частности, по тестам умственного развития.

*Сотрудники ПИ РАО: Адаскина А.А., к. пс. н.; Высоцкая Е.В., к. пс. н.; Горбов С.Ф., к. пс. н.; Зак А.З., д. пс. н.; Мелик-Пашаев А.А., д. пс. н.; Новлянская З.Н., к. пс.н.; Обухова О.Л., к. пс. н.; Поливанова Н.И., к. пс. н.; Ривина И.В., к. пс. н.; Улановская И.М., к. пс. н.; Цукерман Г.А., д. пс. н.; Чудинова Е.В., к. пс. н. Сотрудники МГППУ: Гуружапов В.А., д. пс. н.; Савельева О.В., к. пс. н.; Соколов В.Л., к. пс. н.; Митина О.В., к. пс. н. Учителя школы № 91: Романеева М.П., Суховерша Л.А., Табачникова Н.Л.

Нулевая гипотеза исследования состояла в следующем: между результатами испытуемых двух выборок статистически значимые различия отсутствуют, поскольку (несмотря на высокий уровень умственного развития испытуемых второй выборки) в начальной школе дети обеих выборок обучались по традиционной программе.

Согласно альтернативной гипотезе, различия между результатами испытуемых двух выборок статистически значимые, поскольку (несмотря на обучение всех детей по традиционной программе) во второй выборке были дети только с высоким уровнем умственного развития, что не может не повлиять на повышение уровня сформированности познавательных и регулятивных метапредметных компетенций.

Для проведения групповых экспериментов была разработана методика «Рассуждение». Каждому ученику класса давался лист с условиями задач четырех заданий.

Задание 1

1.     Две девочки были в куртках, а одна — в пальто. В чем была одета Надя, если Маша с Катей и Катя с Надей были одеты по-разному?

2.    Две девочки вышивали: одна - красными нитками, другая - синими. Какие нитки были у Наташи, если Ольга не вышивала синими нитками?

3.    Четыре дня в мае была разная погода: 2, 4, 7 и 8. В один день было холодно и дождливо, в другой - тепло и сухо, в третий - тепло и дождливо, 4 мая пошел снег. 2 и 7 мая было тепло, 2 и 8 - дождливо. В какой день было сухо и тепло?

4.     Юра сильнее Вити. Юра слабее Васи. Боря слабее Юры. Кто сильнее всех?

Задание 2

5.    Два мальчика занимались боксом, один - борьбой. Чем занимался Юра, если Коля и Юра, Коля и Саша занимались разными видами спорта?

6.    Три девочки учились музыке: одна играла на скрипке, одна на гитаре, одна на флейте. На чем играла Наташа, если Марина и Галя играли на разных инструментах: на гитаре и на флейте?

7.    Три девочки собирали марки: две - о минералах и одна - о птицах. Какие марки собирала Аня, если у Иры и Ани, Иры и Оли были разные марки?

Мнения о задачах

Несколько учеников IV класса решили эти задачи и обменялись мнениями.

Таня сказала: «Задачи 5, 6 и 7 похожи».

Коля не согласился: «Задачи 5, 6 и 7 разные».

Вика: «Думаю, что похожи задачи 5 и 6, а задача 7 от них отличается».

Катя: «Считаю, что похожи задачи 5 и 7, а задача 6 от них отличается».

Нина: «Уверена, что похожи задачи 6 и 7, а задача 5 от них отличается».

Кто из учеников прав?

Задание 3

8.   В слове «КОЖА» переставили буквы и получилось слово «ОКАЖ». Такая же перестановка была сделана в слове «ВИЛЫ». Что получилось?

9.    В слове «ПОРКА» переставили буквы и получилось слово «ОПКРА». Такая же перестановка была сделана в слове «ЗАКОН». Что получилось?

10.  В слове «МАЛИНА» переставили буквы и получилось слово «АМИЛАН». Такая же перестановка была сделана в слове «СЕДОКИ». Что получилось?

11.  В слове «КАРАНДАШ» переставили буквы и получилось слово «АКАРДНША». Такая же перестановка была сделана в слове «СТРАНИЦА». Что получилось?

Задание 4

12.  Карандаш толще ручки и длиннее фломастера. Карандаш тоньше фломастера и короче ручки. Какой предмет тоньше всех и какой короче всех?

13.   Юра и Оля Еловы, Юра и Оля Азовы сидели на скамейке. Оба Юры были рядом и оба Азовых были рядом. Где была (в середине или с краю) Оля Елова?

14.   Ребята вышли одновременно: Боря из Тулы в Киев, Саша из Киева в Рузу, Гена из Рузы в Тулу. Через 2 дня оказалось: Саша ближе к Киеву, чем Боря к Туле; Гена дальше от Рузы, чем Боря от Тулы. Кто шел медленнее всех?

15.  Миша бегает быстрее Оли, прыгает выше Ани и ныряет лучше Юры. Миша прыгает ниже Оли, ныряет хуже Ани и бегает медленнее Юры. Кто бегает медленнее всех, кто прыгает ниже всех, кто ныряет хуже всех?

*             *            *             *             *

Каждое из представленных четырех заданий имеет особый смысл для оценки сформированности познавательных и регулятивных метапредметных компетенций как результатов освоения, соответственно, познавательных и регулятивных универсальных учебных действий.

Задание 1 предназначено для оценки сформированности познавательной метапредметной компетенции, связанной с логическим действием построения рассуждений (при решении сюжетно-логических задач).

В основе построения этого задания лежали положения формальной логики о видах суждений [см., напр.: 8]. Так, по содержанию предиката простые суждения делятся, в частности, на атрибутивные (суждения свойства) и реляционные (суждения отношения). По качеству простые суждения отмеченных видов характеризуются как утвердительные и отрицательные. По характеристике отношений реляционные суждения могут быть симметричными и асимметричными.

Для того чтобы более полно оценить сформированность данной компетенции, детям предлагаются задачи, составленные из суждений разного вида: в первой и третьей используются утвердительные атрибутивные суждения, во второй - отрицательные атрибутивные суждения, в четвертой - асимметричные реляционные суждения.

Неверное решение всех задач характеризует нулевой (относительно предложенных задач) уровень сформированности данной компетенции, верное решение одной задачи - первый уровень, двух задач - второй уровень, трех задач - третий, четырех задач - четвертый уровень. Только последний уровень свидетельствует об успешном выполнении данного задания.

Задание 2 предназначено для оценки сформированности регулятивной метапредметной компетенции, связанной с осуществлением познавательной рефлексии при решении задач, в частности, сюжетно-логических.

В основе построения этого задания лежали положения о двух видах познавательной рефлексии при решении задач (содержательной и формальной), представленные в трудах В.В. Давыдова [Давыдов, 1996]. В соответствии с этими положениями нами была разработана двухчастная экспериментальная ситуация [Зак, 1984], модификация которой использовалась в работах на неучебном материале [Новиков П.В, 1998] и учебном материале [Гуружапов, 1997; Соколов, 2012].

В первой ее части предлагалось решить три задачи двух классов (первая и третья задачи были построены и решались на основе одного принципа, вторая задача - на основе другого принципа). Во второй части при верном решении всех задач их предлагалось сгруппировать.

Если в основе группировки лежали внешние особенности условий задач, то принималось, что при решении задач осуществлялась формальная рефлексия. Если за основу группировки принималось внутренне родство задач (единый принцип их построения и решения), то это свидетельствовало об осуществлении содержательной рефлексии.

В данном задании сначала нужно было решить задачи: две из них (задачи 5 и 7) построены по одному принципу, одна (задача 6) - по-другому. Затем требовалось выбрать одно мнение об этих трех задачах из пяти предложенных.

При верном решении задач выбор четвертого мнения характеризует осуществление содержательной рефлексии и свидетельствует о достаточной (применительно к предложенным задачам) сформированности данной компетенции. В этом случае выполнение задания 2 считается успешным.

При верном решении задач выбор любого мнения кроме четвертого характеризует осуществление формальной рефлексии и свидетельствует о недостаточной сформированности данной компетенции. В этом случае выполнение задания считается неуспешным.

При неверном решении хотя бы одной задачи выбор любого мнения считается недействительным. В этом случае задание считается невыполненным.

Задание 3 предназначено для оценки сформированности познавательной компетенции, связанной с построением способа решения проблем поискового характера (на материале сюжетно-логических задач).

В основе построения этого задания лежали представленные в трудах С.Л. Рубинштейна [Рубинштейн, 2002] и В.В. Давыдова [Давыдов, 1996] положения о двух способах (теоретическом, общем, и эмпирическом, частном) решения поисковых проблем. В соответствии с характеристиками отмеченных способов была разработана экспериментальная ситуация (см., например, В.В. Давыдов, В.Н. Пушкин [Давыдов, 1972]), где предлагается решить серию задач одного класса, т. е. построенных на основе единого принципа.

Верное решение всех задач данного задания характеризует осуществление общего способа и свидетельствует об относительно достаточной сформированности данной компетенции и успешном выполнении задания 3.

Верное решение лишь трех, двух или одной задачи характеризует осуществление частного способа и свидетельствует об относительно недостаточной сформированности данной компетенции и неуспешном выполнении задания 3.

Задание 4 предназначено для оценки сформированности регулятивной компетенции, связанной с планированием ребенком своих действий (при решении сюжетно-логических задач). Такое планирование зависит от развития способности действовать «в уме» [см., напр.: 5; 7].

В основе построения этого задания лежали представленные, в частности, в трудах Я.А. Пономарева [см., напр.:12] положения о двух видах планирования при решении поисковых проблем (целостном и частичном). Им была разработана общая схема двухчастной экспериментальной ситуации, когда в первой части предлагается освоить некоторое простое действие, а во второй части - решить несколько задач на построение последовательности этих действий.

В рамках данного задания детям предлагалось решить четыре задачи, при решении которых требовалось оперировать все большим числом суждений в мысленном плане и тем самым выполнять более сложные рассуждения, чем в предыдущих заданиях.

Неверное решение всех задач характеризует нулевой уровень сформированности данной компетенции. Верное решение одной задачи характеризует первый уровень сформированности, верное решение двух задач - второй уровень, верное решение трех задач - третий уровень, верное решение всех задач характеризует четвертый уровень. Только в последнем случае выполнение задания 4 считается успешным.

Описательная статистика. Среди показателей описательной статистики определялись число и процент верных ответов, неверных ответов и отказов решить каждую из 15 задач данной методики.

В выборке школ число верных ответов в задачах 1, 2, 3, 5, 7 составляет около 50-60 %, в задаче 4 оно максимальное (82,2 %), в задачах 6, 8, 9, 10, 11, 13 оно находится в диапазоне 60-75 %. Наименьшее число правильных ответов - в задачах 12, 14, 15, где оно не превышает 30 %. В задачах 14 и 15 также максимальное количество отказов (12,4 % и 8,2 % соответственно). В остальных задачах число отказов не превышает 6,5 %.

В выборке гимназии число верных ответов в задачах 1-11 и 13 находится в диапазоне 73,9-95,5 %. Наиболее трудными оказались задачи 14 и 15: их решили 30,7 % и 26,1 % учащихся соответственно. Верно высказали мнение во втором задании 27,4 % респондентов стандартизационной выборки и 52,3 % - контрольной.

Сравнение результатов выполнения заданий методики учащимися школ и гимназии. Поскольку большинство измерений проведены по номинативным шкалам, мы сопоставили распределения результатов выполнения заданий 1, 2, 3 и 4 (табл. 1), а также сформированности четырех метапредметных компетенций в группах школ и гимназии (табл. 2) по критерию однородности Хи-квадрат [Наследов, 2006; Сорокова, 2014]. Во всех случаях получены статистически значимые различия на уровне значимости р = 0,000 (р < 0,001).

Таблица 1

Сравнение распределений результатов выполнения заданий методики «Рассуждения» в выборках школ и гимназии по критерию Хи-квадрат

В гимназии значительно меньший процент учащихся выполнили задания 1 и 3 неуспешно, и значительно больший процент - успешно, по сравнению с учащимися школ, а отказов там нет вообще.

Относительно заданий 2 и 4 наблюдается сходная картина: в выборке гимназии значительно больший процент учащихся выполнили задание успешно, по сравнению с учащимися школ, и нет отказов. При этом, хотя процент неуспешно выполненных заданий 2 больше, чем в группе школ, но в сумме с вообще невыполненными заданиями они составляют 62,5 %, что меньше, чем сумма выполненных неуспешно, вообще невыполненных заданий и отказов в выборке школ (85,3 %).

Для задания 4 процент неуспешных выполнений (92,0 %) больше, чем в группе школ, но меньше, чем сумма выполненных неуспешно заданий и отказов в выборке школ (98,2 %). Таким образом, в целом учащиеся гимназии лучше справились со всеми заданиями методики.

Таблица 2

Сравнение распределений результатов сформированности четырех метапредметных компетенций, измеряемых методикой «Рассуждения», в группах школ и гимназии по критерию Хи-квадрат

 Как видно из табл. 2, в гимназии нет учащихся с нулевым уровнем сформированности компетенции, связанной с логическим действием построения рассуждений, и меньший процент учащихся, имеющих 1-й, 2-й и 3-й уровни сформированности этой компетенции, но на 28,7 % больше учащихся, чем в группе школ, имеющих самый высокий, 4-й, уровень.

Аналогичные результаты характеризуют сформированность компетенции 4, связанную с планированием: в гимназии - меньший процент учащихся, у которых эта компетенция сформирована на нулевом или 1-м уровне, но больший процент учащихся, имеющих 2-й, 3-й и 4-й уровни сформированности, по сравнению с учащимися школ. Таким образом, учащиеся гимназии более успешны по сформированности обеих указанных компетенций.

Кроме того, в гимназии значительно больше процент учащихся, овладевших как формальной, так и содержательной рефлексией (компетенция 2), чем в школах, и на 34,9 % меньше учащихся, у которых познавательная рефлексия отсутствует.

Аналогично для компетенции 3: в гимназии на 29,8 % больше учащихся, выполнивших решение общим способом, и на 21,2 % меньше выполнивших частным способом, чем в группе школ, а те, у кого нет решения, отсутствуют. Следовательно, и здесь учащиеся гимназии демонстрируют лучшие результаты по сравнению с учащимися школ.

Уточнить полученные выше результаты позволило исследование различий между центральными параметрами совокупностей школ и гимназии для компетенций 1 и 4 при помощи критериев Манна-Уитни и Стьюдента и различий между стандартными отклонениями при помощи критерия Фишера, поскольку для этих компетенций уровень определяется количеством правильно решенных задач, и шкалы могут считаться количественными [Митина, 2009; Наследов, 2006; Сорокова, 2014].

Заметим, что выборки школ для обеих компетенций не являются нормальными, поэтому более адекватно здесь применение непараметрического критерия Манна-Уитни, но в данном случае было интересно сопоставить результаты, полученные обоими методами, которые подтверждают друг друга.

В среднем, по обеим отмеченным компетенциям гимназия показала более высокие результаты (табл. 3), чем группа школ, стандартное отклонение для компетенции 1 там меньше (р<0,05), т. е. результаты несколько ближе к среднему, а для компетенции 4 - не отличается от результатов группы школ.

Таблица 3

Сравнение средних и стандартных отклонений для компетенций 1 и 4 методики «Рассуждения» по критериям Манна-Уитни, Стьюдента и Фишера

Примечание. * - различия значимы на уровне р< 0,05; *** - различия значимы на уровне р< 0,001.

Проверка надежности [Анастази, 1982; Митина, 2009] шкал методики осуществлялась двумя способами: при помощи вычисления показателя а Кронбаха как для отдельных субшкал (заданий 1-4), так и для теста в целом; при помощи проверки расщепленной надежности по объединенной выборке школ и гимназии и по каждой из них в отдельности (табл. 4).

Среди четырех заданий наилучшие показатели а Кронбаха, лежащие в пределах 0,6­0,7, демонстрируют задания 2 и 3. Несколько ниже этот показатель у задания 1, но его величину в пределах 0,4-0,6 можно считать удовлетворительной. Лишь пункты задания 4 обладают довольно низкой внутренней согласованностью, немного превышающей 0,3 во всех трех выборках, однако показатели внутренней согласованности всех 15 заданий итоговой шкалы в двух самых больших выборках превышают 0,75, что является весьма высоким результатом, говорящим о том, что все они хорошо работают на итоговую шкалу теста.

Показатель расщепленной надежности рассчитывался с помощью коэффициента ранговой корреляции Спирмена между шкалами, полученными путем суммирования результатов выполнения четных и нечетных заданий методики по отдельности [Анастази, 1982; Raven, 2008]. Он свидетельствует о средней прямой связи (диапазон 0,5-0,6) этих переменных, что является вполне удовлетворительным.

Таблица 4

Показатели а Кронбаха и расщепленной надежности для шкал методики «Рассуждения»

Примечание. *** - корреляция значима на уровне р< 0,001.

Заключение

Результаты проведенного исследования подтвердили альтернативную гипотезу: действительно, успешность испытуемых контрольной выборки существенно (на статистически значимую величину) превышает успешность испытуемых стандартизационной выборки в выполнении заданий методики.

Вместе с тем, впервые получены конкретные данные, характеризующие (на материале решения сюжетно-логических задач) сформированность познавательных метапредметных компетенций, связанных с логическим действием построения рассуждений и разработкой способа решения проблем поискового характера, и сформированность регулятивных метапредметных компетенций, связанных с познавательной рефлексией и планированием хода решения.

Важно отметить, что полученные данные могут служить для оценки сформированности метапредметных компетенций у школьников, которые обучаются уже по программе, отвечающей требованиям нового Стандарта. Об эффективности реализации такой программы можно будет судить по тому, насколько результаты осваивавших ее детей отличаются от результатов испытуемых стандартизационной выборки и приближаются к результатам испытуемых контрольной выборки.

При достижении названных целей целесообразно использовать методику «Рассуждение», поскольку статистический анализ полученных данных доказывает надежность ее шкал и дифференциальную валидность, понимаемую здесь как способность выявлять различия по социально-демографическим факторам «категория учащихся». Несомненная практическая значимость исследования состоит в статистически подтвержденной возможности использования методики «Рассуждение» в широкой практике отечественного образования.

Финансирование

Работа выполнена при поддержке гранта РГНФ №16-06-00926.