Образовательные результаты основной школы в контексте международных исследований

Российское образование модернизируется, т. е. приводится в соответствие с требованиями современности. Эти процессы воспринимаются неоднозначно. Полярность оценок этого явления в своем основании, с одной стороны, имеет стойкую уверенность в успехах советской системы образования, а с другой - понимание того, что индустриальная направленность образования при переходе к информационному обществу в современном изменившемся мире требует преодоления. Особенности российского образования последних десятилетий стали наглядно видны при сравнении национальных систем образования в рамках международных сравнительных исследований в области образования. Исторически вначале был запущен проект TIMSS (IEA)[Качество образования в, 2006], затем в 2000 г. - PISA (OECD)[Неожиданная победа: российские, 2010], в 2001 г. стартовал PIRLS (IEA)[Новый взгляд на, 2004]

Краткая характеристика проектов

TIMSS (Trends in International Mathematics and Science Study - Тенденции в математическом и естественнонаучном образовании) измеряет тенденции в развитии учебных достижений школьников 4-х и 8-х классах по математике и естественным наукам, отслеживает изменения в учебных программах и выделяет успешные образовательные практики во всем мире. Проводится один раз в четыре года, что позволяет выявить вклад основной школы (от 4-го к 8-му классу). Последнее опубликованное исследование проведено в 2011 г., в нем приняли участие более 60 стран мира, в 2015 г. прошел сбор данных, но результаты увидят свет примерно в конце 2016 г.

PISA (Programme for International Student Assessment - Международная программа по оценке образовательных достижений учащихся) измеряет достижения 15-летних школьников (конец обязательного обучения во многих странах). Проводится один раз в три года в странах-членах ОЭСР и группе стран- партнеров. Измеряет грамотность (literacy) в области математики, чтения, естественных наук. Под грамотностью понимается способность решать реальные жизненные задачи с опорой на предметные знания. Каждая волна измерений посвящена преимущественно одному из видов грамотности (2/3 заданий). В 2000 г. это была грамотность чтения, затем в 2003 - математическая грамотность, в 2006 - естественнонаучная, затем - опять чтение и т. д. Очередной, шестой, сбор данных прошел в 2015 г., но результаты будут обнародованы в конце 2016 г.

PIRLS (Progress in International Reading Literacy Study - Изучение качества чтения и понимания текста). Проводится раз в пять лет, начиная с 2001 г. на выборках четвероклассников, сравнение его результатов с результатами PISA также позволяет выявить вклад основной школы. PIRLS дополнил исследование TIMSS (естествознание и математика), поскольку был посвящен чтению.

В России в каждом из этих исследований принимают участие около 5000 школьников.

Сегодня эти международные исследования являются наиболее полными и строгими международными программами по оценке учебных и общеучебных достижений, а также по широте и охвату дополнительной (контекстной) информации о самих учащихся, их семье, институциональных факторах, характеристиках системы образования (по анкетам школьников, педагогов, администраторов, руководителей системы образования, в некоторых случаях - родителей). Вся совокупность этих данных позволяет выделить наиболее значимые факторы и тенденции в образовании в международном масштабе. Именно соединение контекстной информации с результатами тестирования позволяет получить весьма разнообразную информацию не только констатирующего, но и аналитического характера [Российская школа: от, 2006].

Во всех исследованиях используются задания как открытого, так и закрытого типа.

Интерпретация результатов
исследований в контексте новых ФГОС
для основной школы

Первые результаты, как мы уже отмечали, были получены в исследовании TIMSS и были весьма обнадеживающими. Так, в частности, число российских школьников восьмых классов, показавших в 1995 г. продвинутый уровень достижений, составляло 11%, как и в среднем по международной выборке, а высокий уровень - 38% и 37% соответственно. Средний балл по российской выборке (по естественным наукам) составил 523, что выше среднестатистического на 23 балла, этот результат действительно был убедительным свидетельством успехов российской системы образования. В 1999 г. результаты были аналогичными.

Однако успехи в TIMSS были достигнуты на фоне существенно большей учебной нагрузки школьников в России, если сравнивать ее с нагрузкой учеников из других стран, показавших сходные результаты. В России также меньшая наполняемость классов. Все это свидетельствует о гораздо большей «затрат­ности» высоких результатов, которые показали наши школьники в исследовании TIMSS.

В 2000 г. Россия приняла участие в первом полномасштабном исследовании PISA. Тогда приоритетным в исследовании было измерение уровня грамотности чтения. Обнаружилось, что результаты российских школьников статистически значимо ниже результатов, полученных в среднем по международной выборке.

Чтобы понять это противоречие, необходимо иметь в виду, что идеология обоих исследований различается по основному критерию - трактовке содержания измеряемых результатов. Если в TIMSS результат «выводится» из содержания обучения, а задания разрабатываются и отбираются в контексте программ учебных дисциплин, то в PISA был заявлен принципиально иной подход: задания представляют собой описание реальных жизненных ситуаций, в которых знания из учебных предметов могут быть использованы для решения. Соответственно, девизом исследования PISA стали слова «Learning for life» - «Учение для жизни». Успешно справиться с задачей PISA ученик мог, если ему удавалось разглядеть за описанием каких-то обстоятельств вопрос из какого-то учебного предмета.

Иными словами, в TIMSS измеряемые достижения или способности «выводятся» из предшествующего обучения, являются его следствием, а в PISA - рассматриваются как основание для дальнейшего развития. Измеряемая грамотность акцентирует инструментальный аспект математики, чтения или естественных наук: быть грамотным в какой-то области знания означает быть способным использовать это знание. Знание, таким образом, теряет статус цели образования, превращаясь в средство - средство решения встающих перед взрослеющим человеком реальных жизненных задач.

В известной мере именно эта идеология - в чем-то более успешно, в чем-то менее - была основанием описания планируемых образовательных результатов в ФГОС для основной школы (утвержден приказом Минобрнауки России от 17 декабря 2010 г. № 1897). Сегодня и в российское образование пришло понимание того, что индустриальный предметный подход устаревает, а ему на смену приходит более современный. Сегодня важно, прежде всего, какие задачи может решить школьник, насколько он демонстрирует гибкость в принятии решений и разрешении проблем, причем пока даже не известных заранее.

Особенности результатов российских
школьников в международных
исследованиях

Результаты российских восьмиклассников (по TIMSS) и 15-летних школьников (по PISA) имеют уникальную конфигурацию: высокий уровень предметных знаний и неумение их применять. Для более детального анализа, начиная с 2004 г., в России проводится так называемый вторичный анализ - углубленное исследование имеющихся данных. Эта работа проводилась различными коллективами и многие ее результаты уже опубликованы [Качество образования в, 2006; Неожиданная победа: российские, 2010].

В частности, в сравнительном исследовании [Качество образования в, 2006] интерпретация результатов российских школьников проводилась на основании психолого-педагогического экспертно­аналитического анализа заданий, которые оказались для российских школьников труднее или, напротив, легче, чем для их сверстников в других странах. Для этого задания были дифференцированы по трудности, а затем де- конструированы: разложены на отдельные (ядерные) действия, последовательное выполнение которых приводило к успешному решению. В отечественной традиции (по ФГОС) их можно поставить в соответствие с общеу­чебными умениями и навыками. Фактически, был осуществлен логико-предметный психологический и методический анализ конкретных вопросов-заданий в контексте данных об их выполнении отечественными школьниками.

Таким образом, можно в целом охарактеризовать трудности следующим образом:

• при выполнении заданий по чтению трудности возникали при необходимости дать точный (текстуальный) ответ по обширному тексту, а в заданиях на математическую грамотность, напротив, затруднения вызывали задания, требующие приблизительного, оценочного ответа;

•   обескураживают наших школьников тексты, написанные в популярной или бытовой форме, требующие опоры на здравый смысл или бытовой опыт. Несплошные тексты (составленные из нескольких информационных фрагментов), работа с которыми требует сопоставления, соединения информации, трудны для наших школьников;

•  российские школьники затруднялись в идентификации предметной модели той ситуации, которая описывалась в задании. Если, например, задача была «про деревья» (хотя предполагала математическое решение), то она ошибочно трактовалась как биологическая, и далее появлялись неправильные ответы.

Обобщая полученные результаты и выводы, можно констатировать, что продемонстрированные в TIMSS хорошо сформированные у российских школьников предметное содержание, навыки и умения, связанные с учебным предметом, в PISA не обеспечивают достижения высоких результатов. Это означает, что предметное знание не гарантирует автоматически высокой способности решать реальные задачи, с которыми человек сталкивается в жизни.

Фактически, если сравнивать эти результаты с идеологией ФГОС, можно заключить, что основное отставание российских школьников связано с жесткой локализацией полученных знаний в той предметной области, в которой они получены. Не происходит «эмансипации» знания от условий ее получения. Эта особенность не может быть преодолена простым увеличением объема знаний, она требует существенно иного способа работы с проблемными ситуациями.

Особенности учебного процесса и
образовательных результатов
(основная школа)

Итак, приведенный обзор результатов вторичного анализа, сделанного по итогам первых результатов PISA в их сравнении с данными TIMSS, демонстрирует приверженность отечественной школы принципу предметности и академической направленности образования. Если проанализировать ответы российских школьников и учителей на вопросы анкет, сопровождающих все международные исследования, то можно наглядно увидеть различия в типах учебной работы в России и за рубежом, особенно в странах, показывающих высокие результаты. Так, в российских школах дети преимущественно в области математики «овладевают базовыми умениями» и «проводят доказательства», почти не зани­
маясь «связями математики с другими предметами». А, например, в Нидерландах соотношение обратное, там наиболее значимым является «применение математики к реальным ситуациям» [Агранович, 2009]. Мы полагаем, что ориентация нашей школы свидетельствует об узости пространства свободного учебного действия.

Этот вывод можно аргументировать и дополнительными данными сравнения обоих исследований. В 2006 г. PISA была ориентирована на измерение естественнонаучной грамотности, а TIMSS измерял то же самое в 2007 г. Таким образом, с разрывом в 1 год появилась возможность сравнить оба исследования по шкале «естественнонаучная грамотность». Оба исследования проводятся на репрезентативных российских выборках, что позволяет их экстраполировать на генеральную совокупность российских школьников.

В обоих исследованиях помимо интегральных результатов - средних баллов - приводится и много дифференциальных данных, в частности, баллов по субшкалам.

В PISA-2006 средний балл по шкале «естественнонаучная грамотность» в 2006 г. был 479 баллов. Однако задания и вопросы можно дифференцировать по содержанию действий, что позволяет выделить соответствующие субшкалы. Как мы видим из табл. 1, - это способность увидеть (идентифицировать) научную проблему в реальной жизненной ситуации, научное объяснение и применение научных данных. Самый низкий результат, как мы видим - по первой субшкале.

Таблица 1 

PISA-2006. Различие в уровне достижений по дифференциальным шкалам

Относительно благополучно выглядит уровень достижений по шкале «научное объяснение явлений», т. е. в сфере наиболее близкой к предметному содержанию образовательной области «естествознание». Это довольно привычная для наших школьников деятельность. Гораздо менее благополучными являются результаты по шкалам «использование научных данных» и «идентификация научных проблем». Речь при измерении результатов по этим шкалам идет о способности учащегося применять полученные знания в новых для него ситуациях, т. е. о так называемом переносе (перенос знаний, полученных в одной предметной области на другую, в том числе и перенос на ситуации, которые трудно однозначно отнести к определенной предметной области). Идентификация научных проблем - это способность школьника работать с материалом реальных жизненных ситуаций средствами предметной области «естествознание». То есть применительно к обеим шкалам, по которым результаты школьников ниже, можно говорить о том, что они относятся к мета- или надпредметным способностям. Их формированию, конечно же, способствует собственно предметное обучение, но оно не является достаточным.

Таблица 2

TIMSS-2007. Различие в уровне достижений по дифференциальным шкалам

Если обратиться к данным последнего исщественно математическую грамотность), мы следования PISA-2012 (измерявшего преиму- увидим схожие результаты (табл. 3).

Таблица 3

PISA-2012. Различие в уровне достижений по дифференциальным шкалам. Шкалы «Интерпретация» и «Использование». Распределение по уровням сложности заданий; 6-й уровень - самый высокий

Примечание: для сравнения здесь и далее приведены распределения для Финляндии и США. Выбор этих двух стран обусловлен следующим: Финляндия долгое время являлась страной-лидером (хотя в последние годы она уступила лидерство азиатским странам), а США - поскольку у нас традиционно бытует мнение о том, что там невысокое качество образования, хотя на самом деле их результаты попадают в число средних по международной выборке.

Мы видим, что распределения по России смещены в сторону низких уровней, но по шкале «использование» они вновь существенно лучше, чем по шкале «интерпретация». Таким образом, крен в сторону собственно предметных знаний, обнаруженных при первых сравнениях, сохраняется и по последним данным.

Для подтверждения этого утверждения было проведено еще одно сравнение результатов PISA-2006 и TIMSS-2007. Мы сравнивали результат стран, принявших участие в обоих исследованиях. Всего таких стран оказалось 19. В целом была обнаружена согласованность результатов по обоим исследованиям. Как правило, страны имеют результаты выше или ниже средних по обоим исследованиям. Только три страны выбиваются из общей тенденции: Литва, США и Россия, но различия в результатах России наибольшие.

Таким образом, при сравнении результатов обоих исследований обнаруживается своеобразие образовательных результатов только российских школьников: высокий уровень предметной подготовки сочетается с низким уровнем метапредметной подготовки.

Динамика результатов российских
школьников

Сегодня проведено уже 5 волн исследований PISA: 2000 (грамотность чтения), 2003 (математическая грамотность), 2006 (естественнонаучная грамотность), 2009 (грамотность чтения), 2012 (математическая грамотность); 5 волн TIMSS (1995,1999, 2003, 2007, 2011). Это дает возможность проследить динамику результатов и сделать некоторые предположения относительно связи этой динамики с происходящими в российском образовании событиями. Остановимся на этом кратко [Тюменева, 2014].

Таблица 4

Средние баллы российских школьников в волнах исследования PISA по годам (сравнение по отдельным видам грамотности начинается с волны, в которой большая часть заданий была проверкой соответствующей грамотности)

Как мы видим (табл. 4), в 2012 г. результаты российских школьников улучшились. По грамотности чтения это улучшение продолжается с 2006 г. И хотя результаты российских школьников продолжают оставаться значимо ниже средних международных (500 баллов), сам факт улучшения представляется весьма отрадным, российские результаты приближаются к средним.

Вопрос о причинах этих положительных изменений, к сожалению, придется оставить без ответа. Есть искушение связать это улучшение с введением новых образовательных стандартов. Но от такого оптимистического вывода придется воздержаться. Дело в том, что сравнение результатов начальной школы (по исследованиям TIMSS и PIRLS) и основной школы (по TIMSS и PISA) показывает, что «провал» результатов происходит уже после завершения начальной школы, в основной. А учатся там школьники пять лет. Следовательно, результаты 2012 г. показали дети, начавшие обучение в основной школе в 2007 г. Учитывая, что стандарты основной школы были введены только в 2010 г., придется признать, что обоснованно связывать некоторое улучшение с введением стандартов преждевременно.

И еще несколько слов о PIRLS. Известно, что Россия заняла первую строку в таблице результатов в этом исследовании в 2006 г., а также показала самый внушительный прирост от 2001 к 2006 г. среднего балла среди стран-участниц. Однако, к сожалению, этот прирост неравномерен: учащиеся из сельских школ, школ с большим процентом учащихся из экономически неблагополучных семей показали гораздо меньший прирост среднего балла, чем учащиеся из городских школ и школ с большинством учащихся из экономически благополучных семей. Кроме того было выявлено, что успех в становлении читательской компетентности связан с семейными факторами, в частности, с усилиями родителей в период обучения чтению [Неожиданная победа: российские, 2010].

Образовательная среда российских школ

Теперь остановимся подробнее на неу­чебных характеристиках российской школы. Одним из важных направлений реформирования школы является оценка и улучшение школьного климата) 6. Сначала рассмотрим данные PISA-2009, поскольку оно было преимущественно направлено на анализ грамотности чтения, а большинство исследователей сходятся во мнении, что именно чтение является наиболее важной составляющий образовательных достижений.

Считается, что уровень достижений повышается в условиях разумной дисциплины, хороших отношений школьников со своими педагогами, как в учебной сфере, так и в личных уважительных отношениях. Достижения в области чтения также связаны с тем, как педагоги поощряют заинтересованность школьников в чтении. Важными признаются также ожидания родителей, но анкета для родителей не проводилась в России, поэтому этот показатель мы не рассматриваем.

В отчетах [OECD (2010), PISA; OECD (2013), PISA] приведены довольно обширные сведения о школьном климате. Он изучается по многочисленным показателям, мы остановимся на следующих:

•   личные отношения учителя и учеников;

•   дисциплинарный климат;

•   формы поощрения учеников к чтению,

1. Личные отношения учеников и учителей (по анкетам учеников).

Показатели, фигурирующие в исследовании, строились на основании согласия/несо- гласия школьников со следующими утверждениями.

A.   Мы хорошо ладим с большинством педагогов.

B.  Большинству учителей небезразлично мое самочувствие (well-being).

C.   Большинство учителей действительно слышат, что я хочу сказать.

D.   Если мне нужна помощь, я получу ее от своих учителей.

E.   Большинство учителей относятся ко мне справедливо.

Ниже приведен процент согласия опрошенных школьников с приведенными утверждениями («всегда» или «почти всегда»)

Как мы видим (табл. 5), общий тон отношений школьников с педагогами вполне благополучный.

F.    Дисциплинарный климат (по анкетам учеников).

По многим данным, так называемый дисциплинарный климат положительно связан с образовательными результатами [Gamoran, 1992]. И это весьма ожидаемо: чем больше времени тратится на организацию порядка и дисциплины, тем меньше остается на учебную работу, да и вовлеченность учеников это снижает. Дисциплинарный климат измеряется по со- гласию/несогласию со следующими утверждениями.

A.   Ученики не слушают то, что говорит учитель.

B.   В классе шум и беспорядок.

C.  Учителю приходится долго ждать, пока ученики успокоятся.

D.  Ученики не могут хорошо работать.

E.  Ученики долго после звонка не начинают работать.

Таблица 5

Процент школьников, согласившихся с приведенными утверждениями
(«всегда» или «почти всегда»)

Таблица 6

Процент школьников, не согласившихся с приведенными утверждениями
(«никогда или почти никогда», «на некоторых уроках»)

Как мы видим (табл. 6), в России организация уроков весьма похвальна, по сравнению с другими двумя странами российские показатели выше.

3. Формы поощрения учеников к чтению (по анкетам учеников).

Насколько хорошо педагоги умеют мотивировать школьников и вовлечь их в учение? Для ответа на это вопрос в анкетах ученики отвечали, в какой мере они согласны со следующими утверждениями.

A.  Учитель просит объяснить значение прочитанного.

B.  Учитель задает вопросы, которые провоцируют учеников лучше понимать текст.

C.   Учитель дает ученикам достаточно времени, чтобы обдумать свои ответы.

D.   Учитель рекомендует книги или авторов, которых стоит прочитать.

E.   Учитель помогает ученикам (приободряет) высказывать собственное мнение о тексте.

F.   Учитель помогает ученикам связать прочитанное с событиями собственной жизни.

G.   Учитель показывает (объясняет), как информация текста связана с тем, что они уже знают.

Таким образом, мы видим (табл. 7), что с позиции школьников ситуация вполне благополучная, даже лучше, чем в других странах, показывающих более высокие баллы.

4. Школьный климат глазами руководителей школ.

А теперь посмотрим, как оценивают близкие по значению характеристики школьной среды руководители образовательных организаций.

Директора школ отвечали, в какой мере в их школе организации школьных занятий мешают следующие факторы.

A.   Отсутствие учеников в школе.

B.   Нарушение дисциплины учениками.

C.   Пропуски уроков.

D.   Недостаток уважения к педагогам.

E.   Употребление учениками алкоголя и запрещенных препаратов.

F.   Неуважение к другим ученикам и бул­линг.

Таблица 7

Процент школьников, согласившихся с приведенными утверждениями
(«всегда» или «почти всегда»)

Процент школьников, которые обучаются в школах, чьи руководители не согласились с приведенными утверждениями («никогда» или «почти никогда»)

Как мы видим (табл. 8), если смотреть на школьную среду глазами директоров, то она отличается от того, как ее видят школьники. В России, по мнению руководителей, почти нет неуважения к другим ученикам и бул­линга, нарушения дисциплины. Но есть прогулы (столбцы А и С). И этот результат парадоксален, поскольку образовательные результаты невысоки, особенно на фоне сравнения с Финляндией: гораздо более высокие результаты и худшие оценки школьного климата у финских шольников. Нам представляется это весьма интересным: руководители школ не признают неблагополучия школьного климата, но и не обеспечивают высоких достижений. Объяснений может быть два: ответы неискренни (заметим, прямые нарушения - прогулы - редки, а это прямо в компетенции директора), все остальное - весьма благополучно [Bandura, 1995]. Или руководители просто не осведомлены о том, что реально происходит в школе.

Обсуждение результатов

Приведенные данные, на наш взгляд, заслуживают продолжения исследований и анализа. Если сами российские результаты приводились в многочисленных публикациях и даже частично повлияли на изменение школьных программ и государственных стандартов, то аспекты, связанные со школьной средой, климатом, обсуждаются крайне редко. А между тем эти характеристики становятся все более признаваемыми как существенно важные. В исследовании PISA число таких характеристик растет. В отчете по волне 2012 [OECD (2013), PISA] обсуждаются такие характеристики, как принадлежность к школе, самоэффек­тивность (в математике), мотивация и др. Это весьма важные «нематериальные» характеристики, которые существенно влияют на образовательные достижения. Если не вдаваться в детали, то, с одной стороны, - это блоки информации, связанной с обстановкой в школе, а с другой - с тем, как чувствуют себя учащиеся в школе.

С 2003 по 2012 г. произошло некоторое улучшение по показателю «причастность к школе» (sense of belonging) у российских школьников. Это значит, что школьная среда, пусть и медленно, но меняется. Одним из наиболее популярных конструктов в связи с успешностью деятельности сегодня становится самоэффектиность (self-efficacy). Это понятие было введено еще в 1970-х гг. А. Бандурой [Bandura, 1995]. Под самоэффективностью понимается вера в эффективность своих действий, ожидание, что они приведут к нужному результату и затраченные усилия не будут бесполезными. Одним их условий достижения самоэф­фективности является опыт успеха в соответствующей деятельности. У российских школьников средний уровень самоэффективности соответствует их результатам.

***

Участие России в международных сопоставительных исследованиях качества образования дает возможность обнаружить особенности российской системы образования. Высокий результат российских школьников в исследованиях TIMSS и PIRLS, с одной стороны, и низкий в PISA, с другой, достаточно убедительно свидетельствует о том, что кон­цепт «качество образования» в российской трактовке отличается от того, который сегодня предлагается развитыми странами. Как мы здесь показали, именно для России это прослеживается достаточно ярко. Наши школьники имеют высокий уровень предметной подготовки, но недостаточный уровень в области их готовности к жизни в постиндустриальном обществе.

Хотелось бы надеяться, что ФГОС для основной школы с его вниманием к широкому кругу образовательных результатов и требованиями к условиям организации обучения обеспечит существенное изменение ситуации.

Публикация подготовлена в рамках поддержанного РГНФ научного проекта №14-06-00735, а также в рамках софинансирования при поддержке Научного Фонда НИУ ВШЭ.