Проблемы оценки качества образования обучающихся с применением тестовых аттестационных процедур

В современной образовательной системе в России и в мире в целом тестирования стали одним из превалирующих способов оценки знаний учеников. Процедуры тестовой аттестации школьников, особенно так называемые «тесты с высокими ставками», оказывающие решающее влияние на траекторию послешкольного образования, все еще остаются дискуссионными. В западных и отечественных исследованиях констатируется наличие проблемы несоразмерности тестовых показателей и реального образовательного уровня ученика, дефицита доверия к тестам у участников образовательного процесса, процедурных и содержательных недочетов в тестах. Статья посвящена рассмотрению сложностей и возможностей оценки качества образования с использованием тестовых процедур и описанию авторской методики оценки готовности к итоговой аттестации (ОГЭ и ЕГЭ) у школьников. Обосновывается значимость диагностики готовности к итоговым экзаменам через оценку предметных, метапредметных и личностных образовательных результатов. Приводится бланк методики.

Исследования в области образования все больше фокусируются на проблеме использования тестов; говорится даже о «глобальной культуре тестирования» как основополагающей практике в образовании [15]. Для иллюстрации, с 1970-х гг. ХХ века до наших дней было проведено минимум 50 крупных международных тестовых исследований образования с участием хотя бы в одном из них не менее чем 130 стран, в том числе России и бывших союзных республик [15]. Масштабность применения стандартных тестов в образовании не означает их общепризнанности. Так, в России ЕГЭ как обязательная форма итоговой аттестации обучающихся используется с 2009 года, но все еще остается одним из наиболее дискуссионных вопросов. Подвергаются критике процедурная сторона экзамена и сопутствующие трудности: нарастание эмоциональной нагрузки; необходимость обучаться процессуальной стороне, оттягивающей силы от содержательного обучения; бланковые ошибки экзаменующихся, снижающие результат [2; 9; 11]. Критикуются несовпадение способа обучения и способа проверки знаний, недостаточная объективность [5; 6], наличие недиагностичных и ошибочных заданий в КИМах, приравнивание их к «лотерее», успех в которой может быть не связан с реальным уровнем образовательных результатов [2; 7]; подмена образовательных целей и утрата познавательной мотивации обучающихся со смещением ее на выполнение внешних критериев (подсчет числа слов в сочинении и т.п.). Отмечается, что «ЕГЭ не дает достоверной содержательной информации о сформированности ключевых компетентностей выпускника, которые являются основной целью образования в рамках компетентностного подхода» [5, с. 5] и «не стимулирует углубленное изучение предметов» [1]. Сама идея создания свободной от коррупции экзаменационной процедуры, уравнивающей выпускникам шансы на поступление в вузы, подвергается сомнению: коррумпированность лишь «спустилась» в школы [7]. Достаточно характерна констатация дефицита доверия к ЕГЭ среди участников образовательного процесса [6; 9]. Опыт автора позволяет говорить, что среди непосредственных участников ЕГЭ — обучающихся и педагогов выпускных классов — положительное мнение о нем является редкостью, а катастрофичное восприятие более чем характерным; хотя выпускники, уже прошедшие ЕГЭ, ретроспективно оценивают его не столь негативно. Отмечается сходный феномен у педагогов: отрицательных оценок ЕГЭ педагогами вдвое больше, чем положительных [6].

Среди достоинств экзамена подчеркиваются его современность; расширение возможностей для школьников из регионов; снижение коррумпированности вузов [13]; возможность рассматривать результаты ЕГЭ как показатель качества образования и социального неравенства [6]; мифичность идеи «угадывания» правильного ответа. Низкие результаты ЕГЭ и сопутствующая подготовке и прохождению экзамена эмоциональная проблематика обусловлены не экзаменом как таковым, а умениями, свойствами и развитием ученика, а также кадровыми проблемами современной школы [11; 12; 13].

В западных исследованиях образовательные тесты делят на тесты «с высокими ставками» (общенациональные экзамены, которые проводятся министерством образования, имеют решающее влияние на доступ к образовательным возможностям; ЕГЭ относится к этому типу) и тесты «с низкими или нулевыми ставками» (наряду с тестами значительный вклад в доступ к образованию вносят другие критерии). В многоплановом обзоре западных исследований образовательных тестов Ф. Рамирес и др. указывают на такие недостатки «тестов с высокими ставками», как снижение качества обучения и мотивации учеников к послешкольному образованию, демотивация педагогов, сужение объема образования и интенсификации «обучения тесту» из-за чрезмерной озабоченности тестированием. Таким образом, культура тестирования может иметь обратную связь с прогрессом образовательных результатов [15]. Тесты с «низкими ставками» понимаются как более прогрессивная альтернатива.

Ф. Рамирес и др. [15] анализируют значение международных тестов в образовании. Хотя они имеют все недостатки тестов «с высокими ставками» и компрометируют национальный суверенитет и исключительный национальный контроль над образованием, но также служат способом продвижения лучших педагогических практик: страны, ученики которых показывают высокие баллы, могут быть источником опыта для повышения качества образовательной системы в других странах или хотя бы стимулом для прекращения использования устоявшихся, но неэффективных решений в области образования. Тесты позволяют системе образования сделать «экономический» акцент на навыки и компетенции выпускников. Более того, тестирования рассматриваются как закономерно сопровождающие глобализацию: появляются международные организации, способные институционализировать и пропагандировать мировую культуру и само образование как право человека. В основе такой идеи лежит молчаливое согласие, что доступ к праву на обучение полезен для любого общества. Ф. Рамирес и др. провели масштабное исследование связи участия страны в международных и национальных тестированиях в период с 1970 по 2012 гг. с рядом показателей: валовое зачисление в вузы, процент второгодников, получение женщинами высшего образования, качество учебников по общественным наукам. Среди параметров оценки были: ориентированный на ученика, адресованный непосредственно ему, снабженный иллюстрациями, вопросами и проблемами для размышлений текст; широта освещаемых тем; отражение современных общественных проблем, среди которых культура, гендерные проблемы, проблемы детства, ЛГБТ. Самые высокие показатели участия в международных исследованиях у США (30), Гонконга и Китая (24); страны бывшего СССР имеют в разы меньшие показатели: Россия — 8, Латвия — 16, Литва — 14, Эстония — 6, Молдова — 5, Грузия и Украина — 3, Азербайджан и Казахстан — 2, Беларусь — 0. Обнаружилась положительная связь участия в международных тестированиях и: меньшего числа второгодников; получения женщинами высшего образования; широты учебного материала. Существенно, что глобальные тестирования оказались в значительной мере инклюзивными: они прямо связаны с расширением доступа к образованию. Вместе с тем применение тестов «с высокими ставками» оказалось не связанным с обновлением обучения и увеличением числа образованных людей. Ф. Рамирес и др. заключают, что главная роль международных тестирований в том, что они позволяют посмотреть на мир как на «естественную учебную лабораторию», где экспериментируют разные образовательные системы, чтобы получить наилучшие результаты.

Дж. Брекстон и др. [14] рассматривают тесты с точки зрения их оценочных возможностей. Поскольку форма и содержание образовательных стандартов и тестов значительно влияют на тип обучения, важно понять, на оценку каких именно достижений учеников они направлены. Главный вопрос, связанный с тестовым оцениванием, может быть сформулирован как «что случилось с мышлением учеников?». На материале анализа обучения истории авторы показывают, что ученики «совершают набеги» на учебники и другие источники, чтобы взять цитаты или факты, но не могут проанализировать их смысл. Владение учебным материалом и его понимание значительно точнее оцениваются не тестами, а краткими задачами на анализ исторических документов. Дж. Брекстон и др. разработали задания, которые могут быть проведены с классом за 5-10 минут, но позволят оценить, насколько хорошо ученики поняли материал и какие пробелы в понимании имеют. Ученик должен рассмотреть исторический документ и обосновать свой ответ в 3-4 предложениях. Пример задачи — «Письмо, написанное в 1921 г. домохозяйкой из деревни в штате Канзас, в котором она благодарит Эдисона за улучшение ее жизни». Женщина благодарит Эдисона за то, что готовит на электроплите, завивает волосы электрощипцами, пользуется электрогрилем и проч. Она упоминает в числе прочего, что окончила колледж. После текста письма приводятся 4 факта: электроплиту изобрел Вестингауз, а не Эдисон; до принятия закона об электрификации сельской местности 1935 г. менее чем 10% сельской Америки было электрифицировано; право голоса было дано женщинам за год до даты письма; в те времена лишь 5% женщин заканчивали колледжи. Все утверждения верные, но задача студента выбрать два, чтобы письменно доказать, была ли автор письма типичной американкой тех лет. Множество формально успешных учеников (с хорошими показателями по тестам) не могут сделать выбор, ссылаются на косвенные показатели («она тогда жила и должна бы знать, что изобрел плиту не Эдисон») и не могут рассмотреть вопрос в историческом ключе.

Второй пример задачи — «Два письма»: в первом указывается на нежелание президента вмешиваться в то, чтобы остановить линчевание афроамериканцев, во втором описываются проблемы, с которыми сталкиваются афроамериканские дети в ранее полностью белой школе. Даты удалены из обоих писем, ученикам надо ответить на ключевой вопрос: какое было написано первым? Дж. Брекстон и соавторы показывают, что даже ответ в две строки открывает доступ к мышлению учащихся; так, многие полагали, что интеграция белых школ спровоцировала линчевания и т.п. Видно, что ученикам не хватает понимания последовательности событий в борьбе за расовое равенство. Эту проблему выявляет не тест, а задача, акцентирующая внимание на способности понимать ключевые идеи изучаемой научной области. По мнению авторов, такие способы оценки должны дополнять тестовые процедуры [14].

Все сказанное позволяет характеризовать тестирование в области образования как дискуссионную проблему мирового уровня.

Тестирование и образовательные результаты

Обзор российских публикаций по проблемам тестирования в образовании показывает, что многие аспекты внедрения ОГЭ и ЕГЭ обсуждаются в контексте формирования готовности обучающихся к их прохождению. Понятие «психологическая готовность к ЕГЭ» в настоящее время не имеет общего определения. Она понимается функционально: сформированность у ученика психических процессов, личностных характеристик и поведенческих навыков, обеспечивающая успешность на экзамене [11; 12]; способность к решению возникающих трудностей собственными силами [3].

Единой модели работы по повышению готовности обучающихся к успешному прохождению ЕГЭ не существует. Предложений достаточно много [2; 3; 11; 12 и др.], более того, в большинстве образовательных учреждений страны психологическая служба разрабатывает собственную модель участия в подготовке старшеклассников к экзамену. Анализ находящихся в открытом доступе разработок позволяет заключить, что в значительной степени их смысловые компоненты совпадают. Внимание уделяется повышению реалистичности в восприятии экзамена [2], эмоциональной саморегуляции [2; 9], повышению самостоятельности [7], готовности к работе на бланке [13], актуализации знаний в экзаменационной ситуации [2], работе с семьей и педагогами [11]. Однако нам не встретилось разработок, базирующихся на оценке и учете качества и уровня образовательных результатов обучающихся. Понятие образовательных результатов синтезирует академические и психологические (развитийные) достижения школьника (какие задачи может решить школьник, насколько он демонстрирует гибкость в принятии решений и разрешении проблем [4, с. 21]) и потому представляется наиболее удачным в контексте задачи психологического сопровождения итоговой аттестации выпускника. Согласимся, что психолог в школе должен быть «специалистом, координирующим работу педагогического коллектива, направляя ее не на достижение высоких оценок по ЕГЭ (за что отвечает прежде всего учитель), а на формирование соответствующих возрасту компетентностей» [5, с. 6].

Оценка образовательных результатов положена в основу разработанной нами методики оценки психологической готовности обучающихся к прохождению итоговой аттестации. Методика разработана в 2009 году; некоторые результаты ее применения в системе работы психологической службы образовательных учреждений ранее были опубликованы (см., например, [10]). Апробация методики осуществляется на базе образовательных учреждений (общеобразовательные школы, гимназия) Москвы с 2009 года. В общей сложности работа охватила более шестисот обучающихся 9 и 11 классов [10]. Методика проводится в групповой форме на бланках (пример дан в Приложении 1). На выполнение методики отводится 25 минут. Методика включает задания на оценку элементарных предметных образовательных результатов (выдели главные члены предложения, реши задачу (из учебника 4 класса), приведи синоним и антоним к слову и т.п.), метапредметных результатов (дай определение слову («процент», «кукла», «куб»), реши задачу путем рассуждения (если 1 кг мяса стоит 15 руб., а 1 г хлеба в 3 раза выше, то на какой продукт при покупке 2 кг Васе придется потратить больше денег и почему?), объясни смену времен года, назови пять великих людей); личностные результаты оценивались через ценностно-мотивационное и эмоциональное отношение к экзамену. Диагностическая нагрузка заложена и в инструктирование: обучающимся сообщалось, что им предстоит выполнение теста, задание к которому полностью указано на бланке. На бланке дана инструкция: «Прежде чем выполнять задания, внимательно все прочитай». Бланк методики содержит задания, разделенные на части А, В, С. В девятом из десяти заданий части А указано: «выполни только нечетные задания». Сразу отметим, что в каждом из обследованных классов находилось не более двух обучающихся, следовавших инструкции, и от двух до пяти, кто даже после прочтения девятого задания выполнял оставшееся четное — десятое. Способ интерпретации результатов методики приводится в Приложении 2.

На основании опыта проведения методики мы обнаружили ряд затруднений у обучающихся 8-11 классов, повторяющихся во всех обследованных классах и школах (подробнее см. [10]). Здесь мы представляем анализ этих затруднений с точки зрения образовательных результатов. Мы обнаружили повторяющуюся во всех обследованных классах недостаточность предметных, метапредметных и личностных результатов обучающихся. Предметные результаты дефицитарны: незнание базовых правил, неумение подобрать синоним и антоним к слову, отказ от решения текстовой задачи («все равно не смогу») и т.п. 45% наших респондентов не смогли сравнить величины (497 и 480+5/8, производили запутанные расчеты, не приводящие к верному ответу), найти без расчетов и с ними решение задачи про хлеб и мясо. В каждом классе нашлись те, кто не смог дать естественно-научное объяснение смене времен года («чтобы люди не привыкли к одному климату», «чтобы могли цвести и отцветать природы», «так устроил Бог» и проч.) (28% выборки). Сходные по сути сведения о слабости базовых предметных результатов школьников описаны М.Ю. Тихоновым [8].

Метапредметные результаты западают сильнее (это согласуется с данными, описанными К.Н. Поливановой [4]). Среди обнаруженных проблем — игнорирование инструкций (85% выборки), бедность и затрудненность письменной речи и определения понятий («кукла — неживое существо, в которое играют девочки», «безжизненная девочка или младенец», «процент — это скидка», «это когда берем кредит в банке и тебе начисляются проценты», «куб — предмет, фигура, твердый, обычно сделан из цельного материала, с острыми зубами» и т.п.) (40-70% в разных классах); трудности выбора единого критерия для сопоставления объектов (пять великих людей: «Пушкин, Толстой, Киркоров и NN (учительница математики)», «Сэлинджер и Шварценеггер», «Чапаев, Андерсон, Дубровский», «моя мама, Путин и Гарик Харламов» и проч.) (33-55%); неумение выполнять задания на сравнение, анализ (в среднем 20%); слабые навыки самопроверки (до половины учеников). Низкий уровень метапредметной подготовки школьников, видимо, составляет значительную проблему современного образования [4].

В области личностных результатов обратим внимание на мотивационные сложности выпускников в подготовке к ЕГЭ. Это дефицит конструктивных мотивов и фактически всеобщий (75-85%) протест по поводу подготовки, восприятие предстоящего объема работы как неподъемного, представление о фатальном ограничении свободного времени, феномены сопротивления (откладывание на потом, «забывание» и проч.) в ответ на принуждение (от 50 до 80% учеников, причем в выпускных классах показатели максимальные). С эмоциональной стороны отношение к экзамену характеризуется совокупностью значительно выраженных негативных состояний: тревоги, страха, гнева — не менее чем у 70% школьников.

Выводы

Тестирования, использующиеся в образовании на национальном и международном уровне, обсуждаются в психологии с точки зрения типологии тестов (с «высокими» и «низкими ставками») и их возможностей и ограничений. И в зарубежных, и в отечественных исследованиях констатируется наличие проблемы несоразмерности тестовых показателей и реального образовательного уровня ученика; в отечественных исследованиях столь же заметной проблемой признается негативное эмоциональное состояние экзаменующегося, особенно нежелательное на тестированиях «с высокими ставками».

Тестирования в образовании на массовом уровне обеспечивают больший доступ к образовательным возможностям, но не дают ясного представления о достигнутых учениками образовательных результатах. Способность успешно выполнить тест оказывается во многих случаях не связанной с пониманием проверяемого тестом материала.

Следует признать, что психологическое сопровождение итоговой аттестации должно включать в себя задачу соотнесения способности школьника выполнить экзаменационные задания с образовательными результатами. Один из вариантов решения этой задачи — разработка диагностических процедур, способных выявить, как школьник мыслит, принимает задание, на какие учебные умения опирается в его выполнении.

Предложенная нами методика пригодна для оценки способности обучающегося задействовать предметные, метапредметные и личностные образовательные результаты в ходе тестирования. Методика пригодна для применения с обучающимися 8-11 классов. Диагностические данные, которые педагог-психолог получает путем применения методики, иллюстрируют те слабые образовательные результаты, которые могут лежать в основе невысоких результатов школьников на аттестационных тестовых процедурах. Таким образом, диагностические данные могут быть отправной точкой для разработки комплексной программы сопровождения подготовки учеников к экзаменам. Целесообразно предоставить их администрации для принятия решений о стратегии подготовки, о проведении срезов знаний и корректировке программ обучения; педагогам-предметникам — для учета с целью усиления предметной и метапредметной подготовки; родителям обучающихся — для обсуждения трудностей и развития конструктивного содействия детям в обучении; самим ученикам — для понимания ошибок и прицельной работы по подготовке к аттестации. По нашему опыту, психологическое сопровождение подготовки выпускников к итоговой аттестации в контексте оценки достигнутых ими образовательных результатов дает педагогу-психологу возможность соотносить психологические данные со спецификой работы школы, говорить на общем языке с другими участниками образовательного процесса, формулировать рекомендации, которые действительно могут быть приняты педагогическим сообществом, обучающимися и их родителями.

Приложение 1

Вариант тестовых материалов для обучающихся 

Часть А

Инструкция: прежде чем выполнять задания, внимательно все прочитай

1.  Если верно, что 524>520+1/2, нарисуй два кружка; если неверно, зачеркни дробь.

2. Перечисли любые два словарных слова:

3.Напиши синоним и антоним к слову «любовь»

Синоним:

Антоним:

4. Произнеси шепотом все четные числа от 42 до 51.

5.Напиши дату начала и окончания ВОВ:

6.Вычисли: (251-243)²-(128:2)=

7. Реши задачу: магазин купил 50 полотенец на общую сумму 2500 руб., а продал их за 4000 руб. Какую прибыль магазин получил с каждого полотенца?

8.Запиши на обратной стороне бланка формулы решения квадратного уравнения. Запиши любое квадратное уравнение. Решение уравнения не требуется.

9. Выполни только нечетные задания.

10. Подчеркни все непарные согласные, которые есть в тексте этого теста.

Часть В

Инструкция: выполни задания

1.  Если цена на 1 м шелковой ткани составляет 650 руб., а цена на 1 дм кружева составляет 500 руб., на покупку метра шелка или кружева Надя потратит больше денег и почему?
2. Дай определение словам:

ПРОЦЕНТ

КУБ

КОШКА

3.  Перечисли пять великих людей. Можешь аргументировать свой ответ.

4.Подчеркни главные члены предложения: Когда астероид или другой космический объект приближается к Земле, сила притяжения тянет его к планете.

5.  Ответь на вопрос: Почему бывают времена года?

Часть С

Инструкция: дай ответ на вопрос

Что тебе кажется самым сложным в ОГЭ (ЕГЭ)?

Приложение 2

Основы интерпретации результатов методики