Итоги независимой оценки сформированности общепрофессиональных компетенций у будущих педагогов

Введение

В 2014—2017 гг. в Российской Федерации был реализован комплексный проект по модернизации педагогического образования [Комплексная программа повышения; Поручение Президента России], направленный на модернизацию системы подготовки педагогических кадров в соответствии с требованиями профессиональных стандартов педагогических работников и федеральных государственных образовательных стандартов общего образования.

Деятельностный подход был заложен в основу проектирования образовательных программ бакалавриата и профессиональной (педагогической) магистратуры и реализован в практико-ориентированной модели подготовки педагогических кадров в вузах- участниках комплексного проекта.

Важным элементом оценки успешности первого этапа проекта являлась разработка и апробация инструментария, позволяющего оценить сформированность профессиональных компетенций, соответствующих требованиям профессионального стандарта педагога, у студентов, обучавшихся по модернизированным программам. На втором этапе реализации проекта апробированный инструментарий оценки профессиональных компетенций использовался для сравнения образовательных результатов студентов, обучавшихся по модернизированным программам, и студентов, обучавшихся по традиционным программам подготовки педагогических кадров.

Оценка профессиональных компетенций

Независимая оценка сформированности общепрофессиональных компетенций у обучающихся в рамках УГСН «Образование и педагогические науки» была построена в соответствии с требованиями федеральных государственных образовательных стандартов общего образования, высшего образования и профессионального стандарта педагога к знаниям, умениям и трудовым действиям, необходимым для реализации педагогической деятельности в образовательной организации на территории Российской Федерации.

Целью оценки являлась проверка сформированности профессиональных компетен­ций у студентов и аспирантов, обучавшихся по модернизированным программам, в соответствии со спецификой трудовых действий профессионального стандарта педагога.

Содержание независимой оценки было направлено на проверку сформированности общепрофессиональных компетенций у обучающихся в соответствии со спецификой трудовых действий, отраженных в стандартах профессиональной деятельности педагогических работников и инвариантных для любого профиля подготовки педагогов.

Независимый характер проводимой оценки предполагал ее проведение по единым контрольно-измерительным материалам, разработанным группой экспертов, не принимавших непосредственного участия в апробации образовательных программ в вузах-участниках комплексного проекта.

Организация апробации системы независимой оценки сформированности профессиональных компетенций

В рамках реализации комплексного проекта Оператором (МГППУ) совместно с вуза- ми-участниками была проведена апробация системы независимой оценки сформированности профессиональных компетенций у обучающихся педагогических программ.

Всего в независимой оценке сформированности профессиональных компетенций приняли участие более 6300 обучающихся из 51 вуза Российской Федерации.

В 2015 г. (по итогам 1-го этапа проекта) в независимой оценке сформированности профессиональных компетенций приняли участие 3603 студента из 38 вузов Российской Федерации.

В 2017 г. (по итогам 2-го этапа проекта) в независимой оценке сформированности общепрофессиональных компетенций приняли участие 2768 обучающихся из 43 вузов Российской Федерации.

В рамках проведения независимой оценки в 2017 г. были сформированы две группы: экспериментальная группа (обучавшихся по модернизированным образовательным программам) и контрольная группа (обучавшихся по действующим программам). Всего в оценке участвовали 2768 обучающихся из 43 вузов: экспериментальную группу составили 1838 обучающихся, контрольную группу — 930 обучающихся.

Апробация независимой оценки профессиональных компетенций осуществлялась в специально разработанной для этого информационной системе (рис. 1—4), доступной для дистанционного входа пользователей и размещенной в сети по адресу: http://оценка- компетенций.рф

Рис. 1. Интерфейс информационной системы (карта проекта)

Рис. 2. Интерфейс информационной системы (апробация модулей образовательной программы)

Рис. 3. Интерфейс информационной системы (решение теста)

Описание инструментария независимой оценки

Оценка предусматривала использование форматов тестирования и решения кейсов, направленных на проверку сфор­мированности общепрофессиональных компетенций в части знаний (тест) и умений (кейс) в соответствии с паспортами обще­профессиональных компетенций (УГСН «Образование и педагогические науки»), разработанных в рамках проекта и определяющих связь общепрофессиональных компетенций и трудовых действий профессиональных стандартов (педагога и педагога-психолога).

В целях проверки сформированности одной общепрофессиональной компетенции использовались:

• тест, состоящий из 20 заданий с выбором одного варианта ответа длительностью 30 минут. На решение каждого тестового задания отводилось 1,5 минуты;

• два структурированных кейсовых задания с выбором одного правильного ответа или произвольного числа ответов длительностью 15 минут каждый.

Для проведения независимой оценки сформированности общепрофессиональных компетенций у обучающихся по образовательным программам в рамках УГСН «Образование и педагогические науки» был разработан банк контрольно-измерительных материалов по трем уровням образования: бакалавриат, магистратура и аспирантура, — включающий 659 тестовых и 1026 кейсовых заданий (табл. 1).

Итоговый банк контрольно-измерительных материалов включал 324 тестовых задания и 39 кейсов.

Готовность к выполнению таких профессиональных задач, как «Контроль и оценка сформированности образовательных результатов у обучающихся, выявление и корректировка трудностей в обучении», «Взаимодействие с участниками образовательных отношений» и «Воспитательная деятельность», проверялась с использованием структурированных кейсовых заданий. Профессиональная задача «Контроль и оценка сформированности образовательных результатов у обучающихся, выявление и корректировка трудностей в обучении» предполагала решение предметного кейса или кейса на оценку сформированности универсальных учебных действий. Готовность к выполнению остальных профессиональных задач оценивалась с использованием теста, состоящего из 20 заданий, случайно выбираемых из банка материалов в рамках проверяемой обще­профессиональной компетенции и уровня образования.

Критерии оценки сформированности компетенции

Оценка сформированности компетенций проводилась в рамках учебной группы по результатам обучающихся. В зависимости от общепрофессиональной компетенции и уровня образования данными для анализа являлись количество баллов, полученных за верно выполненные задания теста, или средний балл по результатам выполнения двух кейсовых заданий.

При анализе результатов независимой оценки были использованы методики сравнения: критерий t-Стьюдента для независимых выборок, критерий U Манна— Уитни, однофакторный дисперсионный анализ (ANOVA), частотный анализ. Статистический анализ результатов независимой оценки проводился с использованием Python, а также приложения PASW Statistics 18.0.

Для оценки влияния модернизированных образовательных программ на успешность освоения общепрофессиональных компетенций выборка была разделена на экспериментальную и контрольную. Размеры выборок отличались не более чем на 20%. Обучающиеся экспериментальной группы изучали один или более модулей из модернизированных образовательных программ в период 2016—2017 гг., обучающиеся контрольной группы обучались по обычным (традиционным) образовательным программам.

Ниже приводится несколько примеров оценки ОПК.

Сформированность общепрофессио­нальной компетенции ОПК-1 «Способен осуществлять профессиональную деятельность в соответствии с нормативно­правовыми актами в сфере образования и нормами профессиональной этики» у обучающихся бакалавриата

Для оценки сформированности ОПК-1 был использован тест, состоящий из 20 заданий закрытого типа с выбором одного правильного ответа из четырех. Банк заданий составил 72 тестовых задания. Формирование набора тестовых заданий осуществлялось случайным образом из общего банка. Также была предусмотрена рандомизация заданий и вариантов ответов.

В соответствии с паспортом компетенции тестовые задания были распределены на пять блоков.

1. Знание федеральных законов и иных нормативных правовых актов, регламентирующих образовательную деятельность в РФ, нормативных документов по вопросам обучения и воспитания детей и молодежи. Умение применять нормативно-правовые акты в сфере образования и нормы профессиональной этики.

2. Знание федеральных государственных образовательных стандартов дошкольного, начального общего, основного общего, среднего общего образования.

3. Знание профессионального стандарта педагога.

4. Знание законодательства о правах ребенка. Знание конвенции о правах ребенка.

5. Знание трудового законодательства.

Пример тестового задания

Тестовое задание № 1287.

Уровень образования: Бакалавриат.

Текст задания.

Форма организации освоения обучающимся образовательной программы с использованием ресурсов нескольких организаций, осуществляющих образовательную деятельность, называется.

Вариант ответа 1: комплексной.

Вариант ответа 2: вариативной.

Вариант ответа 3: адаптивной.

Вариант ответа 4: сетевой.

Номер правильного ответа: 4.

Обучающиеся по модернизированным образовательным программам показали высокий уровень знания федеральных законов и иных нормативных правовых актов, регламентирующих образовательную деятельность в Российской Федерации (60%) и Конвенции о правах ребенка (59%) по сравнению с обучающимися контрольной группы. Причем 73% обучающихся правильно выполнили более 50% заданий по указанным блокам.

Знание федеральных государственных образовательных стандартов (48%) и трудового законодательства (48%) обучающиеся показали на уровне ниже 50%. Процент обучающихся, правильно выполнивших более 50% заданий по указанным блокам, составил 53%.

Знание профессионального стандарта педагога (43%) обучающиеся показали на недостаточном уровне, так как средний процент правильных ответов оказался ниже 50%. Причем менее половины обучающихся (48%) правильно выполнили более 50% заданий по данному блоку.

Освоение компетенции в полном объеме показали 12% обучающихся экспериментальной группы, выполнивших верно более 50% заданий.

Сравнение средних результатов экспериментальной и контрольной группы проводилось при помощи критерия t Стьюдента.

Из диаграммы (рис. 5) видно, что наиболее низкие результаты экспериментальной группы получены по блокам «Знание профессионального стандарта педагога» (47,5%), «Знание трудового законодательства» (50,4%) и «Знание федеральных государственных образовательных стандартов» (52,9%).

Причем процент выполнения, как всего теста, так и отдельных его блоков, в экспериментальной группе выше, чем в контрольной. Различие обнаружено на уровне статистической значимости (р<0,05).

Сформированность ОПК-4 у обучающихся бакалавриата проверялась с использованием кейсовых заданий по оценке мета- предметных образовательных результатов (универсальных учебных действий (УУД)) и предметных образовательных результатов (предметный кейс).

1.    Предметный кейс

Предметный кейс был направлен на проверку умения оценивать работы обучающихся по конкретному учебному предмету и знания причин типовых ошибок, допускаемых школьниками.

Структура кейса.

Кейс содержал задание по учебному предмету в формате ЕГЭ 2017.

Кейс содержал ответ обучающегося (школьника) и оценку учителя за ответ.

Необходимо было определить правильность выставленной оценки.

В случае несогласия с оценкой учителя, необходимо было указать наиболее вероятные причины типовых ошибок, допущенных в решении школьника.

Пример кейсового задания по биологии

Инструкция. Прочитайте задачу, которая была предложена обучающимся. Познакомьтесь со способом решения задачи обучающимся.

Текст задания.

Прочитайте текст. Выберите три предложения, в которых указаны движущие силы эволюции. Запишите в ответ цифры, под которыми они указаны.

1.     Синтетическая теория эволюции утверждает, что виды живут популяциями, в которых и начинаются эволюционные процессы. 2. Именно в популяциях наблюдается наиболее острая борьба за существование.

3.    В результате мутационной изменчивости постепенно возникают новые признаки, в том числе и приспособления к условиям окружающей среды — идиоадаптации. 4. Этот процесс постепенного появления и сохранения новых признаков под действием естественного отбора, ведущий к образованию новых видов, называется дивергенцией. 5. Образование новых крупных таксонов происходит путем ароморфозов и дегенерации, которая также приводит к биологическому прогрессу организмов. 6. Таким образом, популяция является исходной единицей, в которой происходят основные эволюционные процессы — изменение генофонда, появление новых признаков, возникновение приспособлений.

Способ решения школьником задания.

2. Именно в популяциях наблюдается наиболее острая борьба за существование.

4. Этот процесс постепенного появления и сохранения новых признаков под действием естественного отбора, ведущий к образованию новых видов, называется дивергенцией.

5. Образование новых крупных таксонов происходит путем ароморфозов и дегенерации, которая также приводит к биологическому прогрессу организмов.

Ответ обучающегося (школьника): 2, 4, 5.

Задание.

1. Учитель поставил отметку 5 (отлично) по пятибалльной шкале. Оцените правильность отметки учителя, выбрав «Согласен» или «Не согласен».

2. В случае если Вы не согласны, поставьте свою отметку (по пятибалльной шкале).

3. Проанализируйте способ решения школьником задания и выберите наиболее вероятные причины типовых ошибок, допущенных в решении школьника (из списка):

1. Не сформировано понятие: Движущие факторы эволюции.

2. Незнание сущности основных биологических явлений и процессов: влияния элементарных факторов эволюции на генофонд популяции.

3. Не сформировано умение объяснять роль биологических теорий, законов, принципов, гипотез в формировании современной естественнонаучной картины мира.

4. Не сформировано умение сравнивать и делать выводы на основе сравнения важнейших биологических процессов и явлений.

5. Не сформировано умение выявлять характерные особенности биологических процессов.

6. Незнание сущности современных биологических теорий и гипотез.

Номер правильного ответа: 1, 2, 6.

Предметный кейс оценивался по двум критериям.

1. Знание учебного предмета и умение оценивать работы обучающихся. Если обучающийся был не согласен с оценкой учителя (которая в кейсе умышленно была поставлена неправильно), то, следовательно, он сам правильно решил данную задачу и показал знание предмета и получал 2 балла. В случае согласия с оценкой учителя получал ноль баллов, так как в ответе школьника заведомо была допущена ошибка.

2. Знание причин типовых ошибок, которые допускают обучающиеся. Этот критерий оценивался у тех, кто правильно выполнил первую часть кейса. За каждую правильно указанную причину ошибок обучающийся получал дополнительно баллы.

Предметный кейс выполняли 347 обучающихся бакалавриата. Экспериментальная группа составила 274 обучающихся, контрольная — 73.

Результаты выполнения предметных кейсов.

1. Первую часть кейса выполняли 347 обучающихся. Из них знание учебного предмета и умение оценивать работы обучающихся показали 279 человек, что составило 74,5%.

Сравнение уровня знания учебного предмета и умение оценивать знания у обучающихся бакалавриата в контрольной и экспериментальной группе проводилось при помощи непараметрического критерия Манна—Уитни.

Из диаграммы (рис. 6) видно, что знание учебного предмета и умение оценивать работы обучающихся в контрольной группе ниже, чем в экспериментальной. Причем различия обнаружены на уровне статистической значимости (р=0,000).

2. Вторую часть кейса выполняли 279 обучающихся. Из них знание причин типовых ошибок, допускаемых школьниками, показали 47 обучающихся, что составило 16,6%, причем из контрольной группы 4 обучающихся, а из экспериментальной — 43. Таким образом, сравнение между контрольной и экспериментальной группой проводить некорректно.

Рис. 6. Диаграмма результатов обучающихся уровня бакалавриата по предметному кейсу в рамках оценки ОПК-4

2.     Кейсовое задание по оценке УУД

Предметный кейс был направлен на проверку умения оценивать метапредметные образовательные результаты учащихся (сфор- мированность УУД) студентами бакалавриата

Инструкция к кейсовому заданию. Для оценки сформированности регулятивного универсального учебного действия (УУД), связанного с осуществлением познавательной рефлексии, у обучающихся начальной школы были предложены для решения 4 задачи, представленные ниже.

Пример кейсового задания.

Описание задачи, предложенной обучающимся:

В игровом поле слева показано начальное расположение различных элементов. Обучающийся должен найти способ перемещения игровых элементов, соответствующий их конечному положению, указанному справа. Количество действий, необходимых для соответствующих перемещений показано в виде незаполненных квадратов.

По результатам решения задачи обучающиеся обменялись мнениями.

1.          Люба считает: «Все задачи похожи».

2.          Вася не согласился: «Все задачи различаются».

3.          Дима: «Задачи 1, 2, 3 похожи, а задача 4 от них отличается».

4.          Ваня: «Задачи 2, 3, 4 похожи, а задача 1 от них отличается».

5.          Наташа: «Задачи 1, 2, 4 похожи, а задача 3 от них отличается».

6.          Петя сказал: «Задачи 1, 3, 4 похожи, а задача 2 от них отличается».

Выберите ответы обучающегося или обучающихся, чье мнение говорит о сформиро­ванности указанного УУД.

По результатам решения кейсовых заданий можно выделить три уровня владения компетенцией:

— при выборе взаимоисключающих мнений — нулевой уровень;

— при выборе одного из пяти мнений (1, 2, 3, 5, 6) — формальный уровень;

— при выборе одного четвертого мнения — содержательный уровень.

На диаграмме (рис. 7) показано, что больше половины обучающихся (60%) показали владение данной компетенцией на нулевом (низком) уровне. На содержательном уровне владения показали менее 10%.

Сравнение уровня сформированности ОПК-4 у обучающихся бакалавриата контрольной и экспериментальной групп проводилось при помощи непараметрического критерия Манна—Уитни.

На диаграмме (рис. 8) показано, что уровень сформированности ОПК-4 у обучающихся контрольной группы выше, чем экспериментальной на уровне статистической значимости (р=0,024) по критерию Манна— Уитни, что в целом говорит о крайне низкой сформированности этой профессиональной компетенции как в экспериментальной, так и в контрольной группах.

Результаты независимой оценки сформированности компетенций

Средний балл выполнения заданий в экспериментальной группе составил 71 балл, в контрольной — 64 балла (рис. 9). Полученные результаты отличаются на уровне высокой статистической значимости (р=0,000) по критерию t Стьюдента.

Результаты оценки сформированности общепрофессиональных компетенций у обучающихся экспериментальной и контрольной групп различаются в целом и по уровням образования, что свидетельствует об эффективности разработанных программ подготовки и их соответствии требованиям профессионального стандарта педагога и федеральных государственных образовательных стандартов общего образования.

Проведенное сравнение выявило, что средний балл обучающихся экспериментальной группы выше, чем контрольной по всем уровням образовательных программ (рис. 10).

Рис. 9. Средний балл выполнения заданий в экспериментальной и контрольной группах

Рис. 10. Средний балл выполнения заданий по уровням образования

Сравнение результатов по критерию t Стьюдента показало, что результаты различаются на уровне высокой статистической значимости по образовательным программам бакалавриата (р=0,000), магистратуры (р=0,003), аспирантуры (р=0,000).

Сравнение результатов обучающихся бакалавриата (рис. 11) выявило, что по всем ОПК средний балл в экспериментальной группе оказался выше, чем в контрольной группе.

По ОПК-4 результаты экспериментальной и контрольной групп статистически значимо не различаются (р>0,05).

Сравнение результатов обучающихся магистратуры (рис. 12) выявило, что по всем оцениваемым ОПК средний балл в экспериментальной группе оказался выше, чем в контрольной группе. По ОПК-3 и ОПК-5 результаты экспериментальной и контрольной групп статистически значимо не различаются (р>0,05).

Рис. 11. Результаты независимой оценки сформированности общепрофессиональных компетенций у обучающихся уровня бакалавриат

Рис. 12. Результаты независимой оценки сформированности общепрофессиональных компетенций у обучающихся уровня магистратуры

Обсуждение результатов и выводы

Проведенная апробация инструментария и реализация на его основе оценки сформи- рованности общепрофессиональных компе­тенций у студентов программ педагогического образования позволяет сделать ряд важных выводов.

Сравнение результатов обучающихся аспирантуры (рис. 13) выявило, что по всем ОПК средний балл в экспериментальной группе выше, чем в контрольной группе. По ОПК-2 и ОПК-5 результаты экспериментальной и контрольной групп статистически значимо не различаются (р>0,05).

2.      Проведенная оценка сформирован- ности общепрофессиональных компетенций позволяет также оценить успешность вуза в подготовке педагогических кадров и может быть использована для построения системы независимой оценки качества программ педагогического образования.

3). Независимая оценка сформирован- ности профессиональных компетенций у выпускников может быть также использована и в системе общего образования для оценки готовности будущего педагога к решению профессиональных задач в образовательной организации и построении программы сопровождения молодого специалиста на этапе вхождения в профессиональную деятельность.

Существенным ограничением использованного инструментария и полученных на его основе результатов являлась невозможность использования анализа видео-кейса, демонстрирующего владение профессиональными действиями в реальных условиях, что было связано с объективными ограничениями проекта.