Апробация инструментария оценки сформированности профессиональных компетенций у будущих педагогов

Введение

Основное содержание проекта модернизации педагогического образования состоит в разработке новых моделей подготовки педагогических кадров в соответствии с требованиями Профессионального стандарта педагога и федеральными государственными образовательными стандартами общего образования [1—6].

В течение двух лет в 45 вузах России проводилась апробация разработанных моделей подготовки педагогических кадров в рамках четырех типов проектов, осуществляемых вузами- участниками и их соисполнителями: академический бакалавриат (восемь проектов), прикладной бакалавриат (семь проектов), профессиональная (педагогическая) магистратура (шесть проектов), исследовательская магистратура (два проекта). В проектах отрабатывались задачи создания условий для деятельностного профессионально-ориентированного подхода в подготовке педагогических кадров, перехода на модульный принцип обучения в вузе, привлечения школ в качестве равноправных партнеров университетов в подготовке педагогов по формированию профессиональных компе­тенций студентов, обеспечения различных траекторий подготовки и входа в профессию.

С целью оценки сформированности профессиональных компетенций у студентов были разработаны и апробированы контрольно-измерительные материалы (далее - КИМы), включающие тестовые задания и кейсы, по трем направлениям подготовки (педагогическое образование, психолого­педагогическое образование, специальное (дефектологическое) образование) и шести профилям: воспитатель, учитель начальных классов, педагог-психолог, учитель основного общего образования, учитель среднего общего образования, учитель-дефектолог.

Разработка инструментария

Ресурсным центром проекта был организован комплекс работ, направленных на разработку методики, технологии и логистики проведения оценки сформированных профессиональных компетенций у студентов вузов- участников проекта модернизации педагогического образования, обучавшихся по разработанным и апробируемым образовательным модулям.

К разработке контрольно-измерительных материалов было привлечено 102 разработчика из 21 вуза-участника проекта, в том числе - один доктор педагогических наук, 57 кандидатов педагогических наук, 10 кандидатов психологических наук. К экспертизе контрольно-измерительных материалов было привлечено 92 эксперта. Из них 51 эксперт из 15 вузов и 18 образовательных организаций, в том числе один доктор педагогических наук, 37 кандидатов педагогических наук, 5 кандидатов психологических наук.

Эксперты провели оценку соответствия содержания разработанных тестовых заданий и кейсов (направленных на проверку сформированности профессиональных компетенций педагога/педагога-психолога) трудовым действиям и компетенциям, отраженным в стандартах их профессиональной деятельности.

Экспертиза проходила в несколько этапов, разработчик мог скорректировать задание в соответствии с рекомендациями эксперта или тестолога. Далее тестовое задание или кейс направлялись на решение двум новым экспертам. Результат сравнивался с эталонным, указанным разработчиком. В случае совпадения решений, тестовое задание или кейс направлялись в банк контрольно­измерительных материалов.

Были получены следующие результаты экспертизы контрольно-измерительных материалов:

1) по тестовым заданиям было разработано 1270, отклонено 300, доработано 30, включено в банк материалов 1000 заданий;

2) по кейсам было разработано 225, отклонено 65, доработано 6, включено в банк материалов 166 кейсов.

На рис. 1 показаны основные участники разработки инструментария оценки сфор- мированности профессиональных компетен­ций у студентов (выпускников) модернизированных основных профессиональных образовательных программ бакалавриата и магистратуры (далее - инструментарий) и реализуемые задачи. Этапы разработки, экспертизы и апробации инструментария независимой оценки представлены в табл.1.

Рис. 1. Организационная структура разработки инструментария в проекте модернизации
педагогического образования

Таблица 1

Этапы разработки, экспертизы и апробации инструментария независимой оценки

Описание инструментария

Квалификационное испытание для студентов, освоивших содержание апробируемых образовательных модулей, состояло из теста профессиональных компетенций, включающего не менее 100 вопросов по профилю, и набора кейсов. Кейс представлял собой педагогическую ситуацию, моделирующую профессиональную задачу, проблему, и был направлен на проверку планирования последовательности профессиональных действий и полноту их реализации. В данном испытании применялись структурированные кейсы, в рамках которых студенту необходимо было решить четыре задания к одному кейсу. Тестовое задание представляло собой краткий вопрос с выбором
одного из четырех вариантов ответа.

Квалификационное испытание содержало всего 1000 тестовых заданий, из них 452 - по программе бакалавриата, 548 - по программе магистратуры, и 166 кейсов, из них 100 - по программе бакалавриата, 66 - по программе магистратуры. Количество тестовых заданий по направлениям подготовки и профилям представлено в табл. 2, кейсов - в табл. 3.

Таблица 2

Количество тестовых заданий по направлениям подготовки и профилям

Пример тестовых заданий приведен ниже.

Пример 1.

Направление: Психолого-педа-гогическое образование

Профиль: Воспитатель

Программа подготовки: Бакалавриат

Трудовые действия:

2.1.2. Участие в создании безопасной и психологически комфортной образовательной среды образовательной организации через обеспечение безопасности жизни детей, поддержание эмоционального благополучия ребенка в период пребывания в образовательной организации

Задание: Нетипичным проявлением адаптации трехлетнего ребенка к детскому саду является:

Вариант ответа 1:

незначительное снижение аппетита

Вариант ответа 2:

длительные соматические заболевания, сменяющие друг друга

Вариант ответа 3:

плаксивость, отсутствие стремления исследовать окружающую обстановку

Вариант ответа 4:

стремление ребенка в первые две недели быть рядом с воспитателем

Номер правильного ответа: 2

Обоснование правильного ответа:

Все проявления адаптации ребенка к детскому саду в первые недели пребывания, кроме длительных соматических болезней, являются типичными.

Пример 2.

Направление: Психолого-педа-гогическое образование

Профиль: Учитель начальных классов Программа подготовки: Бакалавриат

Трудовые действия:

1.1.6. Организация, осуществление контроля и оценки учебных достижений, текущих и итоговых результатов освоения основной образовательной программы обучающимися.

Задание: Ученик допустил ошибку в вычислениях: 97-81:9=16. Какова причина ошибки?

Вариант ответа 1:

не усвоено правило о порядке выполнения действий в выражениях

Вариант ответа 2:

ошибка в вычислениях

Вариант ответа 3:

изменил арифметическое действие

Вариант ответа 4:

записал приблизительный ответ

Номер правильного ответа: 1

Обоснование правильного ответа:

Ученик не выполнил деление, а сразу из

97 отнял 81, это говорит о том, что он не усвоил правило о порядке выполнения действий в выражениях.

Пример кейсового задания приведен ниже.

Направление: Психолого-педагогическое образование

Профиль: Учитель начальных классов Программа подготовки: Бакалавриат Трудовые действия:

1.2.6. Реализация воспитательных возможностей различных видов деятельности ребенка (учебной, игровой, трудовой, спортивной, художественной и т.д.)

Название: Воспитательные возможности различных видов деятельности

Инструкция:

Прочитайте педагогическую ситуацию, контекст ее реализации, документы и выполните задания кейса.

Описание педагогической ситуации:

Педагогическая ситуация. Спортивные соревнования в начальной школе (1-й класс, сентябрь). В лидерах два ученика: мальчик и девочка. После объявления результатов соревнований по легкой атлетике (первое место занял мальчик) девочка побила победителя и заявила: «Я во всем первая и никто не смеет претендовать занимать мое место».

Контекст ситуации. Ситуация произошла в начальной школе (1-й класс, начало учебного года). Обычная общеобразовательная городская школа, в которой обучается около 1500 учащихся. Классный коллектив - выпускники одного детского сада. Девочка пришла из другого детского сада. Учитель имеет педагогический стаж более 15 лет и высшую квалификационную категорию.

Девочка - из неполной семьи, поздний ребенок, развивается в пределах нормы с небольшим опережением, не умеет принять ситуацию неуспеха, в семье большое количество взрослых, очень любящих ребенка, потакающих ее капризам и желаниям, что привело к формированию завышенной самооценки.

Видео:

нет

Дополнительные материалы:

План воспитательной работы 1 класса на текущий учебный год.

Задание 1:

Проанализируйте план воспитательной работы с точки зрения реализации воспитательных возможностей различных видов деятельности первоклассников (учебной, игровой, трудовой, спортивной, художественной и т.д.).

Задание 2:

Объясните причины поведения девочки.

Задание 3:

Поставьте цель индивидуального развития девочки и предложите вариант индивидуальной программы педагогического сопровождения ребенка.

Задание 4:

Разработайте комплекс форм работы по сплочению детского коллектива и включению детей в различные виды совместной деятельности.

Апробация инструментария

В рамках апробации разработанного инструментария Ресурсным центром проекта модернизации педагогического образования (созданного на базе МГППУ совместно с НИУ ВШЭ) было проведено компьютерное тестирование студентов вузов-участников. Были апробированы шесть пакетов инструментария по трем направлениям подготовки (педагогическое образование, психолого-педагогическое образование, специальное (дефектологическое) образование) и шести профилям: воспитатель, учитель начальных классов, учитель- дефектолог, педагог-психолог, учитель основного общего образования и учитель среднего общего образования.

Апробация инструментария была организована в дистанционном формате на сайте «оценкакомпетенций.рф». В апробации инструментария приняли участие 3603 студента из 38 вузов России.

Разработчики вузов-участников определили для каждого образовательного модуля набор трудовых действий профессионального стандарта, которые осваивают студенты в процессе обучения по модулю. В ходе апробации инструментария в каждой группе студентов вуза проверялись только те трудовые действия, которым их обучали в модуле проекта.

Участники апробации инструментария

С вузами-участниками были заключены договоры о проведении компьютерного тестирования. Представители вуза обеспечили на сайте «оценкакомпетенций.рф» ввод данных по учебным группам студентов, обучавшихся по новым модулям модернизированных основных профессиональных образовательных программ бакалавриата или магистратуры в 2014 или 2015 годах, электронных адресов (email) студентов, участвующих в компьютерном тестировании (персональные данные студентов вузом не предоставлялись).

Количество студентов по уровням и профилям подготовки, прошедших тестирование, представлено в табл. 4.

Таблица 4

Количество студентов, прошедших тестирование

Этапы проведения независимой оценки

Квалификационное испытание включало прохождение тестов и кейсов.

Профессиональный тест был направлен на оценку сформированности профессиональных знаний, умений и компетенций в соответствии с Профессиональным стандартом педагога (педагога-психолога). Контрольные задания профессионального теста были представлены тестовыми заданиями с несколькими вариантами ответов.

Сборник кейсов. Выполнение кейса было направлено на оценку сформирован- ности профессиональных компетенций, необходимых для осуществления нескольких трудовых действий в соответствии с Профессиональным стандартом педагога (педагога-психолога). Сборник кейсов был представлен структурированными кейсами.

На рис. 2 представлена схема и этапы проведения независимой оценки.

Рис. 2. Схема проведения квалификационного испытания

Проведение квалификационного испытания осуществлялось в информационной системе, в которой личный кабинет студента (рис. 3) содержал информацию о ВУЗе, профиле и программе подготовки, форме обучения, а также сведения о проекте и модулях, по которым он обучался.

Рис. 3. Скриншот интерфейса главной страницы личного кабинета студента

Каждая группа студентов выполняла тесты, соответствующие модулям, по которым студенты проходили обучение в 2014—2015 годах, но не более трех тестов. Один тест содержал до 20 заданий, на выполнение которых отводилось до 30 минут, на три теста -до 1,5 часа. Далее студенты выполняли два кейса, соответственно модулям, по которым проходило обучение. На выполнение одного кейса отводилось 30 минут. Таким образом, квалификационное испытание продолжалось от 1,5 до 2,5 часа.

Для проведения экспертизы выполнения кейсов студентами ресурсным центром проекта были привлечены эксперты из высших образовательных организаций (участников проекта). Всего в ходе апробации инструментария экспертами была дана оценка 7142 решениям 166 кейсов.

Модель оценки сформированности
профессиональных компетенций
у студентов

Квалификационное испытание было направлено на оценку сформированности профессиональных компетенций студентов, в соответствии со спецификой трудовых действий стандарта профессиональной деятельности педагога (педагога-психолога).

В соответствии с разработанной моделью трудовое действие считалось освоенным:

— студентом, если 50% заданий (тестовых заданий и кейсов), направленных на проверку этого трудового действия, было выполнено им правильно;

— на групповом уровне, если не менее 60% студентов, принимавших участие в тестировании, освоили данное трудовое действие.

страницы личного кабинета студента

Результаты апробации

Тестовые баллы, полученные участниками апробации, имеют нормальное распределение (диаграмма 1), что говорит о валидности методики.

Диаграмма 1

Гистограмма частотного распределения результатов апробации

В процессе апробации методики проводилась проверка уровня сформированности трудовых действий у студентов. По Профессиональному стандарту педагога было проверено 57 трудовых действий. Данные по профилю учителя-дефектолога не представлены в связи с тем, что в настоящее время осуществляется разработка профессионального стандарта. Сформированность трудовых действий оценивалась по выполнению тестовых и кейсовых заданий.

Процент освоенных трудовых действий по Профессиональному стандарту педагога в соответствии с моделью составил 79%. Данные по освоению трудовых действий Профессионального стандарта педагога в программах бакалавриата и магистратуры и по профилям приведены на диаграммах 2 и 3.

Диаграмма 2

Освоение трудовых действий Профессионального стандарта педагога
в программах бакалавриата и магистратуры

Диаграмма 3

Освоение трудовых действий Профессионального стандарта педагога
в программах бакалавриата и магистратуры по профилям

Из диаграммы видно, что процент освоенных трудовых действий у бакалавров ниже, чем у магистрантов по профессиональному стандарту педагога. Полученные различия подтверждает критерий Стьюдента. Следовательно, данная методика обладает дифференцирующей способностью.

По программе бакалавриата наблюдается различие результатов по профилю подготовки на уровне статистической значимости (р=0,048). По программе магистратуры статистически значимых различий по профилю подготовки не обнаружено (р=0,093). Для сравнения был использован дисперсионный анализ.

Проведенный анализ показал, что следующие семь трудовых действий из 57 трудовых действий Профессионального стандарта педагога были освоены во всех проектах (в двух и более), в которых они проверялись:

1.1.4. Планирование и проведение учебных занятий;

1.3.2. Оценка параметров и проектирование психологически безопасной и комфортной образовательной среды, разработка программ профилактики различных форм насилия в школе;

1.3.5. Оказание адресной помощи обучающимся;

1.3.7. Разработка (совместно с другими специалистами) и реализация совместно с родителями (законными представителями) программ индивидуального развития ребенка;

2.1.11.  Организация конструктивного взаимодействия детей в разных видах деятельности, создание условий для свободного выбора детьми деятельности, участников совместной деятельности, материалов;

2.2.5. Организация учебного процесса с учетом своеобразия социальной ситуации развития первоклассника;

2.2.6.  Корректировка учебной деятельности, исходя из данных мониторинга образовательных результатов с учетом неравномерности индивидуального психического развития детей младшего школьного возраста (в том числе в силу различий в возрасте, условий дошкольного обучения и воспитания), а также своеобразия динамики развития мальчиков и девочек.

Следующие семь трудовых действий из 57 трудовых действий Профессионального стандарта педагога вызвали наибольшие сложности у студентов:

1.1.1.   Разработка и реализация программ учебных дисциплин в рамках основной общеобразовательной программы;

1.1.7.   Формирование универсальных учебных действий;

1.2.9.   Создание, поддержание уклада, атмосферы и традиций жизни образовательной организации;

1.3.4. Освоение и применение психолого­педагогических технологий (в том числе ин­клюзивных), необходимых для адресной работы с различными контингентами учащихся: одаренные дети, социально уязвимые дети, дети, попавшие в трудные жизненные ситуации, дети-мигранты, дети-сироты, дети с особыми образовательными потребностями (аутисты, дети с синдромом дефицита внимания и гиперактивностью и др.), дети с ограниченными возможностями здоровья, дети с девиациями поведения, дети с зависимостью;

2.1.12. Активное использование недирек­тивной помощи и поддержка детской инициативы и самостоятельности в разных видах деятельности;

2.1.13.  Участие в планировании и корректировке образовательных задач (совместно с психологом и другими специалистами) по результатам мониторинга с учетом индивидуальных особенностей развития каждого ребенка раннего и/или дошкольного возраста;

2.2.3.   Формирование метапредметных компетенций, умения учиться и универсальных учебных действий до уровня, необходимого для освоения образовательных программ основного общего образования.

Проведенный анализ позволил построить профили сформированности профессиональных компетенций (диаграмма 4).

Диаграмма 4

Профиль сформированности у студентов проекта профессиональных компетенций

Обсуждение полученных результатов

Полученные результаты требуют обсуждения по двум основаниям:

—   в части интерпретации результатов сформированности профессиональных ком­петенций у студентов;

—  в отношении апробации инструментария независимой оценки профессиональных компетенций и логистики ее проведения.

Ограничениями в оценке полученных результатов сформированности профессиональных компетенций у студентов являются следующие особенности хода реализации проектов.

1.   Отсутствие предварительной диагностики профессиональных компетенций у обучающихся студентов, что не позволило оценить динамику и однозначно интерпретировать высокие результаты как следствие высокой эффективности обучения по разработанным модулям.

2.   Различия в результатах учебных групп студентов, которые могут быть связаны не только с освоением или не освоением профессиональных компетенций в ходе обучения по модернизируемым модулям, но и со в рамках которых обучаются студенты, участвующие в апробации, и разным объемом профессиональных знаний, полученных до начала апробации.

3.  Несбалансированные по уровню сложности наборы тестовых заданий и кейсов в учебных группах (задания предъявлялись информационной системой в случайном порядке внутри заданных параметров образовательного модуля).

4.  Наличие в Профессиональном стандарте сложных по содержанию трудовых действий, формирование готовности к выполнению которых требует дополнительных усилий в подготовке студентов в вузах.

Проведенная работа дала следующие результаты:

1) апробация инструментария позволила дифференцировать контрольно-измерительные материалы по уровням сложности в случае тестовых заданий и кейсов; 2) проведение удаленного тестирования выявило в редких случаях необходимость независимого контроля условий проведения квалификационного испытания.

Заключение

1.   Апробация инструментария показала его высокий потенциал для дальнейшего развития независимой оценки профессиональных ком­петенций выпускников, что позволит в дальнейшем получить объективную и достоверную информацию о качестве разработанных модулей и программ подготовки педагогов.

2.   Разработанная информационная система удаленного тестирования показала высокую надежность при одновременной работе с большими группами студентов и экспертами при оценке решений кейсов студентами из разных субъектов Российской Федерации.

3.   В целях совершенствования организации этой процедуры необходима ее доработка в качестве итоговой оценки профессиональных компетенций в соответствии с профессиональным стандартом вне зависимости от выбранных моделей подготовки и освоенного содержания образовательных модулей.

4.   Выявленные группы тестовых заданий и кейсов разной сложности позволят диф­ференцированно оценивать освоенные профессиональные компетенции по 3-4 уровням сложности при развитии системы независимой оценки профессиональных компе­тенций выпускников программ подготовки педагогов.

Работа выполнена при финансовой поддержке Министерства образования и науки Российской Федерации (Государственный контракт № 05.043.11.0004 от 07 апреля 2014 г. на выполнение работ (оказание услуг) «Экспертно-аналитическое сопровождение реализации проектов по развитию программ педагогической магистратуры, педагогического бакалавриата, проектов вариативности получения педагогического образования»).