Анализ психометрических характеристик инструмента оценки социально-эмоциональных навыков в начальной школе

Введение

То, что школа дает ученикам не только знания, умения и навыки в конкретных предметных областях, но и развивает личность, мотивацию, рефлексию, очевидно всем участникам системы образования. Образовательные системы заявляют, что эта вторая, внепредметная, сторона учебного процесса способствует эффективной адаптации ребенка к миру: с помощью образовательных стандартов школа сообщает обществу, что она заботится о личностном и социальном развитии учащихся. Вслед за появлением в стандартах разделов о личностных образовательных результатах возникает и вопрос о качестве результата — насколько успешно школа справляется с поставленными задачами развития учащихся? Следовательно, встает проблема разработки инструментов такой оценки. Они могут быть реализованы в различном формате, однако в своей работе мы касаемся только решения задачи массовой мониторинговой оценки внепредмет- ной стороны образовательного процесса в начальной школе. Особенность мониторинга заключается в том, что сбор и обработка данных должны занимать достаточно непродолжительное время, чтобы не создавать большую когнитивную нагрузку на учащихся, учителей и администраторов тестирования, но при этом обеспечивать точность и справедливость оценки. Таким образом, методы, в которых предполагается интервью с учащимися или экспертная оценка продуктов их деятельности (рисунков, текстов и т. д.), для проведения массовой оценки не подходят, несмотря на то, что при правильном применении в индивидуальной работе они могут дать более точные результаты. Выдвигаемым требованиям соответствует формат стандартизированной самооценки, который мы и выбрали для разработки инструмента.

По результатам проведенного анализа терминологического аппарата, используемого для описания интересующей нас части образовательного процесса [2; 3; 5; 7; 15; 13 и др.], мы решили остановиться на понятии «социально-эмоциональные навыки», как в наибольшей степени отвечающем нашей цели.

Социально-эмоциональные навыки — «навыки, которые позволяют людям распознавать свои эмоции и управлять ими, успешно справляться с конфликтами, понимать и проявлять сочувствие к другим, устанавливать и поддерживать позитивные отношения, следовать этике, вносить конструктивный вклад в их референтные сообщества и устанавливать и достигать цели» [18; 17].

Несмотря на то, что слово «навыки» здесь указывает на принципиальную возможность формирования этой стороны индивидуальности человека в образовательном контексте [4], основываются навыки на личностных чертах, поэтому наиболее правильным будет опираться на проверенные разработки в области структуры и развития личности. Образовательные достижения на всех уровнях (от начального до университетского) показывают значимые корреляции с личностными чертами, измеренными в модели «Большой пятерки» [19; 6; 11; 14 и др.]. Следовательно, эта модель является подходящей основой для выделения социально-эмоциональных навыков, способствующих успешности обучения — они концептуально не зависят от когнитивных способностей, связь с успешностью в различных сферах доказывает их общую ценность для социальной адаптации, они достаточно устойчивы во времени и черты, ее составляющие, проявляются в различных ситуациях.

Если Большая пятерка так хорошо предсказывает образовательные достижения, возникает закономерный вопрос: зачем придумывать новые понятия, если можно просто оценивать личностные черты, используя готовые качественные инструменты? Более глубокий анализ, однако, выявляет существенный недостаток такого способа оценивания: факторы Большой пятерки демонстрируют значительный вклад наследственности (от 0,41 до 0,61) [10]. Следовательно, используя инструменты оценки черт в качестве мониторинга личностных образовательных результатов, мы оцениваем не столько вклад школы, сколько индивидуальные особенности учащегося, которые сформировались как совокупность наследственных и средовых факторов.

Естественно, различия в подходах к объекту измерения (навыки или черты) должны сохраняться и на уровне инструментария: методики оценки личностных черт и социально-эмоциональных навыков должны быть разными. Инструменты, с помощью которых оцениваются личностные черты в модели Большой пятерки, построены по принципу самоотчета — респондент должен ответить на вопросы о своем поведении, чувствах, отношении к тем или иным ситуациям, установках, т. е. о достаточно широком спектре составляющих его внутренней жизни. В оценке социально-эмоциональных навыков мы также используем метод самоотчета, но предлагаем остановиться только на поведенческой составляющей: в определении социально-эмоциональных навыков мы говорим, что это именно поведенческий паттерн. Он может обеспечиваться за счет привлечения разных механизмов и ресурсов, однако мы формируем навык (или поведенческий паттерн) и оцениваем поведенческий паттерн (или навык).

Таким образом, для разработки инструментария мониторинга развития социально-эмоциональных навыков мы выбрали три составляющие, основанные на модели Большой пятерки.

1.    Достижение целей — работа над достижением краткосрочных и долгосрочных целей, в том числе в изменяющихся условиях. Черты, которые лежат в основе навыка: Сознательность, Эмоциональная стабильность, Открытость новому.

2.    Работа с другими — построение продуктивных взаимоотношений со сверстниками и взрослыми (в паре, в группе, по приглашению или самостоятельно). Черты, которые лежат в основе навыка: Экстраверсия, Согласие.

3.    Управление эмоциями — контроль над проявлениями эмоций в школьном контексте, их влияние на выполнение заданий и общение со сверстниками и взрослыми. Черты, которые лежат в основе навыка: Экстраверсия, Эмоциональная стабильность.

Инструмент

Разработанный опросник социально-эмоциональных навыков состоит из трех шкал, соответствующих измеряемым конструктам: достижение цели, работа с другими и управление эмоциями. Опросник состоит из 27 утверждений, начинающихся со словосочетания «Мне кажется, что я ...». К шкале «Достижение цели» относятся 8 вопросов, из них — 1 обратный; к шкале «Работа с другими» — 11 вопросов, из них — 2 обратных; к шкале «Управление эмоциями» — 8 вопросов, из них — 1 обратный. Ответные категории представлены в пятибалльной шкале Ликерта: от 1 «Совершенно не согласен» до 5 «Совершенно согласен». Тестирование проводилось в бланковой форме.

Выборка

В исследовании приняли участие 2559 учащихся третьих классов школ Татарстана. В выборке примерно равная доля мальчиков (1234 человека, 50,1%) и девочек (1230 человека, 49,9%). Средний возраст учащихся — 9 лет.

Методы

Для проверки качества разработанного инструмента был проведен анализ надежности—согласованности и конструктной валидности для каждой из шкал опросника. Высокая надежность показывает, что все вопросы шкалы согласованы между собой и точность измерения набором таких вопросов высокая. Конструктная валидность понимается нами в данном случае как соответствие факторной структуры шкалы теоретической модели, на основании которой разрабатывался инструмент.

Анализ проводился как в рамках классической, так и в рамках современной теории тестирования (IRT). Для проверки размерности в рамках классической теории был применен эксплораторный факторный анализ (ЭФА) методом главных компонент с дополнительным косоугольным вращением Облимин с нормализацией Кайзера (Oblimin with Kaiser Normalization). Предварительно данные были проверены на пригодность для факторизации с использованием меры выборочной адекватности Кайзера—Мейера—Олкина (КМО) и критерия сферичности Бартлетта. Затем результаты проверялись с помощью более мощного и точного анализа размерности в рамках IRT теории, с применением метода главных компонент на стандартизированных остатках и конфирматорного факторного анализа (КФА). В рамках КФА показатели RMSEA<0,05 и CFI>0,95 свидетельствуют об отличном соответствии модели данным, а показатели RMSEA<0,08 и CFI>0,90 — об удовлетворительном соответствии [9].

Психометрические свойства вопросов оценивались в рамках IRT. Использовалась Rating ScaleModel (RSM) — модель, относящаяся к группе моделей Раша, разработанная специально для оценки заданий, измеренных с помощью шкалы Ликерта [12]. Для оценки характеристик заданий использовались показатели их согласия с моделью — MNSQ (mean square statistics): данный показатель должен находиться в интервале значений от 0,7 до 1,3.

Надежность измерялась с помощью классического коэффициента Альфа Кронбаха.

Для проведения анализа использовалось программа SPSS версии 22.0 (для ЭФА), Mplus 6 (для проведения КФА) и Winsteps (для проведения IRT анализа).

Проверка конструктной валидности

В первую очередь была проведена проверка данных на пригодность для факторизации. Результаты представлены в табл. 1.

Показатель КМО должен стремиться к 1, значимость критерия Бартлетта должна быть менее 0,05. Из таблицы мы видим, что для всех трех шкал данные пригодны для проведения факторного анализа.

Достижение цели

По результатам факторизации ответов на вопросы по шкале «Достижение цели» выделено 2 фактора. В табл. 2 представлены факторные нагрузки для обоих выделенных факторов.

Из результатов факторного анализа видно, что один вопрос не вписывается в заложенную однофакторную модель для данной шкалы. Это обратный вопрос (стоит отметить, что предварительно все вопросы были перекодированы так, что с увеличением собственного значения категории ответа, увеличивается значение признака). Возможно, учащимся слишком трудно признаться в том, что у них что-то не получается, поэтому этот вопрос оказался не работающим.

IRT-анализ также показал, что у данного вопроса наихудшие характеристики согласия с моделью (табл. 3). В таблице представлены параметры согласия заданий с моделью — от наихудшего к наилучшему.

Таблица 1

Мера КМО и критерий Бартлетта для шкал блока «Социально-эмоциональные навыки»

Таблица 2

Распределение факторных нагрузок, с учетом вращения: шкала «Достижение цели»

Все задания, кроме утверждения 5 (выделены цветом) показали удовлетворительное согласие с моделью. Также корреляция данного пункта с общим баллом по шкале — наименьшая, а трудность задания говорит о том, что респондентам было тяжелее всего согласиться с этим пунктом. Нами было принято решение удалить пятый вопрос из анализа.

После этого был проведен повторный анализ размерности в рамках IRT-теории и КФА. Собственные значения всех контрастов варьируются от 1 до 1,4 (все значения меньше 2), что говорит о том, что шкала одно­мерна. Кроме того, процент необъясненной дисперсии равномерно распределен между всеми контрастами, что также свидетельствует об одномерности шкалы. Процент объясненной дисперсии составил 33,8%.

Результаты КФА также показали приемлемый уровень соответствия модели данным (табл. 4).

Таким образом, мы можем сделать вывод, что получившаяся шкала (после удаления обратного вопроса) одномерна, а ее содержание соответствует измеряемому конструкту.

Работа с другими

Перейдем ко второй шкале, измеряющий навык, — «Работа с другими». Факторная структура по результатам эксплораторного анализа представлена в табл. 5.

Как и в случае с навыком «Достижение цели» обратные вопросы выделяются в отдельный фактор, несмотря на перекодировку. К ним также попадает утверждение «разговорчивый», вероятно, как довольно трудное или не совсем понятное для ребенка. В табл. 6 представлены характеристики согласия заданий с моделью в рамках IRT.

Таблица 3
Психометрические показатели шкалы «Достижение цели»

Таблица 4

Результаты КФА (статистики согласия данных с моделью и диапазон нагрузок) для шкалы «Достижение цели»

Таблица 5
Распределение факторных нагрузок, с учетом вращения: шкала «Работа с другими»

Задание 11 (выделено цветом) обладает неудовлетворительными статистиками согласия, корреляция с общим баллом по шкале наименьшая и трудность наивысшая. Исходя из данных результатов, нами было принято решение удалить это задание. После чего был проведен повторный анализ размерности в рамках IRT-теории. Собственные значения всех контрастов варьируются от 1 до 1,5 (все значения меньше 2), что свидетельствует о том, что шкала одномерна. Кроме того, процент необъясненной дисперсии равномерно распределен между всеми контрастами, что так же свидетельствует об одномерности шкалы. Процент объясненной дисперсии составил 32%.

Результаты КФА также показали хороший уровень соответствия модели данным (табл. 7).

Таким образом, мы можем сделать вывод, что получившаяся шкала (после удаления обратного вопроса) одномерна.

Управление эмоциями

Следующий навык — Управление эмоциями. Результаты факторного анализа представлены в табл. 8.

Из результатов видно, что для этой шкалы обратный вопрос не вносит вклад ни в один из факторов.

В табл. 9 представлены характеристики согласия заданий с моделью.

Вопрос 20 (выделен цветом) также демонстрирует плохое согласие с моделью. Корреляция пункта со шкалой очень низкая, при этом это наиболее трудное задание из всего опросника. Было принято решение исключить это задание. После его исключения был проведен повторный ана из в рамках современной теории тестирования.

Собственные значения всех контрастов варьируются от 1 до 1,6 (все значения меньше 2), что свидетельствует о том, что шкала одномерна. Кроме того, процент необъясненной дисперсии равномерно распределен между всеми контрастами, что также свидетельствует об одномерности шкалы. Процент объясненной дисперсии составил 33,5%.

Результаты КФА также показали приемлемый уровень соответствия модели данным (табл. 10).

Таким образом, шкала «Управление эмоциями» также может считаться одномерной.

Таблица 6

Психометрические показатели шкалы «Работа с другими»

Таблица 7

Результаты КФА (статистики согласия данных с моделью и диапазон нагрузок) для шкалы «Работа с другими»

Таблица 8

Распределение факторных нагрузок, с учетом вращения: шкала «Управление эмоциями»

Проверка надежности

Далее мы проверили надежность—согласованность шкал после удаления неработающих вопросов. В табл. 11 приведены значения Альфа Кронбаха для каждой из получившихся шкал.

Уровень надежности, демонстрируемый шкалами оценки социально-эмоциональных навыков, является приемлемым для психологических опросников, однако шкала «Управление эмоциями» находится на нижней границе диапазона допустимых значений Альфа Кронбаха.

Проверка критериальной валидности

Для проверки критериальной валидности мы провели отдельное исследование на другой выборке учащихся третьих классов. Критериальная валидность показывает связь результатов оценки социально-эмоциональных навыков с внешним критерием, релевантность которого обосновывается данными предыдущих исследований.

В нашем случае таким критерием выступили результаты тестирования по чтению и математике в рамках независимого мониторинга iPIPS+ [1]. Основной аргумент тех ученых и практиков, которые призывают обращать внимание на развитие социально-эмоциональных навыков в школе — это их связь с широким спектром образовательных достижений [12]. Также существуют сильные теоретические основания для построения гипотез о характере связей оценки социально-эмоциональных навыков, с одной стороны, и результатов когнитивных тестов — с другой [8]. Так, Поропат [16] в метаанализе показал, что в начальной школе учебные достижения значимо коррелируют со всеми пятью базовыми чертами личности: Доброжелательностью (р=0,30), Сознательностью (р=0,28), Эмоциональной стабильностью (р=0,20), Экстраверсией (р=0,18), Открытостью опыту (р=0,24). Этот результат указывает на особенную значимость личностной диспозиции ребенка для его успешного обучения в начальной школе.

Поскольку в структуре измеряемых нами навыков присутствуют все пять основных личностных черт, мы также будем ожидать значимых связей всех измеряемых шкал с результатами когнитивных тестов. С другой стороны, величина связи должна быть умеренной, потому что мы измеряем разные по своей природе конструкты.

Методика

Оценка уровня когнитивного развития учащихся проводилась с помощью инструмента iPIPS+. Он был разработан российскими специалистами в сфере педагогики, психологии, лингвистики и психометрики и состоит из четырех частей: «Словарный запас», «Языковая грамотность», «Смысловое чтение» и «Математическая грамотность» [1]. В анализе мы использовали обобщенные результаты по математике и чтению, представленные в 100-бальной шкале со средним 50 и стандартным отклонением 15. Результаты оценки социально-эмоциональных навыков приведены в стенах.

Таблица 9

Психометрические показатели шкалы «Управление эмоциями»

Таблица 10

Результаты КФА (статистики согласия данных с моделью и диапазон нагрузок) для шкалы «Управление эмоциями»

Таблица 11
Надежность—согласованность шкал оценки социально-эмоциональных навыков

Выборка

В исследовании приняли участие 1318 учеников третьих классов московских школ, из которых 648 (50%) мальчиков и 649 (49%) девочек[1]. Средний возраст учащихся — 9 лет (самым младшим ученикам — 8 лет, старшим — 11лет).

Результаты

Результаты корреляционного анализа когнитивных и некогнитивных навыков учащихся третьих классов представлены в табл. 12.

Почти все измеряемые показатели имеют значимые прямые связи друг с другом, за исключением результатов по чтению и шкалы «Управление эмоциями». С другой стороны, значения коэффициентов корреляции невелики, что позволяет делать вывод о различной природе измеряемых конструктов.

Обсуждение результатов

В своей работе мы апробировали и валидизировали инструмент мониторинговой оценки социально-эмоциональных навыков в начальной школе. Его теоретическая рамка строится на модели личностных черт «Большая пятерка», однако сфокусирована, прежде всего, на тех особенностях, которые могут быть сформированы в рамках начальной школы. В модель включены три навыка: Достижение целей, Работа с другими и Управление эмоциями.

В целом, инструмент продемонстрировал хорошие измерительные свойства. Полученные показатели надежности являются приемлемыми для психологических опросников. Пункты, показавшие в ходе анализа наихудшие характеристики, были удалены из опросника, что позволило повысить его качество. Все исключенные из анализа вопросы либо являются обратными, либо достаточно сложно сформулированы, что, безусловно, сказывается на том, как учащиеся их понимают. Большинство самоотчетных методик рассчитаны на применение, начиная с подросткового возраста, когда навык рефлексии уже сформирован в такой степени, чтобы соотносить то или иное утверждение с представлением о себе. Зная, что нам предстоит работать с целевой аудиторией более младшего возраста, мы изначально разрабатывали как можно более простые формулировки. Апробация показала, что максимальная ясность и лаконичность утверждений являются важными требованиями к опросникам, рассчитанным на младший школьный возраст. Также, по-видимому, третий класс — это нижняя граница сферы применения нашего инструмента; для более младших детей более целесообразно использовать оценки учителей.

Из всех шкал наихудшие показатели продемонстрировала шкала «Управление эмоциями» — наименьший уровень связи как с результатами по чтению, так и по математике, а также наименьший уровень надежности. Для усовершенствования инструмента нам придется ее изменить. Возможно, полученный результат связан с тем, что из всех трех шкал работа с собственными эмоциями наименее привычна для детей младшего школьного возраста. Взрослые — учителя и родители — заинтересованы прежде всего на том, чтобы ребенок хорошо учился («Достижение целей») и хорошо себя вел со взрослыми и другими детьми («Работа с другими»), а эмоциональная сторона развития часто остается за пределами их внимания. Вполне вероятно также, что дети не так уж часто рефлексируют свои переживания, и поэтому их ответы на вопросы этой шкалы демонстрируют меньший уровень согласованности, чем в двух других. В связи с этим следующим шагом может быть проведение качественного исследования, направленного на выявление представлений об управлении эмоциями учащимися начальной школы.

В целом, разработанный инструмент отвечает тем требованиям, которые выдвигаются для мониторинго­вых исследований: заполнение опросника занимало у учащихся не более 15 минут, он достаточно экономичен для администрирования (а при переводе его в электронный вид затраты на проведение и обработку результатов еще снизятся), психометрические характеристики позволяют говорить о качестве опросника. По результатам исследования, учителя каждого класса получили обратную связь, где в обобщенном виде даются результаты учащихся, указывается, на что в целом стоит обратить внимание при работе с классом, и даются рекомендации и упражнения для развития социально-эмоциональных навыков. Поскольку опрашиваются все ученики класса, возможно предоставлять и индивидуальную обратную связь по каждому ученику, однако из этических соображений (невозможно проконтролировать, как учитель будет использовать эту информацию), мы решили остановиться на групповом формате.

Таблица 12

Корреляция когнитивных и некогнитивных навыков

Финансирование

В данной научной работе использованы результаты проекта «Прогнозирование успешности обучения детей в системе начального образования», выполненного в рамках гранта РНФ «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами» № 16-18-10401.