Адаптация и валидизация шкал удовлетворенности школой и друзьями Многокомпонентного опросника удовлетворенности жизнью для школьников

Субъективное благополучие уже более 40 лет остается в фокусе интересов исследователей из разных научных областей.

Наибольшее распространение получила трехкомпонентная модель субъективного благополучия, которая предполагает выделение позитивного и негативного аффекта, и удовлетворенности жизнью [Andrews, 1976; Bradburn, 1969; Diener, 1984]. Развитию этой модели, в том числе, способствовало и появление измерительных инструментов, таких как Шкала удовлетворенности жизнью Диннера (Life Satisfaction Scale [Further validation of, 1991; The Satisfaction with, 1985]) и Шкала позитивного аффекта и негативного аффекта (PANAS [Watson, 1988]).

Важной вехой в истории исследований субъективного благополучия у детей и подростков стало появление в 1994 г. Многокомпонентного опросника удовлетворенности жизнью для школьников (Мultidimensional Students’ Life Satisfaction Scale [Huebner, 1994; Further Validation of, 1998]). Автор опросника Хюбнер предложил операцио- нализировать удовлетворенность жизнью у детей через удовлетворенность разными областями: семьей, друзьями, школой, условиями проживания и самим собой. Оценка удовлетворенности разными областями позволяет получить дифференцированную оценку, а значит, более детально охарактеризовать удовлетворенность жизнью.

Многокомпонентный опросник удовлетворенности жизнью для школьников содержит 40 утверждений, которые формируют пять шкал по разным областям. Оригинал опросника разрабатывался для предъявления детям с восьми лет, поэтому особенное внимание уделялось ясности и простоте утверждений.

В своих исследованиях Хюбнер показал валидность и надежность инструмента, в том числе подтвердив теоретически предполагаемую пятифактор­ную структуру с выделением общего фактора удовлетворенности жизнью [Further Validation of, 1998; Huebner, 1999; Huebner, 2012]. Валидность и надежность инструмента была показана и в исследованиях других авторов [Bradley, 2014; Sample heterogeneity and, 2009].

Многокомпонентный опросник удовлетворенности жизнью для школьников был неоднократно адаптирован и валидизирован в разных странах и на разных языках [Cross-national adolescent multidimensional, 2008; French validation of, 2015; Irmak, 2009; Jovanovic, 2013; Veronese, 2018]. Исследования показали, что инструмент аналогично работает в различных культурах, повторяя структуру оригинального инструмента и демонстрируя предсказуемые связи с другими психологическими характеристиками.

На российской выборке были адаптированы наиболее широко применяемые в мире инструменты измерения субъективного благополучия в парадигме двухкомпонентной модели — Шкала позитивного аффекта и негативного аффекта (PANAS [Осин, 2012; Watson, 1988]) и Шкала удовлетворенности жизнью Диннера (Life Satisfaction Scale [Осин, 2008; Diener, 1984]). Однако данные инструменты направлены на оценку общего аффекта и удовлетворенности жизнью в целом, без привязки к определенной области жизни. К тому же данные инструменты хотя и были адаптированы для применения на выборке детей, но все же изначально разрабатывались для использования на взрослой выборке.

По доступным нам данным, Многокомпонентный опросник удовлетворенности жизнью для школьников еще не был адаптирован и валидизирован в России. Адаптация и валидизация опросника на выборке российских детей важна для применения ее в исследованиях (в частности, для сравнения результатов, полученных на российской выборке и выборках других стран, для мониторинговых исследований) и практике.

Целью данного исследования выступает адаптация и валидизация двух шкал Многокомпонентного опросника удовлетворенности жизнью — шкал удовлетворенности школой и удовлетворенности друзьями. Выбор именно этих шкал был обусловлен интересом авторов к исследованию субъективного благополучия в контексте школы.

Адаптация инструмента предполагает целый ряд процедур, обосновывающих эквивалентность измеряемого конструкта в разных культурах [International Test Commission, 2018]. Согласно международным стандартам, процесс адаптации включает в себя два основных этапа — перевод инструмента и его последующую валидизацию.

Руководствуясь международными стандартами, оригинал опросника был переведен на русский язык параллельно двумя независимыми переводчиками. Затем параллельные версии перевода были сведены другим независимым экспертом. Далее был проведен обратный перевод с русского языка на английский для экспертного сравнения оригинальной и переводной версий.

Процедура валидизации психологических опросников может быть проведена согласно различным стандартам качества измерительных инструментов. В рамках данного исследования будет использован многолетний опыт Голландского комитета по тестированию (COTAN) [The Dutch review, 2010]. Согласно стандартам COTAN, различные психометрические характеристики теста рассматриваются как слагаемые общей — конструктной — валидности инструмента измерения. Подтверждение конструктной валидности опросника говорит о том, что опросник позволяет измерить именно заявленный конструкт — целевую психологическую черту или способность.

Таким образом, в данном исследовании задается следующий исследовательский вопрос: обладают ли шкалы удовлетворенностью школой и друзьями Многокомпонентного опросника удовлетворенности жизнью для школьников удовлетворительными психометрическими свойствами?

Для ответа на исследовательский вопрос был проведен анализ, направленный на установление психометрических свойств инструмента. Под анализом психометрических свойств понимается изучение следующих аспектов функционирования опросника: 1) подтверждение структуры предполагаемых шкал инструмента; 2) анализ согласия данных со статистической моделью для обеспечения достоверности модельных оценок; 3) анализ работы ответных категорий с целью подтверждения осмысленности ответной шкалы; 4) выявление утверждений, по-разному функционирующих для респондентов мужского и женского пола (Differential Item Functioning, DIF) для подтверждения правомерности сравнения групп; 5) анализ надежности шкал опросника.

Методология

Участники

Выборка состояла из 1729 учеников третьего класса общеобразовательных школ города Москвы. Доля девочек — 48,40%. Средний возраст по выборке составил 9 лет (SD = 0,4). Общее количество пропущенных ответов пренебрежимо мало (1,35%).

Инструментарий

В работе использовалась русскоязычная версия шкалы удовлетворенности школой и шкалы удовлетворенности друзьями Многокомпонентного опросника удовлетворенности жизнью для школьников (см. приложение 1) (Multidimensional Students’ Life Satisfaction Scale [Huebner, 1994]). Шкалы включают по 8 утверждений и направлены на измерение удовлетворенности ребенка школой и отношениями с друзьями соответственно.

Респондентам было предложено выразить свои оценки частотности ситуаций, описанных в утверждениях опросника, по четырехбалльной равноплечной шкале без нейтральной ответной категории («Никогда» — «Редко» — «Часто» — «Почти всегда»). Важно отметить, что оригинальный опросник имел шестибалльную шкалу. Сокращение числа категорий ответной шкалы на русском языке было обусловлено возрастом нашей целевой группы.

Мы предполагали, что ученикам начальной школы может быть когнитивно сложно различать психологический смысл соседних ответных категорий при их большом количестве [Linacre, 2002].

Процедура

Опрос проводился в рамках сбора контекстной информации для большего исследования «Прогнозирование успешности обучения детей в системе начального образования». Респонденты отвечали на вопросы в бумажном формате, фронтально в классе, в присутствии учителя и администратора исследования.

От родителей всех участников было получено информированное согласие на участие в исследовании.

Стратегия психометрического анализа

Анализ факторной структуры направлен на получение эмпирических доказательств теоретически ожидаемой структуры опросника. На этом этапе проверяется, действительно ли утверждения относятся к теоретически заложенным факторам, образуют ли утверждения содержательно интерпретируемые шкалы.

Для проверки факторной структуры опросника применялся конфирматорный факторный анализ (Confirmatory Factor Analysis, CFA). В выборе показателей качества модели и их критических значений мы ориентировались на прикладной опыт и методологические исследования [Brown, 2008]. В частности, удовлетворительной нами считалась модель, для которой корень среднеквадратической ошибки аппроксимации (RMSEA) принимает значение меньше или равное 0,06; сравнительный индекс соответствия Бентлера (CFI) и ненормированный индекс соответствия Такера—Льюиса (TLI) оказываются больше или равными 0,90. Порядковая природа данных (четырехбалльная шкала Ликерта) определила метод оценки параметров — метод взвешенных наименьших квадратов (WLSMV) [Rhemtulla, 2012].

Далее анализировалось согласие данных с моделью для шкал типа Ликерта (Rating Scale Model, RSM) из семейства моделей Раша (Rasch Models) современной теории тестирования (Item Response Theory, IRT). Эта модель изначально разрабатывалась для работы с психологическими опросниками [Andersen, 1997]. При использовании RSM-модели важным выступает допущение, которое касается функционирования ответных категорий. Модель RSM отдельно оценивает трудность согласиться с утверждением и относительную структуру ответных категорий, которая оценивается как одинаковая для всех утверждений опросника.

Поскольку опросник рассматривается как двухмерный, структура ответных категорий рассматривалась отдельно для каждой шкалы.

Для оценивания параметров модели использовался метод максимального маргинального правдоподобия (Marginal Maximum Likelihood; MML).

Шкала каждого фактора была центрирована на респондентах, т. е., значение 0 логитов по каждой шкале располагалось в среднем уровне черты респондентов.

Популярные в рамках моделей семейства Раша статистики согласия данных с моделью (Нестандартизированная невзвешенная статистика согласия (OUTFIT MNSQ) и Нестандартизированная информационно-взвешенная статистика согласия (INFIT MNSQ)) основаны на анализе уклонений наблюдаемых ответов респондентов от их математического ожидания, т. е., на модельных остатках. В нашей работе мы считали задание согласующимся с IRT- моделью, если значения обеих статистик согласия попадали в диапазон от 0,6 до 1,4 [Wright, 1994].

Анализ ответных категорий позволяет получить более детальное представление об особенностях функционирования опросника.

На этом этапе рассматриваются психометрические характеристики каждой отдельной категории и выясняется, оптимальна ли предложенная ответная шкала.

В случае, если ответная шкала работает неопти­мально, это ставит под угрозу валидность всего опросника.

Выявление дифференцированного функционирования заданий (здесь и далее использована международно признанная аббревиатура DIF — Differential Item Functioning) позволяет проанализировать сопоставимость полученных результатов среди респондентов из различных групп. DIF возникает, когда утверждение обладает различной трудностью согласия для респондентов из разных групп, но с одинаковым уровнем изучаемой черты. В случае если задание функционирует по-разному для разных групп респондентов, оно обладает различным психологическим смыслом и не может использоваться для сравнения уровня изучаемой характеристики между группами.

В данной работе проанализировано, одинаково ли функционируют утверждения опросника для мальчиков и девочек методом Многофасетного Раш- моделирования (Multi-Faceted Rasch Modeling) [Wolfe, 2008]. Этот метод анализирует, в какой степени принадлежность к определенной группе вкладывается в вероятность согласиться с утверждением. Если вклад принадлежности к группе существенный (больше 0,64 логита) [Wolfe, 2008], такое задание демонстрирует несправедливое функционирование — степень согласия с утверждением определяется не только выраженностью психологической характеристики, но и принадлежностью к той или иной группе.

Надежность опросника оценивалась как в рамках классической теории тестирования (КТТ), так и IRT. В рамках КТТ использовался один из самых популярных индексов — коэффициент а Кронбаха [Tavakol, 2011]. Дополнительно использовался коэффициент Greatest Lower Bound (GLB) [ten Berge, 1978]. Также использовался показатель надежности в рамках IRT (person reliability) [Wright, 1996].

Анализ проводился с применением программного обеспечения Mplus v. 7.13 (для CFA), ConQuest v. 2.0 (для IRT) и Rv. 3.5.1 (пакет psych v. 1.8.4 — для анализа надежности в рамках КТТ).

Результаты

Анализ факторной структуры

Некоторые утверждения в опроснике имели обратное направление. Перед началом анализа факторной структуры их кодировка была изменена на прямую для облегчения последующего анализа.

Сначала была построена первичная модель, отражающая теоретические представления о факторной структуре инструмента — двухфакторная модель, в которой факторы рассматривались как связанные между собой, а каждый фактор оценивался восемью утверждениями.

Согласно полученным результатам, модель демонстрирует приемлемые показатели соответствия по двум индексам (х2 (103) = 930,22; p = 0,00; CFI = 0,95; TLI = 0,94), но не по основному — RMSEA (RMSEA = 0,068). При анализе факторных нагрузок утверждений были выявлены три утверждения со сравнительно низкими факторными нагрузками («Бывает, что мне не нравится находиться в компании моих друзей»; «Я хотел бы себе других друзей»; «Мне не нравятся многие вещи, которые связаны со школой»). Такие утверждения добавляют мало информации при измерении конструкта. Удаление этих утверждений позволило улучшить согласие модели с данными (х2 (76) = 524,21; p = 0,00; CFI = 0,98; TLI = 0,97; RMSEA = 0,057). Таким образом, субшкала «Удовлетворенность школой» состоит из 7 утверждений; субшкала «Удовлетворенность друзьями» — из 6 утверждений. Факторная структура итоговой модели приведена на рис. 1 (приведены стандартизированные значения факторных нагрузок, все нагрузки статистически значимы, в скобках указаны стандартные ошибки модельных оценок). Корреляция между факторами составила 0,58.

Анализ функционирования утверждений

После этого мы проверили согласие данных с RSM- моделью на основе выделенной факторной структуры. Общие психометрические характеристики утверждений приведены в табл. 1. Все утверждения находятся в хорошем согласии с моделью. Из табл. 1 видно, что для опросника характерен низкий уровень трудности утверждений — со всеми утверждениями опросника испытуемым довольно легко согласиться.

Анализ функционирования ответных категорий

Анализ наполненности ответных категорий опросника показывает, что в целом все категории довольно часто выбираются испытуемыми, т. е. отсутствует «недоиспользование» категорий. Результаты этого анализа приведены в табл. 2.

Далее была проанализирована упорядоченность порогов ответной шкалы. Из табл. 2 видно, что категория «Часто» охватывает больший континуум способности по сравнению с категорией «Редко» в обеих шкалах. Трудность порогов и средний уровень выраженности конструкта у респондентов, выбравших каждую категорию, упорядочены монотонно, что говорит об оптимальном функционировании ответной шкалы.

Выявление утверждений, демонстрирующих несправедливое функционирование

Согласно результатам DIF анализа, разница между показателями трудностей утверждений для мальчиков и девочек варьируется от 0,01 до 0,22 логитов (со средней ошибкой в 0,04 логита). Разница в трудности ни в одном из утверждений не превышает критического значения, что означает отсутствие утверждений, функционирующих по-разному для мальчиков и девочек третьего класса.

Рис. 1. Факторная структура итоговой модели CFA

Таблица 1
Общие характеристики утверждений опросника в рамках IRT

Таблица 2
Функционирование ответных категорий шкал опросника

Таблица 3
Результаты анализа надежности шкал опросника

Анализ надежности

Анализ надежности выделенных шкал показал удовлетворительные результаты. Они приведены в табл. 3. Вне зависимости от природы использованного коэффициента, оценки надежности близки друг к другу. Это означает, что данные не обладают свойствами, способными внести существенное смещение в оценки надежности.

Обсуждение полученных результатов и заключение

Основная цель работы заключалась в адаптации и валидизации двух шкал Многокомпонентного опросника удовлетворенности жизнью для школьников — шкалы удовлетворенности школой и шкалы удовлетворенности друзьями, направленных на оценивание субъективного благополучия детей в школе. Опросник широко используется в мировой практике, адаптирован и валидизирован в разных культурах и впервые был адаптирован на русском языке. Результаты данного исследования позволяют заключить, что адаптированая версия двух шкал опросника валидна — теоретически ожидаемая факторная структура и надежность шкал опросника подтверждена на эмпирических данных; все утверждения и ответные категории адаптированной версии шкал обладают удовлетворительными психометрическими характеристиками и одинаково функционируют для мальчиков и девочек в третьем классе.

В ходе исследования было получено подтверждение оригинальной факторной структуры (двух шкал) на российской выборке учащихся третьего класса. Большая часть утверждений опросника входят в состав теоретически предполагаемых шкал, исключение составили три утверждения. Другие исследования также указывают на проблемы с этими же утверждениями [например: 12]. Данные утверждения были убраны из опросника, что улучшило его качество.

В рамках современной теории тестирования все утверждения опросника показали удовлетворительное согласие с двумерной RSM-моделью из семейства моделей Раша — утверждения хорошо функционируют на выборке испытуемых. Это выступает еще одним доказательством конструктой валидности опросника.

Дальнейшие исследования могут быть направлены на изучение конвергентной валидности опросника через анализ связи результатов опросника с другими релевантными психологическими конструктами.

Отметим, что все утверждения оказались довольно легкими для испытуемых, т. е. с утверждениями легко согласиться. Такой стиль ответов характерен для большинства опросников субъективного благополучия. Смещение в сторону большей выраженности благополучия наблюдается и в исследованиях, проведенных на взрослых выборках [Осин, 2008]. Исследователи объясняют такую тенденцию склонностью сообщать о благополучии и удовлетворенностью жизнью, нежели о неблагополучии и неудовлетворенностью [Осин, 2013].

Анализ функционирования ответных категорий показал, что ответная шкала функционирует оптимально. В дальнейших исследованиях возможно обратить внимание на то, какой смысл вкладывают учащиеся начальной школы в формулировки предложенных вариантов ответа.

Анализ DIF установил, что утверждения опросника одинаково функционируют для мальчиков и для девочек третьего класса. Следовательно, результаты, полученные при применении опросника, позволяют проводить сравнение удовлетворенности школой и друзьями между мальчиками и девочками без риска неверного вывода. Однако требуются дополнительные исследования, направленные на выявление других факторов, которые могут определять неодинаковое функционирование утверждений опросника, например, возраст, социально­экономический статус семьи ученика или статус школы. Дополнительных исследований требует также возможность сравнения данных на наличие неодинаково функционирующих утверждений в разных культурах для возможности проведения кросс-культурных сравнений.

Результаты анализа надежности как в классической, так и в современной теории тестирования показали хорошие результаты — шкалы опросника могут быть охарактеризованы как в высокой степени надежные.

Данное исследование было направлено на адаптацию и валидизацию только двух шкал Многокомпонентного опросника удовлетворенности жизнью для школьников. В следующих исследованиях возможна адаптация трех других шкал — удовлетворенности семьей, удовлетворенности условиями проживания и самим собой.

Шкалы удовлетворенности школой и друзьями Многокомпонентного опросника удовлетворенности жизнью для школьников по результатам адаптации на выборке третьеклассников показали себя валидными и надежными. Шкалы рекомендуются к использованию в исследовательских целях, в том числе и в мониторин­говых исследованиях. Возможность использования шкал для индивидуальной диагностики требует дополнительных исследований.

Финансирование

В данной научной работе использованы результаты проекта «Прогнозирование успешности обучения детей в системе начального образования», выполненного в рамках гранта РНФ «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами» № 16-18-10401.