Валидизация опросника поведенческих характеристик младших школьников

Синдром дефицита внимания с гиперактивностью обычно диагностируется у детей и подростков, но может проявляться и у взрослых. Он характеризуется нарушением внимания, гиперактивным и импульсивным поведением, проявляющимися по отдельности или одновременно.

Метаанализ 175 исследований, касающихся наличия нарушений по типу СДВГ у детей до 18 лет по всему миру, показал, что в среднем у 7% детей диагностируется данное нарушение [Prevalence of Attention-Deficit/Hyperactivity, 2015].

В России статистика СДВГ фрагментарна и получена преимущественно на маленьких выборках. Разброс показателей диагностированного нарушения — от 15% детей в Москве и Московской области [Кучма, 1996] до 35% среди подростков европейского Севера России [ADHD symptoms and, 2008].

Во многих странах мира идет дискуссия о возможных путях медицинской и психолого-педагогической помощи детям с СДВГ, поскольку именно среди них наблюдается высокая доля учащихся, имеющих трудности с адаптацией к школе и успеваемостью. Другой темой этой дискуссии стала возможность ранней диагностики проблемы.

В настоящей работе мы рассматриваем опросник ликертовского типа для учителя, который нацелен на оценку поведения ребенка в условиях школы и фиксацию потенциально возможных поведенческих проблем, но не подразумевает постановку диагноза.

Инструмент представляет собой адаптированный (с английского языка на русский) поведенческий опросник, созданный на базе критериев DSM-IV (Diagnostic and Statistical Manual of mental disorders) [Diagnostic and statistical, 2000]. В статье подробно описан процесс комплексного исследования по валидизации опросника поведенческих характеристик и представлены доказательства его валидности и надежности.

СДВГ и трудности обучения в школе

Согласно диагностическим критериям Американской психиатрической ассоциации, СДВГ характеризуется двумя основными размерностями — невнимательностью и гиперактивностью с импульсивностью [Diagnostic and statistical, 2000]. Диагностируется три типа СДВГ: преобладающее нарушение внимания, преобладание гиперактивности с импульсивностью и комбинированный тип.

Школьные психологи отмечают, что проблемы внимания, импульсивности, чрезмерной активности детей являются ключевыми характеристиками поведения детей в школе, негативно влияющими на их обучение [Заваденко, 2014; The association of, 2016].

Американский психолог Баркли предложил теоретическую модель, которая рассматривает СДВГ как нарушение процессов торможения, связанное с нарушениями нескольких ключевых управляющих функций: рабочей памяти, саморегуляции, интернализации речи, анализа поведения и синтеза [Barkley, 1997].

Эти нарушения приводят к трудностям с двигательным контролем, нерелевантным реакциям, затруднениям в том, чтобы целенаправленно регулировать свое поведение, невозможности вернуться к выполнению задачи, если ребенок отвлекся.

Негативные эффекты СДВГ на успешность детей в школе подтверждаются эмпирическими исследованиями во многих странах мира [Barkley, 2016; Bener, 2006; The association of, 2016]. Дети с СДВГ оказываются в группе риска низких академических достижений, они значительно чаще остаются на второй год и чаще оказываются среди нуждающихся в специальных дополнительных занятиях [Currie, 2006; Pham, 2016]. Дети с недиа- гностированным СДВГ оказываются в зоне риска, если педагог и родители игнорируют проблему [Increasing awareness and, 2006].

Исследования также показывают, что помимо общих академических трудностей учащимся с проявлениями СДВГ сложнее распознавать эмоции людей [Emotion understanding in, 2009], они испытывают трудности в общении с другими детьми и с учителями [Martin, 2017].

Чтобы адекватно отвечать нуждам детей с различными проявлениями СДВГ, педагогам и школьным психологам нужны надежные и валидные инструменты оценивания.

Сегодня диагностика СДВГ проводится с помощью различных методик, таких как: наблюдение, диагностическое интервью, нейропсихологические тесты, а также поведенческие опросники. Последние являются удобным инструментом для обнаружения возможных симптомов СДВГ, широко применяемым не только профессиональными психологами, но и родителями, и учителями. Распространенность поведенческих опросников, доверие, которое к ним испытывают пользователи, подчеркивают важность исследований их качества.

Методология

Описание инструмента

Опросник поведенческих характеристик состоит из 21 утверждения и входит в комплексную процедуру оценки исследования iPIPS: стартовой диагностики и оценки прогресса ребенка за первый год обучения в школе [Orel, 2016]. Пункты опросника на русском языке являются адаптацией опросника поведения iPIPS, который, в свою очередь, создавался на основе критериев DSM-IV [Diagnostic and statistical, 2000]. Из 21 пункта опросника поведения iPIPS 18 пунктов были прямой незначительной адаптацией критериев DSM-IV для применения в Великобритании специально для выборки младших школьников, а три были добавлены экспертами [Tymms, 2011]. Перевод опросника поведения iPIPS с английского языка на русский осуществлялся двумя независимыми переводчиками, после чего оба варианта перевода были оценены и объединены независимым редактором. Затем был сделан обратный перевод на английский язык переводчиком, не знакомым с оригинальной версией опросника. Обратный перевод был отправлен на экспертизу разработчикам оригинального инструмента iPIPS из Университета Дарема (Великобритания).

Каждый пункт опросника кратко описывает некоторые аспекты поведения ребенка в школе, например: «Кажется, что когда к ребенку обращаются напрямую, он не слушает» — для субшкалы невнимательности; или «Вскакивает со стула во время занятий или в других ситуациях, когда положено сидеть на месте» — для субшкалы гиперактивности с импульсивностью.

Опросник для каждого ученика заполнялся учителем (в электронной форме, по индивидуальной ссылке) в конце первого класса. Учитель оценивал поведение ученика по пятибалльной шкале, где 1 — это «никогда», а 5 — «всегда». В инструкции к опроснику указывалось, что при оценке нужно опираться только на то поведение, которое учитель наблюдает лично во время нахождения ребенка в школе.

Дизайн сбора свидетельств валидности

План валидизационного исследования включал в себя сбор доказательств конструктной, конвергентной, критериальной и содержательной валидности.

Для сбора свидетельств конструктной валидности был проведен анализ размерности, а также анализ качества опросника на базе подхода современной теории тестирования (IRT).

Для оценки конвергентной валидности проведено сопоставительное исследование связи результатов оце­нивания, полученных опросником поведенческих характеристик, и результатов, полученных на той же выборке детей (и оцененных теми же учителями) с помощью опросника, исследующего схожий кон­структ. Критериальная составляющая исследования валидности включала в себя анализ связи результатов оценивания детей с помощью опросника поведенческих характеристик и результатов оценивания детей по чтению и математике. Наконец, содержательная валидность опросника была оценена экспертами-психологами.

Результаты

Свидетельства конструктной валидности

Для проведения оценки психометрического качества опросника поведенческих характеристик, а также для анализа размерности мы опирались на подход Раш-измерений (Rasch measurement).

Анализ опросника был проведен в рамках модели, которая часто используется при работе с психологическими опросниками на базе шкал ликертовского типа — Rating Scale Model (RSM) [Wright, 1982].

Выборка для данной части исследования представлена первоклассниками г.Красноярска и г.Казани, участвовавшими в исследовании iPIPS в 2014—2015 гг.

Выборка в каждом городе составлялась как репрезентативная, стратифицированная по району города и типу школы. В оценивании принимали участие случайным образом отобранные первые классы школ и все дети, получившие согласие родителей на участие в исследовании. Итоговое число участников составило 2569 детей, 49% из них — девочки. Средний возраст детей на момент окончания первого класса составлял около 7,8 лет.

Структура опросника изучалась с точки зрения анализа ее размерности с помощью метода главных компонент, в пакете Winsteps [Linacre, 2017].

Первичный анализ остатков результатов опроса по всем пунктам опросника выявил наличие, по крайней мере, двух размерностей. Доля дисперсии, приходящейся на все задания опросника, составила 20%, при этом доля дисперсии, приходящейся на первый контраст (размерность в остатках после извлечения первого фактора), составила около 10%, а собственное значение (eigenvalue) первого контраста — 4,4, что значительно выше рекомендуемого показателя 2 [Smith, 2002]. Собственные значения второго и последующих трех контрастов распределились от 1,1 до 1,6. Эти результаты свидетельствуют о неодномерности данных.

Анализ субшкалы, содержащей пункты, характеризующие проявления невнимательности, выявил ее преимущественно одномерную природу. Анализ второй предполагаемой размерности показал, что субшка­ла с пунктами, характеризующими гиперактивность и импульсивность, также может содержать более одной размерности. Однако проведение анализа на симулированных данных (всего было сделано 10 симуляций), имеющих те же параметры и характеристики, что и реальные данные, но находящихся в идеальном согласии с моделью, показало, что во всех 10 симуляциях собственное значение первого контраста в данных не превышало 1,5. Эти значения отличаются от реальных, но не значительно.

Дополнительно мы провели корреляционный анализ оценок испытуемых, полученных при рассмотрении субшкал гиперактивности и импульсивности по отдельности. Коэффициент корреляции Пирсона превысил значение 0,9.

В совокупности эти факты свидетельствуют о том, что наша шкала гиперактивности с импульсивностью может рассматриваться как одномерная. Таким образом, в нашем инструменте имеется две субшкалы — невнимательности и гиперактивности с импульсивностью.

Исследование психометрического качества субшкал

В табл. 1 представлены результаты психометрического анализа субшкал. Классическая надежность (альфа Кронбаха) каждой из субшкал оказалась очень высокой — 0,94, а надежность, оцененная в рамках современной теории тестирования, — около 0,9. Показатель разделения групп (separation index) около 3 соответствует наличию, по крайней мере, четырех статистически различающихся групп испытуемых. Средняя ошибка измерения по каждой из субшкал относительно небольшая. Протяженность оценок испытуемых по шкалам составляет порядка 10 логитов, показывая очень большую дисперсию индивидуальных оценок.

Таблица 1

Общие характеристики субшкал

В табл. 2 показаны психометрические характеристики по каждому пункту шкалы. Ошибка измерения по пунктам обеих субшкал очень мала. Статистики согласия практически всех пунктов соответствуют рекомендуемому для ликертовских шкал уровню (0,7;1,3) [Wright, 1982]. Исключение составляют пункты 19 и 21 («витает в облаках» и «мыслит вслух», они же — из самых «трудных» для выбора учителем). Однако корреляции этих пунктов опросника с общим баллом в обеих субшкалах довольно высокие, а превышение статистик согласия незначительное.

Таблица 2

Психометрические характеристики субшкал невнимательности и гиперактивности с импульсивностью

Анализ различного функционирования пунктов опросника (Differential item functioning) позволяет проверить осмысленность генерализации оценок испытуемых и заданий для различных групп внутри выборки.

Различное функционирование в случае анализа опросников на базе шкал Ликерта демонстрируют те пункты, которые имеют различную вероятность их выбора (по трудности) для испытуемых из разных групп, но с одинаковым уровнем оцениваемого поведения.

Пункты обеих субшкал были проверены на предмет различного функционирования по двум группам — пол и город. Главным образом мы обращали внимание на размер DIF — абсолютную разницу в трудности выбора пунктов для разных подгрупп (DIF contrast). Размер DIF ни по одному пункту не превышал 0,5 логи­та, т. е. проверка не обнаружила значимо различного функционирования пунктов данного опросника по выбранным подгруппам [Linacre, 2017].

Таким образом, проведенный анализ показал, что отдельные пункты, выделенные субшкалы и опросник в целом имеют адекватные психометрические характеристики. Опросник можно признать качественным и надежным инструментом оценивания.

Свидетельства конвергентной валидности

Для подтверждения конвергентной валидности необходимо подобрать методики, измеряющие схожие конструкты и уже имеющие доказанную надежность и валидность, и установить их значимую положительную связь с результатами по валидизируемому инструменту. Мы использовали инструмент Н.К. Сухотиной и Т.И. Егоровой «Оценочные шкалы синдрома дефицита внимания с гиперактивностью» для детей 6—13 лет [Сухотина, 2008], основанные на критериях диагностики гиперкинети­ческих расстройств Международной классификации болезней 10-го пересмотра [Международная классификация болезней, 1994]. Опросник для учителей и воспитателей содержит 18 утверждений, представляющих 3 субшкалы: «Невнимательность», «Гиперактивность», «Импульсивность». Каждое утверждение оценивается по четырехбальной шкале от «никогда» до «очень часто».

Выборка для данной части исследования составила 722 учащихся первых классов двух московских школ, участвовавших в исследовании iPIPS в 2015—2016 г. В оценивании принимали участие все первые классы данных школ и все дети, получившие согласие родителей на участие в исследовании (более 90% совокупности), из них 46% — девочки. Средний возраст детей на момент тестирования (конец первого класса) составлял 7,9 лет.

Учителям было предложено заполнить два опросника в одной электронной форме: опросник поведенческих характеристик ребенка iPIPS и опросник «Оценочные шкалы». Учителя могли заполнять опросники в несколько этапов, возвращаясь к заполнению в удобное им время. В инструкции мы просили учителя оценивать только то поведение, которое он наблюдает лично.

В соответствии с формированием субшкал, указанных в инструкции к «Оценочным шкалам», мы рассчитали сумму первичных баллов учащихся, полученных в ходе анкетирования по каждой субшкале. В соответствии с результатами анализа субшкал опросника поведенческих характеристик iPIPS мы также рассчитали сумму первичных баллов учащихся. Корреляционный анализ показателей субшкал обоих опросников проводился c помощью пакета SPSS. Результаты анализа приведены в табл. 3.

Таблица 3

Корреляционный анализ результатов сравнения методик

Примечание: «**» — p<0,01.

Корреляции соответствующих субшкал (невнимательности в исследуемом опроснике и невнимательности в опроснике Сухотиной—Егоровой, аналогично для гиперактивности с импульсивностью) статистически значимые, высокие (выше 0,8) и положительно направленные, что является свидетельством конвергентной валидности.

Свидетельства критериальной валидности

В качестве критерия для доказательства критериаль­ной валидности использовались данные об уровне когнитивного развития детей, полученные в ходе исследования iPIPS 2014—2015 г. на выборке детей г. Красноярска и г. Казани, описанной в пункте, посвященном кон- структной валидности. Согласно исследованиям, дети с СДВГ испытывают трудности с обучением [Currie, 2006; Predictors of and, 2015; The association of, 2016].

Можно предположить, что результаты детей по опроснику поведенческих характеристик будут отрицательно связаны с баллами этих детей по чтению и математике. Чтобы проверить это предположение, мы оценили связь результатов детей по каждой из субшкал с показателями этих детей по чтению и математике iPIPS на конец первого года обучения в школе, а также с показателями этих же детей по чтению на момент их обучения в третьем классе начальной школы.

Инструмент iPIPS в данной части исследования представлен шкалами чтения и математики. Более подробно инструмент описан в работе Кардановой и коллег [Обобщенные типы развития, 2018]; классическая надежность обеих шкал выше 0,9. В третьем классе оценка чтения детей данной выборки проводилась с помощью инструмента, созданного Институтом психологии и педагогики развития (Красноярск, Россия) и ПИ РАО (Москва, Россия). Надежность данного инструмента также достаточно высока — на уровне 0,8 (Альфа Кронбаха). В табл. 4 приведены результаты корреляционного анализа.

Таблица 4

Корреляционный анализ результатов опросника и учебных достижений детей

Примечание: «**» — p<0,01; «*» — p<0,05.

 Как можно увидеть, все значения коэффициентов корреляции статистически значимы и отрицательны, что является свидетельством критериальной валидности.

Свидетельства содержательной валидности

Для оценки содержательной валидности мы попросили заключение трех экспертов.

Первый эксперт — нейропсихолог, работающий с детьми младшего школьного возраста, второй — клинической психолог, специализирующийся на СДВГ, и третий — школьный психолог, работающий в начальной школе.

Экспертам была предоставлена полная информация об исследовании iPIPS (описание исследования, обратная связь с учителями) и заданы четыре вопроса.

1.    Основываясь на информации об исследовании iPIPS, оцените, пожалуйста, содержательную и очевидную валидность поведенческой шкалы.

2.    Насколько релевантна поведенческая шкала системе МКБ-10, используемой в России?

3.    Может ли поведенческая шкала и обратная связь по ней использоваться учителем, при том, что он или она могут не иметь достаточного психологического образования для интерпретации полученных результатов?

4.    Каким образом лучше всего предоставлять учителю обратную связь по результатам этой шкалы?

Эксперты работали независимо друг от друга и предоставили письменные заключения, содержащие ответы на поставленные вопросы.

Все они высоко оценили содержательную и очевидную валидность опросника и подтвердили возможность его использования в российской школе.

Эксперты отметили, что различия критериев DSM- IV и МКБ-10 касаются только постановки диагноза, а поскольку опросник поведенческих характеристик iPIPS не преследует цели постановки диагноза, эти различия не могут оказать влияния на результат применения опросника.

Также все эксперты подтвердили, что опросник и обратная связь к нему могут использоваться педагогами без специального психологического образования.

Выводы

В ходе комплексного валидизационного исследования русскоязычной версии опросника поведенческих характеристик iPIPS было показано, что опросник обладает хорошими психометрическими характеристиками, высокой надежностью. Результаты опросника согласуются с результатами схожего по сфере применения инструмента. Подтверждая результаты ряда эмпирических исследований [Pham, 2016; The association of, 2016], опросник поведенческих характеристик демонстрирует, что проявления СДВГ отрицательно связаны с учебными достижениями детей в текущий момент и в перспективе. Наконец, оценка содержания опросника экспертами- психологами характеризует данный опросник как валидный, качественный и полезный в школьной практике инструмент.

Обсуждение результатов

Данная статья является одним из первых комплексных валидизационных исследований опросника поведенческих характеристик на базе DSM-IV на русском языке, проведенных на широкомасштабной выборке в нескольких регионах России. Проведенная работа демонстрирует возможности современной теории тестирования для сбора свидетельств валидности инструментов оценки, а также дополняет имеющиеся российские исследования об оценивании проявлений СДВГ.

Необходимо отметить, что хотя рассмотренный нами опросник является адаптацией инструмента, основанного на критериях DSM [Diagnostic and statistical, 2000], он не противоречит российской системе диагностики СДВГ в рамках Международной классификации болезней 10-го пересмотра [Международная классификация болезней, 1994]. Поскольку целью использования данного опросника не является вывод о наличии медицинского диагноза у ребенка, представляется маловероятным, что различия в диагностических системах, касающиеся количества симптомов и их выраженности, существенно повлияют на корректность и результативность применения методики.

Важно учитывать, что в данной статье рассматривается только опросник поведенческих характеристик, ориентированный на мнение конкретного учителя, оценивающего поведение ребенка в школе — структурированной системе, в отличие от, например, внешкольной деятельности ребенка, свидетелем которой может быть родитель. Однако исследования демонстрируют низкий уровень согласованности результатов родительских и учительских опросников [Assessing the impact, 2004], и некоторые авторы рекомендуют подходить к выбору опросника и субъекта заполнения в зависимости от конкретной ситуации и целей оценки [Collett, 2003].

К числу ограничений проведенного исследования можно также отнести то, что наши выборки состоят из городских учеников. Мы не можем с уверенностью утверждать что результаты, полученные на выборках учеников из сельских районов, были бы такими же.

Тем не менее, проведенный в настоящей работе многоэтапный сбор свидетельств валидности опросника поведенческих характеристик iPIPS показал, что опросник может служить педагогу начальной школы адекватной методикой для фиксации в младшем школьном возрасте возможных проблем в поведении, связанных с СДВГ.

Применение рассмотренного поведенческого опросника на начальных этапах школьного обучения может стать хорошим скрининговым методом для выявления детей, относящихся к группе риска и требующих более детальной дальнейшей диагностики и психолого-педагогической работы [Predictors of and, 2015]. Как отмечают последние исследования в этой сфере, СДВГ не является непреодолимым препятствием успешного академического (и не только) развития абсолютно всех детей — возможны вполне позитивные траектории для некоторых детей с СДВГ [Sasser, 2016]. Например, в США за последние два десятилетия снизилась доля детей с проявлениями синдрома, которые не заканчивают обучение в школе [Predictors of adolescent, 2016]. Авторы исследования объясняют этот факт следствием продуманной образовательной политикой, повышающей доступность специальных образовательных сервисов и служб.

Можно предположить, что общее повышение информированности учителей и родителей о проявлениях СДВГ может стать решающим фактором, способствующим успешности адаптации ребенка с поведенческими проблемами к школьному обучению.

Финансирование

В данной научной работе использованы результаты проекта «Прогнозирование успешности обучения детей в системе начального образования», выполненного в рамках гранта РНФ «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами» № 16-18-10401.