Применение универсального дизайна оценивания для справедливого тестирования детей с нарушениями чтения

Проведение измерений в психологии, образовании и других социальных науках ставит своей целью объективно описать реальность. Однако существует ряд трудностей, снижающих точность измерения. В этой статье рассмотрена проблема оценивания детей и взрослых с нарушениями чтения, описаны способы повышения валидности измерений этой группы респондентов, а также предложены практические рекомендации для нивелирования нарушений чтения при прохождении тестов.

Нарушения чтения

Уметь хорошо читать значит точно и эффективно извлекать смысл из написанного текста.

Обучаясь чтению, дети развивают параллельно два набора навыков. Первый направлен на распознавание написанных букв и слов. Для этого развиваются:

1) Фонологическая осведомленность: произносимые слова состоят из более мелких элементов — звуков;

•     алфавитный принцип: звуки выражаются определенными символами — буквами;

•     декодирование: между буквами и звуками есть связь;

•     запоминание слов для более быстрого их распознавания.

Второй набор навыков ориентирован на понимание смысла прочитанного текста. Обучение здесь направлено на увеличение объема знаний ученика об окружающем мире, расширение его осведомленности о возможных контекстах, встречаемых в различных текстовых источниках, и включает в себя:

•     общие знания о различных фактах и понятиях;

•     расширение и углубление лексического аппарата;

•     ознакомление с семантическими и синтаксическими конструкциями предложений, а также с конвенциональными нормами в грамматике [McCardle, 2001].

Согласно одной из первых моделей нарушения чтения [Wiener, 1967], такие нарушения можно разделить на четыре группы.

•     Дефект — невозможность чтения без устранения какого-либо нарушения (например, плохое зрение) или предъявления текста в другой модальности.

•     Дефицит — недостаточность навыков или возможностей для осуществления чтения.

•     Нарушение — чтению мешают некоторые особенности психики или физиологии (например, тревожность или гиперактивность).

•     Новизна — используемые в текстах паттерны речи неизвестны читающему.

В данной статье под нарушениями чтения будут пониматься первые три группы данной модели. Четвертая группа модели не будет рассматриваться нами как целевая, поскольку не является нарушением: ознакомление читающего с новыми паттернами речи решает проблему чтения [Cromer, 1970].

Актуальность оценивания детей с нарушениями чтения

Для того чтобы обучаться в любой системе образования, необходимо уметь читать; это создает трудности для обучения и оценивания детей с нарушениями чтения.

Согласно отчету Американской национальной оценки прогресса в области образования (NAEP) 2017 г. [Reading Results [Электронный], среди детей с нарушениями развития только 9% учащихся восьмого класса имеют хорошо развитые навыки чтения. В отчете американского Национального центра образовательной статистики 2001 г. [Digest of Education, 2002] показано, что 37% детей 9—10 лет не обладают достаточно развитыми навыками чтения для использования обучающих материалов, рассчитанных на этот возраст.

Численность учащихся с нарушениями чтения в России точно неизвестна, поскольку массовая диагностика данного параметра в школе не проводится.

Согласно исследованию 1977 г., проведенному М.С. Певзнером, численность детей с когнитивными нарушениями, приводящими к затруднениям в чтении, составляет около 9% [Певзнер, 1977]. Этот показатель ниже, чем в странах Европы и Америки, однако по нему можно судить о том, что группа учащихся с нарушениями чтения в отечественной системе образования достаточно многочисленна. Важно отметить, что указанный выше источник является достаточно отдаленным от сегодняшнего дня по времени, однако более современных статистических данных о числе детей с нарушениями речи в России найдено не было, поэтому в статье используется наиболее цитируемая в отечественной научной литературе работа.

Эмпирически доказано, что нарушения в овладении навыками чтения оказывают долгосрочный негативный эффект на социальные и образовательные аспекты жизни человека [Evidence-based reading and, 2016; Reynolds, 2010].

Для эффективного обучения детей с особыми образовательными потребностями, к которым относятся нарушения чтения, используют подход, который называется «универсальный дизайн обучения» [Ketterlin-Geller, 2005; Pitoniak, 2004].

Универсальный дизайн обучения предполагает гибкость трех составляющих образовательного процесса: постановки целей обучения, поддержки ученика в достижении поставленных целей, обеспечения справедливого оценивания в процессе обучения [Rose, 2002].

В данной статье рассмотрен один из аспектов универсального дизайна обучения — универсальный дизайн оценивания.

Этот аспект крайне важен, так как качественные инструменты оценивания и адекватное их применение позволяют создать единую легитимную доказательную базу образовательных практик, на основе которой могут реализоваться действительно эффективные научные коммуникативные связи специалистов.

Универсальный дизайн оценивания

Свое начало универсальный дизайн оценивания берет из архитектуры. Термин «универсальный дизайн» впервые ввел Рон Мэйс, архитектор на инвалидной коляске, который стремился к тому, чтобы здания и улицы городов становились все более доступными для людей с особыми потребностями — физическими, сенсорными и психическими [Story, 1998].

Рон Мэйс и его коллеги сформулировали основные принципы универсального дизайна: равное использование, гибкость в использовании, простой и интуитивно понятный дизайн, легко воспринимаемая информация, толерантность к ошибкам, минимальные физические усилия, размер и пространство для доступа и использования.

Универсальный дизайн оценивания базируется на принципах универсального дизайна в целом, но видоизменяет их под свои цели:

•     справедливая оценка групп респондентов с особыми потребностями;

•               ясное обозначение конструкта измерения;

•     одинаковое функционирование заданий для всех групп респондентов;

•     процедура тестирования, допускающая аккомодации;

•     простые, ясные и интуитивно-понятные инструкции и процедура теста;

•     максимальное упрощение восприятия текста и его смысла;

•               максимальная смысловая и визуальная ясность.

Далее перечисленные выше принципы будут подробно рассмотрены.

Справедливая оценка групп респондентов с особыми потребностями

При разработке теста один из первых шагов — это установление потенциальных групп респондентов теста [Standards for educational, 1985]. В случае создания теста, направленного на отбор и обеспечение конкурса, допустимо ограничение целевой аудитории теста по некоторым характеристикам (например, соискатель с высшим инженерным образованием, опыт работы не менее 3 лет).

Однако ограничение целевой аудитории невозможно при создании теста для использования в массовом образовании: проведение политики инклюзивного образования [Об утверждении состава] не позволяет предугадать, дети с какими особыми образовательными потребностями окажутся в классе общеобразовательной школы.

В соответствии с Приказом Минобрнауки 2016 г., проводимые в общеобразовательных школах измерения должны отвечать потребностям детей с особыми образовательными потребностями, а также предоставлять сравнимые результаты по итогам измерения. Тестирование должно одинаково справедливо измерять знания и характеристики детей с различными возможностями здоровья, знанием языка, культурным опытом.

Такие требования к тестированию могут приводить к изменению конструкта измерения или упрощению заданий теста для респондентов с особыми образовательными потребностями, что может ухудшить сопоставимость результатов тестирования между детьми из разных групп.

Однако разработка инструментов измерения в парадигме универсального дизайна оценивания позволяет избежать таких искажений и обеспечить максимально справедливое оценивание респондентов с различными образовательными потребностями.

Основным способом осуществления справедливой оценки групп респондентов с особыми потребностями является использование подгрупп респондентов с различными ограничениями возможностей здоровья при проведении пилотных исследований.

Таким образом, у разработчиков заданий появляется возможность узнать о функционировании заданий до выхода в массовое тестирование.

Ясное обозначение конструкта измерения

Универсальный дизайн среды создавался для нивелирования физических барьеров при взаимодействии со средой; целью универсального дизайна оценивания считают устранение нерелевантных конструкту измерения барьеров: в процедуре тестирования, формате заданий, форме подачи материала.

Для понимания того, какие элементы процедуры тестирования являются нерелевантными, важна формулировка определения измеряемого конструкта.

Например, такой конструкт, как «понимание текста» может быть определен по-разному. Разработчики могут рассматривать его как понимание прочитанного текста и тогда изменения процедуры тестирования, касающиеся формы предъявления стимульного материала, будут снижать валидность измерений. Определение же конструкта «понимание текста» безотносительно формата его предъявления позволяет в дальнейшем применять к тесту различные голосовые модификации, которые повысят доступность теста для людей с нарушениями чтения.

Описываемый принцип демонстрирует, что для создания теста, справедливо оценивающего различные группы респондентов, необходимо учитывать разнообразие целевой аудитории еще до начала разработки заданий и процедуры тестирования.

Более того, определение измеряемого конструкта должно быть ясно определено в документах, сопровождающих инструмент, для того чтобы пользователи могли понять, насколько инструмент подходит под их выборку и цели тестирования.

Одинаковое функционирование заданий для всех групп респондентов

Задания могут по-разному оценивать респондентов из групп с разным культурным капиталом [Jones, 2002], жизненным опытом [Van de Vijver, 2004], нарушениями развития [Bolt, 2008].

Примером дискриминации одной из групп респондентов может быть использование специфического контекста задания: мальчики, решающие математические задачи, в которых речь идет о работе парикмахера, с большей вероятностью получат более низкие баллы за решение задачи, чем девочки. Проблема такого задания будет в новизне контекста для решающих задачу мальчиков, поскольку им понадобится дополнительное время на то, чтобы разобраться в предложенной ситуации.

Причиной различающегося функционирования заданий теста могут выступать особенности их элементов: инструкций к тесту, процедуры проведения, текстов заданий. Использование слов в инструкции и задании, которые могут быть неизвестны группе детей с низким социокультурным статусом или новый для одной группы детей формат заданий будет приводить к более низким результатам теста при равных способностях.

Основным способом проверки справедливого функционирования заданий теста является DIF- анализ [Zumbo, 1999]. Дифференцированное функционирование заданий (DIF) возникает, когда респонденты с равным уровнем способностей имеют разную вероятность верно ответить на задание теста [Holland, 2012]. Если у заданий обнаруживается DIF, то эти задания измеряют не только заявленный конструкт, а значит, их результаты не могут сравниваться между данными группами респондентов [Van de Vijver, 2004].

Процедура тестирования допускает аккомодации

Аккомодации процедуры тестирования и формата заданий являются одним из наиболее эффективных способов повысить доступность теста для различных групп респондентов без изменения измеряемого кон­структа.

Важным элементом при разработке теста в парадигме универсального дизайна оценивания является необходимость принимать во внимание возможность внесения аккомодаций в процедуру тестирования при оценке особых групп респондентов.

Важно обозначить различия между понятиями аккомодации и модификации. В работе 1998 г. Холленбек, Тиндал и Алмонд формулируют эти понятия следующим образом.

Аккомодация — изменение процедуры тестирования без внесения изменений в измеряемый конструкт. Целью аккомодаций является создание возможности сопоставления результатов между респондентами с различными возможностями здоровья и образовательными потребностями. Аккомодации могут затрагивать формат заданий, форму подачи материала, администрирование или формат ответа и предоставляются специальным группам респондентов. Модификации — это аккомодации процедуры тестирования, происходящие для всех групп респондентов [Accommodating students with, 1998].

Аккомодации могут касаться различных аспектов процедуры тестирования [Pitoniak, 2004]:

•     формат представления материала (шрифт Брайля или буклеты с крупными буквами, использование языка жестов или текстовое написание инструкций);

•     формат ответа (записывание ответа, подчеркивание участка текста, компьютерная форма, голосовой ответ);

•     продолжительность тестирования и перерывы (увеличенное время выполнения теста, дополнительные перерывы);

•     условия тестирования (индивидуальное администрирование теста, условия освещения или другие физические условия прохождения тестирования).

Более подробно аккомодации рассмотрены в следующем разделе данной статьи.

Простые, ясные и интуитивно-понятные инструкции и процедура теста

С целью обеспечения максимальной доступности теста для различных групп респондентов отдельное внимание должно быть уделено инструкции теста. Стандарты тестирования обозначают необходимость формулировки инструкции таким образом, чтобы респондент после ознакомления с ней вел себя именно тем способом, который предполагает разработчик теста.

Для проверки функционирования инструкции возможно проведение когнитивных лабораторий, направленных на понимание потенциальными респондентами инструкции. Включение в когнитивные лаборатории респондентов с особыми образовательными потребностями позволит выделить потенциально сложные или непонятно сформулированные элементы инструкции.

Также для облегчения понимания инструкции и процедуры тестирования рекомендуется использовать примеры задач, таким образом, респондент может потренироваться в выполнении задания или работе с интерфейсом до перехода к основному тестированию. Предварительное размещение критериев оценки также может повысить доступность теста для специальных групп респондентов.

Максимальное упрощение восприятия текста и его смысла

Обеспечение максимально понятного текста инструкций и задания важно для валидного измерения заявленного конструкта. Разработчики тестов в парадигме универсального дизайна оценивания советуют использовать руководство, предложенное Гастером и Кларком в 1995 г. [Gaster, 1995]:

•     при написании текстов используйте простые, понятные, часто используемые слова, избегайте использования избыточных слов;

•     при использовании терминов необходимо включить в текст инструкции или задания по их определению;

•     составные сложные предложения рекомендуется разделить на несколько коротких предложений, первым разместить то, которое содержит основную мысль;

•     представляйте одну идею или факт за раз, далее логично развивайте и объясняйте их;

•     соотнесение между существительным и относящимся к нему местоимением должно быть очевидно;

•     если обстоятельства времени и места важны для понимания предложения, размещайте их в начале предложения;

•     при написании инструкции используйте описание действий респондента в той последовательности, которая необходима для выполнения теста;

•     если используется описание процессов, последние должны быть просто проиллюстрированы (примерами или изображениями), подписаны и расположены рядом с текстом, который они иллюстрируют.

Максимальная смысловая и визуальная ясность

При использовании текстовых материалов в тесте особое внимание должно быть уделено смысловой и визуальной ясности текста. Визуальная четкость достигается с помощью максимально удобных для чтения шрифтов, соотношением цвета и контрастности текста и фона, межстрочных интервалов. Сложный для визуального восприятия текст задания или инструкции вносит в полученные результаты искажения, поскольку не относится к измеряемому конструкту.

Смысловая четкость предполагает использование максимально простых символов для обозначения элементов на графике, подписи и легенды должны располагаться максимально близко к обозначаемому элементу. Разработчики теста должны стремиться к снижению нагрузки на краткосрочную память респондента, если она не релевантна измеряемому конструкту.

Немаловажно учесть при создании теста в рамках универсального дизайна оценивания и формат ответа респондента. Создание альтернативных форм ответа повышает доступность инструмента: например, правильным ответом может засчитываться подчеркивание, выделение и выписывание нужного слова в тексте.

Таким образом, снижается вред от ошибки респондента при неверно понятой или забытой инструкции. По этой же причине исследователи отмечают, что наиболее эффективной является форма ответа на листе с заданием, а не вынесение полей ответа на отдельный бланк [Hollenbeck, 1998].

Аккомодации процедуры тестирования

Первые стандарты для создания специальных условий для прохождения тестов были созданы Американской ассоциацией образовательных исследований, Американской психологической ассоциацией и Национальным советом по измерениям в образовании.

В 1985 г. в сотрудничестве ими были выпущены «Стандарты для образовательного и психологического тестирования» [Standards for educational, 1999], одна глава которых была посвящена тестированию людей, испытывающих трудности при выполнении тестов в обычных условиях.

В этой главе были перечислены восемь стандартов, касающихся создания и импликации аккомодаций к тестовым процедурам.

В дальнейшем стандарты тестирования развивались в сторону вопроса валидности измененной процедуры стандартизированного тестирования — можно ли интерпретировать результаты тестирования с использованием аккомодаций так же, как и без них.

В стандартах выделяются следующие угрозы валидности:

•     информация об эффекте ограниченных возможностей респондента на результаты тестирования может быть недостаточна;

•     выборки с каждым отдельным нарушением для пилотных исследований могут быть труднодоступны;

•     эмпирические данные об эффекте произведенных аккомодаций на валидность измерения могут быть недостаточны.

Несмотря на это, аккомодации являются очень важным элементом для обеспечения справедливого тестирования, и при аккуратном и ответственном обращении они могут выступать эффективным инструментом повышения доступности инструмента оцени­вания специальных групп респондентов.

Встает вопрос о том, как должна быть выстроена процедура проведения аккомодаций при тестировании групп респондентов с особыми потребностями.

В случае со взрослыми респондентами обычно используется предварительная форма, которую участник заполняет при регистрации на экзамен, где указывает, какие нарушения у него есть и какие аккомодации ему нужно получить во время экзамена (например, GMAT), также респондент должен приложить заключение специалиста о наличии у него указанных нарушений.

Но существует трудность в обеспечении доступа к аккомодациям респондентов младшего возраста: как определить, что ребенок должен получить особые условия прохождения того или иного тестирования?

Возможно использовать подход, описанный выше, однако не все ограниченные возможности здоровья диагностируются в детстве.

В некоторых школах США используется система, в которой учитель указывает особые образовательные потребности ребенка, и в соответствии с этим тест, который предлагается ребенку, уже включает в себя все необходимые аккомодации.

Такой подход имеет свои ограничения, поскольку оценка особых потребностей ребенка учителем может быть субъективна.

Помимо этого, существует ряд сложностей в разработке и психометрическом анализе инструментов с использованием аккомодаций.

Во-первых, это малые размеры выборок. Труднодоступность сбора выборки усложняет проведение пилотных исследований и сбор данных о валидности инструмента после изменения процедуры.

Также трудность для разработчиков теста представляет разнородность нарушений развития у респондентов. Стандарты тестирования требуют, чтобы адаптировать процедуры тестирования к каждой специфической группе респондентов. Однако разнообразие характеристик респондентов так велико, что классификация респондентов на отдельные группы зачастую затруднительна.

Разработчики тестов сталкиваются с проблемой разнообразия доступных аккомодаций: подачи материала, формата заданий, формы ответа, средовые аккомодации. Поскольку для различных нарушений развития существуют отличающиеся наборы аккомо­даций, большую трудность представляет проведение исследований с их применением.

Эти ограничения в применении аккомодаций поднимают ряд дискуссионных вопросов, ответа на которые нет в научном сообществе:

•     Справедливо ли изменять процедуру тестирования только для специальных групп респондентов?

•     Как должен быть организован доступ респондента к получению аккомодаций?

•     Как валидно интерпретировать полученные результаты и принимать решения на их основе?

Поднятые вопросы не имеют однозначного ответа, поэтому при анализе данных мониторинговых образовательных исследований и написании отчетов данные учеников, получавших аккомодации во время тестирования, иногда исключаются [Thompson, 2002].

Как было сказано выше, впервые о возможности ослабления стандартизации процедуры теста было написано в стандартах тестирования 1985 г.

Особое внимание оценке респондентов с особыми потребностями было уделено в обновленной версии 1999 г., поскольку число таких респондентов увеличивалось.

Согласно стандарту, в процедуру тестирования могут вноситься изменения, если внесенные изменения не релевантны измеряемому конструкту. Определение релевантности произведенных акко­модаций измеряемому конструкту должно происходить на этапе пилотных исследований качества теста.

В 2000 г. ряд авторов [Певзнер, 1977] предложили модель, в которой аккомодации теста могут быть отнесены к одной из трех групп.

Группа 1: аккомодации, не вносящие изменений в интерпретации тестового балла. Например, участник выполняет тест, находясь в комнате один, а не вместе с группой.

Группа 2: аккомодации, способные внести изменения в интерпретацию тестового балла. Например, добавление дополнительного времени к тестам, предполагающим выполнение задачи в строго определенное время.

Группа 3: аккомодации, вносящие изменения в интерпретацию тестовых баллов. В таком случае балл должен быть интерпретирован с осторожностью. Например, использование калькулятора на тесте по математике может внести искажения в измеряемый конструкт.

Реализация принципов УД для детей с нарушениями чтения

Универсальный дизайн оценивания может быть применен и при разработке тестов, в целевую группу которых входят дети с нарушениями чтения. Одна из задач разработчиков — учесть возможность аккомода­ций процедуры тестирования, которые используются для данной группы респондентов.

Поскольку нарушения чтения могут проявляться среди детей и взрослых очень разнообразно, стандартизация аккомодаций для этого вида нарушений не может быть произведена [Enhancing Accessibility for, 2018].

В дополнение к проявлениям нарушения, компенсаторные техники респондентов могут также серьезно отличаться.

Таким образом, введение единого списка обязательных аккомодации для респондентов с нарушением чтения может оказаться избыточным или недостаточным для некоторых респондентов.

Роль учителя или сопровождающего ребенка с нарушениями чтения становится критически важной для преодоления этих ограничений и определения аккомодаций, необходимых респонденту.

Распространены несколько видов аккомодаций для респондентов с нарушениями чтения: автоматизированное чтение вслух [Gross, 2009], аккомодации написания, выделение строки или слова для облегчения чтения, изменение характеристик текста (фон, шрифт, цвет).

Поскольку для валидности измерения важно, чтобы введенные аккомодации не были релевантны конструкту измерения, проводятся специальные исследования.

Проверка валидности изменения процедуры тестирования должна подбираться и проводиться для каждого отдельного теста.

Например, в одном исследовании [Crawford, 2004] рассматривалось функционирование аккомодации «полное чтение вслух» для детей с нарушениями чтения. Авторы показали, что независимо от того, есть ли у ребенка-респондента нарушения чтения или нет, баллы детей повышаются. В описываемой работе такой результат связывается с тем, что аккомодация теста привела к изменению измеряемого конструкта — вместо смыслового чтения, респонденты занимались смысловым слушанием.

По результатам данного исследования можно сделать вывод, что аккомодация «полного чтения вслух» не подходит для используемого в исследовании теста. Возможно, она может быть заменена на аккомодации с частичным озвучиванием инструкций к заданиям, а также потенциально сложных для чтения слов.

В то же время ряд исследований показывает, что применение такой же аккомодации, напротив, повышает валидность теста, поскольку делает процедуру теста более доступной для учащихся с нарушениями чтения [Calhoun, 2000; Harker, 1993]. Эти исследования показали, что «полное чтение вслух» значимо повышает баллы детей в тесте по математике. Такая аккомодация не создает угрозы измерению заявленного конструкта, поскольку полностью не релевантна ему.

Также при разработке теста, который будет использован респондентами с нарушениями чтения, очень важно уделить особое внимание текстам заданий и инструкций. Поскольку респондент испытывает затруднения при чтении, используемые в тесте тексты должны быть максимально простыми и иметь логичную структуру.

Заключение

Валидные измерения детей и взрослых с нарушениями чтения невозможны без учета их особых потребностей.

Использование универсального дизайна оценива­ния при разработке тестов позволяет повысить объективность оценки способностей и характеристик респондентов с такими нарушениями.

Изменение процедуры тестирования с помощью проверенных в исследованиях аккомодаций способствует повышению валидности измерений, а также включению результатов особых групп респондентов в анализ наравне с остальными участниками тестирования.

Следование принципам универсального дизайна оценивания позволяет валидно оценивать психологические характеристики и знания групп респондентов с ограниченными возможностями здоровья с помощью опросников, анкет и тестов.

Несмотря на то, что в статье были рассмотрены аспекты применения этого подхода только для респондентов с нарушениями чтения, следует сказать, что универсальный дизайн оценивания применим для широкого спектра особых потребностей: нарушения слуха и зрения, поведенческие расстройства, физические ограничения.

В России описанный подход к разработке измерительных инструментов только начинает свое развитие, однако в условиях становления инклюзивного образования он является остро актуальным и востребованным.

Универсальный дизайн оценивания может получить широкое распространение в психологии, образовании, социологии и тех сферах, где необходимо использование стандартизированных тестов и опросников.