Инструкция по подготовке отчета о результатах верификации психолого-педагогических программ, технологий, практик для подачи заявки на экспертизу по верификации на базе секции «Доказательный подход в психологии и образовании» Научно-экспертного совета ФГБОУ ВО МГППУ

Экспертиза проводится секцией «Доказательный подход в психологии и образовании» Научно-экспертного совета ФГБОУ ВО МГППУ (далее — секцией ДП НЭС) в соответствии с учебным пособием «Доказательный подход: Руководство по верификации программ, технологий, практик в образовании и социальной сфере» (под редакцией Марголиса А.А., авторский коллектив: Сорокова М.Г., Ульянина О.А., Семья Г.В., Леонова О.И., Лубовский Д.В., Радчикова Н.П., Шведовская А.А.), разработанным авторским коллективом ФГБОУ ВО «Московский государственный психолого-педагогический университет».

Согласно регламенту, эксперты заполняют два оценочных документа: «Протокол качественного ассесмента психолого-педагогических программ и технологий, представленных для верификации» и «Протокол экспертной оценки результатов верификации». Первый из них оценивает нормативный, содержательный, технологический компоненты программы, ее теоретическую обоснованность и аргументированность, общие сведения о результативности и соответствии требованиям качественного ассесмента. Второй протокол заполняется экспертами на основе «Отчета о результатах верификации» или приравненного к нему документа (например, автореферата диссертации на соискание ученой степени кандидата или доктора наук, отчета по научно-исследовательскому проекту (по ГОСТу) и др.). Критерии экспертной оценки соответствуют положениям доказательного подхода и общей структуре «Отчета о результатах верификации».

«Отчет о результатах верификации» по структуре соответствует «Протоколу верификации образовательных и социальных программ и технологий» (см. Приложение 3 «Руководства по верификации …»). Он является формой для заполнения и заполняется авторами и разработчиками по результатам проведенного эксперимента по оценке эффективности программы или технологии. Если авторы не могут заполнить некоторые позиции, они пишут краткое пояснение в соответствующей графе, например: «Предшествующих исследований не проводилось» или «Качественные методы исследования не применялись» и др.

Заполненный авторами и разработчиками «Отчет о результатах верификации» вместе с заполненным «Паспортом верификации…» программы и самой программой, оформленной по той форме, которая принята в организации разработчиков, направляется письмом на электронный адрес секции ДП НЭС expert_sci@mgppu.ru

Отчет о результатах верификации

В «Отчете о результатах верификации» должны быть представлены следующие сведения.

1. Актуальность исследования и теоретико-методологическое обоснование программы.

1.1. Название и авторы образовательной или социальной программы/технологии. Если название экспериментальной программы/технологии переводится с иностранного языка, приведите название на языке оригинала. Опишите, была ли проведена модификация или адаптация зарубежной методики для условий РФ.

1.2. Ссылка на веб-сайт с информацией о программе/технологии (если есть).

1.3. Теоретико-методологическое обоснование программы/технологии. Кратко сформулируйте, какие теоретические положения и научные труды каких ученых, исследователей, авторов лежат в основе программы/технологии.

1.4. Сформулировать, почему исследование эффективности этой программы актуально.

2. Краткий обзор предшествующих современных исследований и методических изданий (если есть). Приведите, пожалуйста, ссылки на современные публикации (статьи в научных и научно-методических журналах, диссертации, методические пособия и др.) с краткой характеристикой, какие именно положения, методы, понятия и др. важны для вашей программы (до 5 публикаций).
3. Исследовательские вопросы (ИВ). Например:

ИВ1: Эффективна ли программа «Дружный класс» для обучающихся 6–7-х классов в отношении улучшения климата в классе, снижения агрессивности подростков, профилактики буллинга?

4. Научное направление исследования в соответствии с государственным рубрикатором научно-технической информации (ГРНТИ https://grnti.ru/) (по третьему уровню иерархии). Например: 15.31.31 «Детская и юношеская психология» или 14.25.05 «Воспитание в общеобразовательной школе».
5. Цель и задачи исследования. 

Например:

Цель: проверить в эксперименте эффективность программы «Дружный класс».

Задачи:

1. Оценить климат в классе, уровень агрессивности подростков и риск буллинга с помощью психодиагностических методик и качественных методов на констатирующем этапе.
2. Провести формирующий эксперимент по программе «Дружный класс».
3. Оценить климат в классе, уровень агрессивности подростков и риск буллинга с помощью психодиагностических методик и качественных методов на контрольном этапе.
4. Сравнить показатели до и после формирующего этапа и оценить эффект реализации программы «Дружный класс». 

6. Дизайн исследования

6.1. Описание выборки: регион(ы) проведения исследования, учреждения — участники исследования, категория испытуемых, общий объем выборки (N).

Экспериментальная группа (ЭГ): общая характеристика, объем выборки (N1), пол, возраст (среднее, стандартное отклонение, медиана, мода), другие контекстные характеристики, важные для исследования, например, социо-экономический статус, этнокультурная принадлежность, статус беженца, успеваемость в школе и др.

Контрольная группа (КГ): общая характеристика, объем выборки (N2), пол, возраст (среднее, стандартное отклонение, медиана, мода), другие контекстные характеристики, важные для исследования.

6.2. Психолого-педагогические характеристики (конструкты, параметры, признаки, переменные и др.), в отношении которых программа, предположительно, должна быть эффективна: перечислить, дать четкое определение, что под ними понимается.

Например:

Трудности в учебной мотивации: невнимательность при принятии и выполнении учебной задачи — общая типология трудностей в обучении у обучающихся, имеющих соответствующие риски неблагоприятных социальных условий — научно-исследовательский проект МГППУ «Разработка модели диагностики, профилактики и коррекции трудностей в обучении у обучающихся», 2019.

Невовлеченность или негативное отношение к школе родителей (законных представителей) — проект «Разработка научно-методического обеспечения деятельности ПМПК при проведении обследования и разработке рекомендаций для обучающихся с девиантным поведением, в том числе находящихся в конфликте с законом», 2017.

Метапредметные результаты: овладение навыками смыслового чтения текстов различных стилей и жанров — Федеральный государственный образовательный стандарт начального общего образования.

6.3. Психодиагностический инструментарий:

• стандартизованные инструменты (тесты, опросники, шкалы, диагностические методики и др.) для измерения исследуемых конструктов. Указать официальные названия инструментов, дать ссылки на статьи с результатами стандартизации в рецензируемых научных журналах. Ориентир — «Открытый реестр психодиагностических методик, вызывающих доверие научного сообщества» как составная часть документа «Система функционирования психологических служб в общеобразовательных организациях. Методические рекомендации»;
• другие инструменты (например, качественные методы) оценки исследуемых признаков (если есть).

Например: 

1. Опросник «Климат в классе» направлен на выявление субъективного восприятия психологической атмосферы в классе и включает параметры, которые значимы для развития одаренности школьников, развития личности и продуктивности учащихся средних и старших классов школы. «Климат в классе» создан на основе русскоязычной версии опросника «Школьный климат» (Петрова, Щебланова, 2010) и представляет собой его стандартизированную и модифицированную версию (Шумакова, Щебланова, Сорокова, 2023).
2. Опросник Р. Гудмана «Сильные стороны и трудности». Опросник оценки поведения, эмоциональной сферы и взаимоотношений со сверстниками детей и подростков. Предназначен для дошкольников и подростков до 16 лет.

и др.

6.4. Этапы сбора эмпирических данных:

6.4.1. констатирующий этап: реальные сроки, длительность, содержание деятельности;

6.4.2. формирующий этап: реальные сроки, длительность, содержание формирующего воздействия, вмешательства (кратко); используемые цифровые устройства, приборы, дидактические материалы и др.;

6.4.3. контрольный этап: реальные сроки, длительность, содержание деятельности;

6.4.4. контроль отдаленных результатов (если предусмотрен): планируемые сроки, длительность, содержание деятельности;

6.5. Методы и процедуры сбора данных:

6.5.1. Общая характеристика процедур сбора данных:

• тип дизайна эксперимента (РКИ индивидуального уровня, кластерное РКИ, квази-экспериментальный дизайн (КЭД), дизайн с регрессионным разрывом (ДРР), дизайн с одним случаем (кейс-стади, ДОС));
• принцип группировки испытуемых при сборе данных (осуществлялось ли воздействие на испытуемых индивидуально, в составе малой или большой группы, например, школьного класса?). Опишите наименьшую единицу воздействия в формирующем эксперименте (индивид, рабочая группа, класс), результаты который будут анализироваться с точки зрения величины эффекта;
• метод отбора, если был использован прием систематического отбора испытуемых;
• общий и дифференциальный отсев выборки (указать, сколько участников эксперимента было на констатирующем этапе, сколько осталось на контрольном этапе, сколько отсеялось);
• условия и место, в которых происходил сбор данных;
• все виды соглашений, которые заключались с участниками эксперимента, и выплаты, которые производились (если они имели место);
• соглашения с наблюдательными советами учреждений (если они имели место); информация о соблюдении этических норм.

6.5.2. Условия проведения формирующего этапа эксперимента (вмешательства):

• количестве воздействий и их длительность (т. е. сколько было экспериментальных сессий, эпизодов и событий, связанных с воздействием на испытуемых и какова была их продолжительность);
• частота, с который оказывалось воздействие на испытуемых (например, завершался ли эксперимент после однократной экспериментальной сессии или участники неоднократно подвергались воздействию и в этом случае каким был временной интервал между первой и последней сессией).

6.6. Информация о специалистах и персонале, осуществляющих экспериментальное воздействие (вмешательство):

• проводилось ли повышение квалификации и обучение специалистов для проведения формирующего эксперимента;
• сколько и какие специалисты осуществляли формирующее воздействие;
• конкретные действия и стимулы, с точки зрения их соответствия задачам исследования (т. е. какие функции, какую работу выполняли эти специалисты).

7. Методы анализа данных:

• перечислить количественные методы анализа данных, указать использованные стандартные статистические пакеты для анализа данных научного исследования (SPSS, Statistica, R, KNIME Analytics Platform и др.)

Например: 

• методы описательной статистики (вычисление выборочных характеристик, построение графиков, диаграмм и т. д.);
• критерий Манна — Уитни для оценки статистической значимости различий между двумя независимыми выборками (между экспериментальной и контрольной группами) для количественных шкал. Оценка различий проведена на констатирующем («проверка базовой эквивалентности») и контрольном этапах эксперимента;
• критерий знаковых ранговых сумм Уилкоксона для оценки различий показателей «после минус до» отдельно для экспериментальной и контрольной групп

и т. д.

• перечислить качественные методы (если применялись). Например: метод наблюдения, метод экспертных оценок и др.

8. Результаты анализа данных для аналитической выборки.

Примечание. Рекомендованные учебные пособия по математическим методам в психологии и педагогике:

• Сорокова М.Г. Математические методы в психолого-педагогических исследованиях: учебное пособие [Электронный ресурс]. М.: Неолит, 2020. 216 с. URL: http://www.psychlib.ru/inc/absid.php?absid=390683 (дата обращения: 01.06.2023).
• Сорокова М.Г. Методы математической статистики в психологии: учебное пособие [Электронный ресурс]. Саарбрюкен: Palmarium Academic Publishing, 2014. 405 с. URL: https://psychlib.ru/mgppu/SMm-2014/MMa-405.htm#$p1 (дата обращения: 01.06.2023).
• Наследов А.Д. Математические методы психологического исследования: анализ и интерпретация данных: учебное пособие. Изд. 4-е, стер. СПб: Речь, 2012. 392 с.
• Доказательный подход: Руководство по верификации программ, технологий практик в образовании и социальной сфере: учебное пособие / под ред. Марголиса А.А.; авт. коллектив: Сорокова М.Г., Ульянина О.А., Семья Г.В., Леонова О.И. Лубовский Д.В., Радчикова Н.П., Шведовская А.А.) (в печати) — представлена информация о вычислении стандартизованного размера эффекта и индекса улучшения.

8.1. Описательные статистики для исследуемых переменных (конструктов, характеристик, параметров и т. д.): объемы выборок ЭГ и КГ, среднее (M), стандартное отклонение (SD), медиана (Me), мода (Mo), асимметрия (A), стандартная ошибка асимметрии (δA), эксцесс (E), стандартная ошибка эксцесса (δE);

Например:

Таблица 1

Описательные статистики для экспериментальной (N1 = ) и контрольной (N2 = ) групп
на констатирующем этапе

8.2. Графики, гистограммы, диаграммы, иллюстрирующие результаты (если необходимо); все графики должны быть пронумерованы и озаглавлены, оси координат должны быть ясно обозначены.

8.3. Статистическая проверка распределений на нормальность (если нужно).

8.4. Проверка значимости различий между ЭГ и КГ по исследуемым параметрам на констатирующем этапе, т. е. до вмешательства (проверка базовой эквивалентности) и на контрольном этапе, т. е. после вмешательства; оценка размера эффекта вмешательства в абсолютных и стандартизованных значениях.

Таблица 2

Проверка значимости различий между экспериментальной (N1 = ) и контрольной (N2 = ) группами на констатирующем этапе по критерию Манна — Уитни

Примечание: * p < 0,05 ; ** p < 0,01; *** p < 0,001

Таблица 3

Проверка значимости различий между экспериментальной (N1 = ) и контрольной (N2 = ) группами на контрольном этапе по критерию Манна — Уитни

Примечание: * p < 0,05 ; ** p < 0,01; *** p < 0,001

8.5. Проверка значимости сдвигов показателей на контрольном этапе по сравнению с констатирующим отдельно для ЭГ и КГ: «после минус до»; оценка размера эффекта вмешательства в абсолютных и стандартизованных значениях.

Таблица 4

Проверка значимости различий показателей в экспериментальной (N1 = ) группе
на контрольном этапе по сравнению с констатирующим по критерию Уилкоксона

Примечание: * p < 0,05 ; ** p < 0,01; *** p < 0,001

Таблица 5

Проверка значимости различий показателей в контрольной (N2 = ) группе
на контрольном этапе по сравнению с констатирующим по критерию Уилкоксона

Примечание: * p < 0,05 ; ** p < 0,01; *** p < 0,001

8.6. Другие методы (если применялись).

9. Выводы исследования.

• В отношении каких психолого-педагогических характеристик (переменных, признаков и т. д.) статистически доказана эффективность программы/технологии? 
• Каков размер эффекта?
• В отношении каких исследованных психолого-педагогических характеристик эффект не выявлен?
• Каковы ограничения результатов?

10. Ограничения применения программы и предложения по ее дальнейшему применению и развитию.