Вестник практической психологии образования
2023. Том 20. № 3. С. 116–122
ISSN: 2658-3100 (online)
Инструкция по подготовке отчета о результатах верификации психолого-педагогических программ, технологий, практик для подачи заявки на экспертизу по верификации на базе секции «Доказательный подход в психологии и образовании» Научно-экспертного совета ФГБОУ ВО МГППУ
Общая информация
Рубрика издания: Приложения
Тип материала: документ
Для цитаты: Инструкция по подготовке отчета о результатах верификации психолого-педагогических программ, технологий, практик для подачи заявки на экспертизу по верификации на базе секции «Доказательный подход в психологии и образовании» Научно-экспертного совета ФГБОУ ВО МГППУ [Электронный ресурс] // Вестник практической психологии образования. 2023. Том 20. № 3. С. 116–122. URL: https://psyjournals.ru/journals/bppe/archive/2023_n3/appendix (дата обращения: 01.11.2024)
Полный текст
Экспертиза проводится секцией «Доказательный подход в психологии и образовании» Научно-экспертного совета ФГБОУ ВО МГППУ (далее — секцией ДП НЭС) в соответствии с учебным пособием «Доказательный подход: Руководство по верификации программ, технологий, практик в образовании и социальной сфере» (под редакцией Марголиса А.А., авторский коллектив: Сорокова М.Г., Ульянина О.А., Семья Г.В., Леонова О.И., Лубовский Д.В., Радчикова Н.П., Шведовская А.А.), разработанным авторским коллективом ФГБОУ ВО «Московский государственный психолого-педагогический университет».
Согласно регламенту, эксперты заполняют два оценочных документа: «Протокол качественного ассесмента психолого-педагогических программ и технологий, представленных для верификации» и «Протокол экспертной оценки результатов верификации». Первый из них оценивает нормативный, содержательный, технологический компоненты программы, ее теоретическую обоснованность и аргументированность, общие сведения о результативности и соответствии требованиям качественного ассесмента. Второй протокол заполняется экспертами на основе «Отчета о результатах верификации» или приравненного к нему документа (например, автореферата диссертации на соискание ученой степени кандидата или доктора наук, отчета по научно-исследовательскому проекту (по ГОСТу) и др.). Критерии экспертной оценки соответствуют положениям доказательного подхода и общей структуре «Отчета о результатах верификации».
«Отчет о результатах верификации» по структуре соответствует «Протоколу верификации образовательных и социальных программ и технологий» (см. Приложение 3 «Руководства по верификации …»). Он является формой для заполнения и заполняется авторами и разработчиками по результатам проведенного эксперимента по оценке эффективности программы или технологии. Если авторы не могут заполнить некоторые позиции, они пишут краткое пояснение в соответствующей графе, например: «Предшествующих исследований не проводилось» или «Качественные методы исследования не применялись» и др.
Заполненный авторами и разработчиками «Отчет о результатах верификации» вместе с заполненным «Паспортом верификации…» программы и самой программой, оформленной по той форме, которая принята в организации разработчиков, направляется письмом на электронный адрес секции ДП НЭС expert_sci@mgppu.ru
Отчет о результатах верификации
В «Отчете о результатах верификации» должны быть представлены следующие сведения.
- Актуальность исследования и теоретико-методологическое обоснование программы.
1.1. Название и авторы образовательной или социальной программы/технологии. Если название экспериментальной программы/технологии переводится с иностранного языка, приведите название на языке оригинала. Опишите, была ли проведена модификация или адаптация зарубежной методики для условий РФ.
1.2. Ссылка на веб-сайт с информацией о программе/технологии (если есть).
1.3. Теоретико-методологическое обоснование программы/технологии. Кратко сформулируйте, какие теоретические положения и научные труды каких ученых, исследователей, авторов лежат в основе программы/технологии.
1.4. Сформулировать, почему исследование эффективности этой программы актуально.
- Краткий обзор предшествующих современных исследований и методических изданий (если есть). Приведите, пожалуйста, ссылки на современные публикации (статьи в научных и научно-методических журналах, диссертации, методические пособия и др.) с краткой характеристикой, какие именно положения, методы, понятия и др. важны для вашей программы (до 5 публикаций).
- Исследовательские вопросы (ИВ). Например:
ИВ1: Эффективна ли программа «Дружный класс» для обучающихся 6–7-х классов в отношении улучшения климата в классе, снижения агрессивности подростков, профилактики буллинга?
- Научное направление исследования в соответствии с государственным рубрикатором научно-технической информации (ГРНТИ https://grnti.ru/) (по третьему уровню иерархии). Например: 15.31.31 «Детская и юношеская психология» или 14.25.05 «Воспитание в общеобразовательной школе».
- Цель и задачи исследования.
Например:
Цель: проверить в эксперименте эффективность программы «Дружный класс».
Задачи:
- Оценить климат в классе, уровень агрессивности подростков и риск буллинга с помощью психодиагностических методик и качественных методов на констатирующем этапе.
- Провести формирующий эксперимент по программе «Дружный класс».
- Оценить климат в классе, уровень агрессивности подростков и риск буллинга с помощью психодиагностических методик и качественных методов на контрольном этапе.
- Сравнить показатели до и после формирующего этапа и оценить эффект реализации программы «Дружный класс».
- Дизайн исследования
6.1. Описание выборки: регион(ы) проведения исследования, учреждения — участники исследования, категория испытуемых, общий объем выборки (N).
Экспериментальная группа (ЭГ): общая характеристика, объем выборки (N1), пол, возраст (среднее, стандартное отклонение, медиана, мода), другие контекстные характеристики, важные для исследования, например, социо-экономический статус, этнокультурная принадлежность, статус беженца, успеваемость в школе и др.
Контрольная группа (КГ): общая характеристика, объем выборки (N2), пол, возраст (среднее, стандартное отклонение, медиана, мода), другие контекстные характеристики, важные для исследования.
6.2. Психолого-педагогические характеристики (конструкты, параметры, признаки, переменные и др.), в отношении которых программа, предположительно, должна быть эффективна: перечислить, дать четкое определение, что под ними понимается.
Например:
Трудности в учебной мотивации: невнимательность при принятии и выполнении учебной задачи — общая типология трудностей в обучении у обучающихся, имеющих соответствующие риски неблагоприятных социальных условий — научно-исследовательский проект МГППУ «Разработка модели диагностики, профилактики и коррекции трудностей в обучении у обучающихся», 2019.
Невовлеченность или негативное отношение к школе родителей (законных представителей) — проект «Разработка научно-методического обеспечения деятельности ПМПК при проведении обследования и разработке рекомендаций для обучающихся с девиантным поведением, в том числе находящихся в конфликте с законом», 2017.
Метапредметные результаты: овладение навыками смыслового чтения текстов различных стилей и жанров — Федеральный государственный образовательный стандарт начального общего образования.
6.3. Психодиагностический инструментарий:
- стандартизованные инструменты (тесты, опросники, шкалы, диагностические методики и др.) для измерения исследуемых конструктов. Указать официальные названия инструментов, дать ссылки на статьи с результатами стандартизации в рецензируемых научных журналах. Ориентир — «Открытый реестр психодиагностических методик, вызывающих доверие научного сообщества» как составная часть документа «Система функционирования психологических служб в общеобразовательных организациях. Методические рекомендации»;
- другие инструменты (например, качественные методы) оценки исследуемых признаков (если есть).
Например:
- Опросник «Климат в классе» направлен на выявление субъективного восприятия психологической атмосферы в классе и включает параметры, которые значимы для развития одаренности школьников, развития личности и продуктивности учащихся средних и старших классов школы. «Климат в классе» создан на основе русскоязычной версии опросника «Школьный климат» (Петрова, Щебланова, 2010) и представляет собой его стандартизированную и модифицированную версию (Шумакова, Щебланова, Сорокова, 2023).
- Опросник Р. Гудмана «Сильные стороны и трудности». Опросник оценки поведения, эмоциональной сферы и взаимоотношений со сверстниками детей и подростков. Предназначен для дошкольников и подростков до 16 лет.
и др.
6.4. Этапы сбора эмпирических данных:
6.4.1. констатирующий этап: реальные сроки, длительность, содержание деятельности;
6.4.2. формирующий этап: реальные сроки, длительность, содержание формирующего воздействия, вмешательства (кратко); используемые цифровые устройства, приборы, дидактические материалы и др.;
6.4.3. контрольный этап: реальные сроки, длительность, содержание деятельности;
6.4.4. контроль отдаленных результатов (если предусмотрен): планируемые сроки, длительность, содержание деятельности;
6.5. Методы и процедуры сбора данных:
6.5.1. Общая характеристика процедур сбора данных:
- тип дизайна эксперимента (РКИ индивидуального уровня, кластерное РКИ, квази-экспериментальный дизайн (КЭД), дизайн с регрессионным разрывом (ДРР), дизайн с одним случаем (кейс-стади, ДОС));
- принцип группировки испытуемых при сборе данных (осуществлялось ли воздействие на испытуемых индивидуально, в составе малой или большой группы, например, школьного класса?). Опишите наименьшую единицу воздействия в формирующем эксперименте (индивид, рабочая группа, класс), результаты который будут анализироваться с точки зрения величины эффекта;
- метод отбора, если был использован прием систематического отбора испытуемых;
- общий и дифференциальный отсев выборки (указать, сколько участников эксперимента было на констатирующем этапе, сколько осталось на контрольном этапе, сколько отсеялось);
- условия и место, в которых происходил сбор данных;
- все виды соглашений, которые заключались с участниками эксперимента, и выплаты, которые производились (если они имели место);
- соглашения с наблюдательными советами учреждений (если они имели место); информация о соблюдении этических норм.
6.5.2. Условия проведения формирующего этапа эксперимента (вмешательства):
- количестве воздействий и их длительность (т. е. сколько было экспериментальных сессий, эпизодов и событий, связанных с воздействием на испытуемых и какова была их продолжительность);
- частота, с который оказывалось воздействие на испытуемых (например, завершался ли эксперимент после однократной экспериментальной сессии или участники неоднократно подвергались воздействию и в этом случае каким был временной интервал между первой и последней сессией).
6.6. Информация о специалистах и персонале, осуществляющих экспериментальное воздействие (вмешательство):
- проводилось ли повышение квалификации и обучение специалистов для проведения формирующего эксперимента;
- сколько и какие специалисты осуществляли формирующее воздействие;
- конкретные действия и стимулы, с точки зрения их соответствия задачам исследования (т. е. какие функции, какую работу выполняли эти специалисты).
- Методы анализа данных:
- перечислить количественные методы анализа данных, указать использованные стандартные статистические пакеты для анализа данных научного исследования (SPSS, Statistica, R, KNIME Analytics Platform и др.)
Например:
- методы описательной статистики (вычисление выборочных характеристик, построение графиков, диаграмм и т. д.);
- критерий Манна — Уитни для оценки статистической значимости различий между двумя независимыми выборками (между экспериментальной и контрольной группами) для количественных шкал. Оценка различий проведена на констатирующем («проверка базовой эквивалентности») и контрольном этапах эксперимента;
- критерий знаковых ранговых сумм Уилкоксона для оценки различий показателей «после минус до» отдельно для экспериментальной и контрольной групп
и т. д.
- перечислить качественные методы (если применялись). Например: метод наблюдения, метод экспертных оценок и др.
- Результаты анализа данных для аналитической выборки.
Примечание. Рекомендованные учебные пособия по математическим методам в психологии и педагогике:
- Сорокова М.Г. Математические методы в психолого-педагогических исследованиях: учебное пособие [Электронный ресурс]. М.: Неолит, 2020. 216 с. URL: http://www.psychlib.ru/inc/absid.php?absid=390683 (дата обращения: 01.06.2023).
- Сорокова М.Г. Методы математической статистики в психологии: учебное пособие [Электронный ресурс]. Саарбрюкен: Palmarium Academic Publishing, 2014. 405 с. URL: https://psychlib.ru/mgppu/SMm-2014/MMa-405.htm#$p1 (дата обращения: 01.06.2023).
- Наследов А.Д. Математические методы психологического исследования: анализ и интерпретация данных: учебное пособие. Изд. 4-е, стер. СПб: Речь, 2012. 392 с.
- Доказательный подход: Руководство по верификации программ, технологий практик в образовании и социальной сфере: учебное пособие / под ред. Марголиса А.А.; авт. коллектив: Сорокова М.Г., Ульянина О.А., Семья Г.В., Леонова О.И. Лубовский Д.В., Радчикова Н.П., Шведовская А.А.) (в печати) — представлена информация о вычислении стандартизованного размера эффекта и индекса улучшения.
8.1. Описательные статистики для исследуемых переменных (конструктов, характеристик, параметров и т. д.): объемы выборок ЭГ и КГ, среднее (M), стандартное отклонение (SD), медиана (Me), мода (Mo), асимметрия (A), стандартная ошибка асимметрии (δA), эксцесс (E), стандартная ошибка эксцесса (δE);
Например:
Таблица 1
Описательные статистики для экспериментальной (N1 = ) и контрольной (N2 = ) групп
на констатирующем этапе
№ |
Диагностическая методика |
M ± SD |
Me |
Mo |
A ± δA |
E ± δE |
|||||
ЭГ |
КГ |
ЭГ |
КГ |
ЭГ |
КГ |
ЭГ |
КГ |
ЭГ |
КГ |
||
1. |
Климат в классе |
||||||||||
Шкала 1.1 |
|||||||||||
Шкала 1.2 |
|||||||||||
… |
|||||||||||
2. |
Тест Р. Гудмана ССТ |
||||||||||
Шкала 2.1 |
|||||||||||
Шкала 2.2 |
|||||||||||
… |
|||||||||||
3. |
и др. |
||||||||||
8.2. Графики, гистограммы, диаграммы, иллюстрирующие результаты (если необходимо); все графики должны быть пронумерованы и озаглавлены, оси координат должны быть ясно обозначены.
8.3. Статистическая проверка распределений на нормальность (если нужно).
8.4. Проверка значимости различий между ЭГ и КГ по исследуемым параметрам на констатирующем этапе, т. е. до вмешательства (проверка базовой эквивалентности) и на контрольном этапе, т. е. после вмешательства; оценка размера эффекта вмешательства в абсолютных и стандартизованных значениях.
Таблица 2
Проверка значимости различий между экспериментальной (N1 = ) и контрольной (N2 = ) группами на констатирующем этапе по критерию Манна — Уитни
№ |
Диагностическая методика |
M ± SD |
Значение статистики |
Уровень |
|
ЭГ (N1 = ) |
КГ (N2 = ) |
||||
1. |
Климат в классе |
||||
Шкала 1.1 |
|||||
Шкала 1.2 |
|||||
… |
|||||
2. |
Тест Р. Гудмана ССТ |
||||
Шкала 2.1 |
|||||
Шкала 2.2 |
|||||
… |
|||||
3. |
и др. |
||||
Примечание: * p < 0,05 ; ** p < 0,01; *** p < 0,001
Таблица 3
Проверка значимости различий между экспериментальной (N1 = ) и контрольной (N2 = ) группами на контрольном этапе по критерию Манна — Уитни
№ |
Диагностическая методика |
M ± SD |
Значение статистики |
Уровень |
|
ЭГ (N1 = ) |
КГ (N2 = ) |
||||
1. |
Климат в классе |
||||
Шкала 1.1 |
|||||
Шкала 1.2 |
|||||
… |
|||||
2. |
Тест Р. Гудмана ССТ |
||||
Шкала 2.1 |
|||||
Шкала 2.2 |
|||||
… |
|||||
3. |
и др. |
||||
Примечание: * p < 0,05 ; ** p < 0,01; *** p < 0,001
8.5. Проверка значимости сдвигов показателей на контрольном этапе по сравнению с констатирующим отдельно для ЭГ и КГ: «после минус до»; оценка размера эффекта вмешательства в абсолютных и стандартизованных значениях.
Таблица 4
Проверка значимости различий показателей в экспериментальной (N1 = ) группе
на контрольном этапе по сравнению с констатирующим по критерию Уилкоксона
№ |
Диагностическая |
M ± SD |
Сдвиг средних «после минус до» |
Значение статистики T Уилкоксона |
Уровень |
|
До |
После |
|||||
1. |
Климат в классе |
|||||
Шкала 1.1 |
||||||
Шкала 1.2 |
||||||
… |
||||||
2. |
Тест Р. Гудмана ССТ |
|||||
Шкала 2.1 |
||||||
Шкала 2.2 |
||||||
… |
||||||
3. |
и др. |
|||||
Примечание: * p < 0,05 ; ** p < 0,01; *** p < 0,001
Таблица 5
Проверка значимости различий показателей в контрольной (N2 = ) группе
на контрольном этапе по сравнению с констатирующим по критерию Уилкоксона
№ |
Диагностическая |
M ± SD |
Сдвиг средних «после минус до» |
Значение статистики T Уилкоксона |
Уровень |
|
До |
После |
|||||
1. |
Климат в классе |
|||||
Шкала 1.1 |
||||||
Шкала 1.2 |
||||||
… |
||||||
2. |
Тест Р. Гудмана ССТ |
|||||
Шкала 2.1 |
||||||
Шкала 2.2 |
||||||
… |
||||||
3. |
и др. |
|||||
Примечание: * p < 0,05 ; ** p < 0,01; *** p < 0,001
8.6. Другие методы (если применялись).
- Выводы исследования.
- В отношении каких психолого-педагогических характеристик (переменных, признаков и т. д.) статистически доказана эффективность программы/технологии?
- Каков размер эффекта?
- В отношении каких исследованных психолого-педагогических характеристик эффект не выявлен?
- Каковы ограничения результатов?
- Ограничения применения программы и предложения по ее дальнейшему применению и развитию.
Метрики
Просмотров
Всего: 106
В прошлом месяце: 7
В текущем месяце: 10
Скачиваний
Всего: 41
В прошлом месяце: 0
В текущем месяце: 3