Оценка уровнево-дифференцирующей способности диагностического инструментария для прогнозирования учебной успешности обучающихся

В статье обосновывается актуальность разработки диагностического инструментария для педагогического прогнозирования учебной успешности обучающихся по профилю обучения. Рассматриваются содержание, принципы разработки и требования, предъявляемые к диагностическому инструментарию. Описываются результаты апробации инструментария для прогнозной профильно-дифференцированной диагностики обучающихся. При разработке инструментария использовались следующие принципы: компетентностной целостности, перспективной преемственности, прогностичности, профильной и уровневой дифференцирующей способности, учета возрастных особенностей и возможностей учащихся, разнообразия, практической направленности. Достоинствами рассматриваемого диагностического инструментария являются: достаточно высокая профильная и уровневая дифференцирующая способность, достаточная точность прогноза при незначительной трудоемкости; разработанность относительно различных профилей обучения согласно выделенным критериям и показателям учебной успешности, возможность статистической обработки и анализа полученных результатов с использованием технологий искусственного интеллекта. В качестве статистических алгоритмов применялись методы математической статистики и кластерного анализа: кластеризация методом k-средних, иерархическая кластеризация (объединение, древовидная кластеризация). Для проведения кластеризации использовался пакет прикладных программ «Statistica». Полученные на основе методов кластерного анализа данные свидетельствуют о достаточно высокой уровнево-дифференцирующей способности данного инструмента и корректности его использования в образовательном процессе.

Введение

Обзор исследований в рассматриваемом направлении указывает на преобладание профдиагностических методик над педагогическими. Большинство методик по профдиагностике содержат стандартизованные опросники для изучения профессиональной готовности и направленности личности (Г.В. Резапкина, В.Б. Успенский, Л.Н. Кабардова, А.П. Чернявская и др.). Меньше используются альтернативные методики, а также комплексные подходы к оценке профильных интересов, знаний, способностей. Это объясняется тем, что вопросы профильного выбора рассматриваются, преимущественно, в исследованиях по психологии и профориентологии. В процессе обучения данный инструментарий мало востребован, поскольку он не позволяет фиксировать изменения в процессе углубленного изучения предметных областей, целенаправленно воздействовать на недостающие компоненты учебной успешности. Педагоги чаще всего полагаются на собственную интуицию, что не позволяет им оценивать учебную успешность по профилю обучения с достаточной точностью, тем более ее прогнозировать [4].

В педагогике разрабатываются иные методы измерения учебных достижений: контрольная работа, опрос, наблюдение, педагогическое тестирование, портфолио, учебный проект. Вместе с тем подобные инструменты оценки, позволяя сравнить результат с учебным нормативом, не всегда дают адекватное представление о специфике учебной успешности по профилю, проявляющейся не только в области предметной подготовки обучающегося, но и в индивидуально-возрастных особенностях развития интересов и способностей, ценностных ориентаций обучающихся.

Если же оценивать динамику учебных достижений обучающегося или эффективность коррекционно-стимулирующей работы с ним, то следует понимать, что целый ряд феноменов нуждается в качественной трактовке: к примеру, феномен угасания широких интересов может в одних случаях рассматриваться как свидетельство регресса, а в других – как показатель развития устойчивой избирательной направленности личности на предметы и явления окружающей действительности. Кроме того, на сегодняшний день не существует универсальной для всех обучающихся методики педагогического прогнозирования, позволяющей получить данные, достаточные для оценки значимых путей повышения учебной успешности при профильном обучении.

С данной точки зрения актуальность разработки инструмента, опирающегося на определенную системную типологию, представляется очевидной. Такой инструмент позволил бы не только оценивать вероятность успеха и сравнивать возможности и перспективы индивидуально-личностного развития обучающегося по различным профильным направлениям, но и соотносить весь комплекс полученных данных с выделенными вариантами проявления феномена учебной успешности.

На этой основе становится доступным получение достаточно целостного представления об актуальных возможностях и перспективах индивидуального развития не только в конкретном профиле обучения (информатико-математическом, техническом, естественно-научном, социальном или художественно-гуманитарном), но и в рамках конкретного подпрофиля обучения: базового, расширенного, углубленного или расширенно-углубленного.

Актуальность разработки инструментария для прогнозирования учебной успешности по профилю состоит также в потенциальной возможности получать с его помощью ценные как с теоретической, так и с практической точки зрения данные о распределении типологических вариантов феномена успешности в разных возрастных группах обучающихся, о специфике способностей, профильных интересов и ценностных ориентаций обучающихся.

Таким образом, целью исследования стала разработка и экспериментальная проверка диагностического инструментария для педагогического прогнозирования учебной успешности обучающихся при выборе профиля обучения. Под диагностическим инструментарием нами понимается набор инструментов для реализации методов педагогического прогнозирования, используемых для определения вероятного в будущем состояния учебной успешности обучающихся по профилю обучения, установление причин этого состояния.

Диагностический инструментарий строится на следующих частнометодических принципах:

• компетентностной целостности – обеспечение представленности в диагностических заданиях базовых компетенций по основным профильным направлениям;
• перспективной преемственности – подразумевает поэтапное применение учебных материалов, углубление (по мере необходимости) диагностических этапов в причинно-следственном анализе результатов диагностирования, ориентацию периодичности диагностирования на циклы учебно-воспитательного процесса и критические точки развития личности обучающихся, последовательность в передаче полученной информации о ходе процесса профилизации;
• прогностичности, согласно которому диагностические задания нацелены на проспективную (обращенную в будущее) оценку успешности профильного выбора, то есть такую оценку, которая фиксирует изменение уровня учебной успешности, и делает заключение на его перспективу – для принятия необходимых эффективных управленческих решений;
• профильной и уровневой дифференцирующей способности диагностических материалов, позволяющей выявлять сходства и различия в образовательных потребностях обучающихся, дифференцировать испытуемых с учетом их интересов, уровня их подготовки, а также количественно сравнивать учебную успешность обучающегося по различным профильным направлениям;
• разнообразия, согласно которому диагностические задания спроектированы разнообразными по своему предметному содержанию;
• учета возрастных особенностей и возможностей учащихся – контексты заданий для диагностики ориентированы на возраст и интересы обучающихся; 
• практико-ориентированности – контекст заданий раскрывает многообразие применения предметных знаний, обеспечивает подлинные условия для использования предметных знаний в повседневной жизни, профессиональной деятельности и при изучении учебных предметов.

Достоинствами рассматриваемого диагностического инструментария являются: достаточно высокая профильная и уровневая дифференцирующая способность, достаточная точность прогноза при незначительной трудоемкости; разработанность относительно различных профилей обучения согласно выделенным критериям и показателям учебной успешности [1], возможность статистической обработки и анализа полученных результатов с использованием технологий искусственного интеллекта.

Методы

Апробация диагностического инструментария осуществлялась в ходе опытно-экспериментальной работы, которая проводилась с марта 2022 по май 2024 года в условиях взаимодействия учреждений общего среднего образования и Белорусского национального технического университета.

Объем выборки составил 1 519 человек – обучающихся VIII – XI классов.

Комплект диагностических материалов включал:

20 вопросов анкеты – для оценки профильной направленности интересов и ценностных ориентаций;

10 заданий в тестовой форме (с выбором одного ответа из предложенных) – для оценки предметных знаний и умений, соответствующих профилю;

15 заданий в тестовой форме (с выбором одного ответа из предложенных) – для оценки компонентов способностей.

В качестве статистических алгоритмов применялись методы математической статистики и кластерного анализа: кластеризация методом k-средних, иерархическая кластеризация (объединение, древовидная кластеризация). Для проведения кластеризации использовался пакет прикладных программ «Statistica».

С учетом решения задачи прогнозирования уровня учебной успешности по профилю в качестве переменных кластеризации были выбраны характеристики профильных интересов и ценностных ориентаций, способностей, предметных знаний и умений.

Результаты

В качестве примера на рис. 1 – 5 представлены результаты кластеризации по методу k-средних для каждого профиля.

Рис. 1. График средних значений характеристик респондентов для каждого кластера по информатико-математическому профилю

На рис. 1: 1 кластер соответствует углубленному подпрофилю, 2 – расширенному, 3 – основному, 4 – продвинутому.

Рис. 2. График средних значений характеристик респондентов для каждого кластера по техническому профилю

На рис. 2: 1 кластер соответствует углубленному подпрофилю, 2 – продвинутому, 3 – основному, 4 – расширенному.

Рис. 3. График средних значений характеристик респондентов для каждого кластера по естественно-научному профилю

На рис. 3: 1 кластер соответствует продвинутому подпрофилю, 2 – углубленному, 3 – основному, 4 – расширенному.

Рис. 4. График средних значений характеристик респондентов для каждого кластера по социальному профилю

На рис. 4: 1 кластер соответствует расширенному подпрофилю, 2 – продвинутому, 3 – углубленному, 4 – основному.

Рис. 5. График средних значений характеристик респондентов для каждого кластера по художественно-гуманитарному профилю

На рис.5: 1 кластер соответствует продвинутому подпрофилю, 2 – расширенному, 3 – углубленному, 4 – основному.

Всего было выделено 4 кластера (группы) по каждому профилю. На рисунке по горизонтали – параметры-переменные. Вертикально располагается шкала расстояний от 0 до 100 условных единиц. Кластер 1 соответствует углубленному подпрофилю, кластер 2 – расширенному, кластер 3 – основному, кластер 4 – продвинутому (расширенно-углубленному).

Результаты дисперсионного анализа представлены в табл. 1.

Таблица 1. Результаты дисперсионного анализа

Значения F-статистики, полученные для каждого измерения, являются индикатором того, насколько хорошо соответствующее измерение дискриминирует кластеры.

Критическое значение F-критерия при уровне значимости α = 0,05 составляет 2,600.

Так как F-статистика по всем показателям больше критического значения, то можно отклонить нулевую гипотезу F-теста и сделать вывод, что результаты диагностики статистически значимы.

В соответствии с принятыми теоретическими допущениями [1] два средних кластера, соответствующие расширенному и углубленному подпрофилям, относятся к среднему уровню учебной успешности; основной подпрофиль соотносится с низким, а продвинутый – с высоким уровнем учебной успешности.

Проверка нормальности распределения результатов измерений по уровням учебной успешности проводилась с помощью критерия Хи-квадрат с использованием программы «Statistica». Статистика имеет распределение Фишера, так как числитель и знаменатель выступают независимыми случайными величинами, а соответствующие суммы квадратов имеют распределение Хи-квадрат.

Данные о распределении респондентов по уровням учебной успешности по профилю представлены в табл. 2.

Таблица 2. Распределение обучающихся по профилям и уровням учебной успешности по результатам кластерного анализа, чел.

Определение прогнозного уровня учебной успешности в соответствии с теоретическими предпосылками [1] осуществлялось на основе интегральных показателей: широты и глубины знаний и умений, способностей, профильных интересов и ценностных ориентаций. Полученные данные отражены в табл. 3.

Таблица 3. Распределение обучающихся по профилям и уровням на основе теоретических предположений, чел.

В результате обучающиеся были отнесены к конкретным подпрофилям обучения. Последние и были рекомендованы учащимся для выбора. В процентном отношении эти данные представлены на рис. 5.

Рис. 5. Распределение обучающихся по подпрофилям на основе теоретических предположений, %

Из рис. 5 видно, что обучающиеся достаточно равномерно распределены по выделенным подпрофилям обучения. Процент совпадения полученных результатов прогнозной оценки уровня учебной успешности по профилю в соответствии с теоретическими предположениями и статистическим (кластерным) анализом составил 86,1 (случаев). Поскольку доверительный интервал уровня 95% для процента совпадений оценок составляет [86,09, 100] [3], то согласованность согласно теоретического и статистического распределений обеспечивается.

Для оценки уровнево-дифференцирующей способности (дискриминативности) диагностического инструментария использовался коэффициент Фергюсона. Полученные значения коэффициента Фергюсона ( = 0,881 > 0,8) свидетельствуют о хорошей уровнево-дифференцирующей способности (дискриминативности) инструментария.

Обсуждение

Таким образом, проведен комплекс исследований, направленных на оценку параметров учебной успешности по профилю обучения. Инструментарий для прогнозной профильно-дифференцированной диагностики обучающихся прошел экспериментальную апробацию и показал свою эффективность, что подтверждает корректность его использования в образовательном процессе допрофильной подготовки.

Результаты диагностики нашли свое применение при разработке прогнозных сценариев учебной успешности по профилю обучения [2]. Всего выделено три прогнозных сценария: оптимистический, нейтральный и пессимистический, соответствующих выделенным кластерам обучающихся с высоким, средним и низким уровнем учебной успешности обучающихся по профилю с целью повышения успешности и субъективного благополучия, удовлетворенности собственной учебной деятельностью.

Определение вероятности осуществления каждого из возможных сценариев (оптимистического, нейтрального, пессимистического) для каждого обучающегося по различным профилям позволяет своевременно оказать поддержку обучающимся в построении индивидуальной образовательной траектории в избранном направлении и предупредить возможные трудности при освоении предметов на повышенном уровне.

1. Канашевич Т.Н., Синькевич В.Н. Критерии и показатели учебной успешности обучающихся при выборе профиля обучения // Адукацыя і выхаванне. 2020. № 9. С. 46–57.
2. Канашевич Т.Н., Синькевич В.Н. Общая характеристика прогнозных сценариев учебной успешности обучающихся по профилю обучения // Адукацыя і выхаванне. 2023. № 5. С. 8–16.
3. Статистические методы. Анализ совпадения результатов проверок по альтернативному признаку: Р 50779.80-2013: введ. 01.12.2014. Москва, Стандартинформ, 2014. 44 с.
4. Чумаченко Д.В. Образовательные итоги дистанционного обучения в средней школе // Цифровая гуманитаристика и технологии в образовании (DHTE 2022): Сборник статей III Всероссийской научно-практической конференции с международным участием, Москва, 17–18 ноября 2022 года / Под редакцией В.В. Рубцова, М.Г. Сороковой, Н.П. Радчиковой. Москва: Московский государственный психолого-педагогический университет, 2022. С. 399-406.