Межуровневые структуры образовательных данных для оценки качества общего образования

Цифровые сервисы федеральных информационных систем позволяют взаимодополнять результаты оценочных процедур на разных уровнях управления качеством: федеральном, региональном, муниципальном и институциональном. Авторы прибегают к понятию сквозных данных и показывают, каким образом такие данные можно агрегировать без избыточных процедур. Акцент сделан на ресурсном подходе к агрегации образовательных данных. Сложность использования образовательных данных для решения задач управления образованием обусловлена, в том числе, влиянием на результаты большого количества факторов, внешних по отношению к образовательной организации, а также ресурсного обеспечения системы образования. На протяжении многих лет качество образовательных результатов связывалось в основном с наличием тех или иных материально-технических ресурсов и финансированием образовательных организаций. Информация о кадровых ресурсах при этом использовалась недостаточно активно. В последние годы, помимо характеристик ресурсного обеспечения, все активнее используются в практиках анализа образовательных результатов данные социального и экономического контекста, когда анализ результатов выстраивается с учетом данных о контексте их достижения.

Введение

Многоаспектность управления качеством образования предполагает наличие разветвленной структуры данных, на основе которых принимаются управленческие решения. Важно, чтобы в этой структуре имели место быть и данные инспекционно-констатирующего плана, очевидные для регионального контролинга, и данные, которые образуются исключительно в ходе контекстного анализа первичной информации и выявления неочевидных взаимосвязей между элементами региональной системы образования.

В России использование данных о ресурсном обеспечении образовательных организаций и контекстных данных для анализа результатов оценочных процедур еще не стало массовым явлением, охватывающим все уровни системы образования [3]. При этом, создано значительное количество различных информационных систем, позволяющих анализировать динамику образовательных результатов не только по первичным данным различных процедур оценки, но и с учетом данных ресурсного обеспечения той или иной образовательной организации, а также с учетом контекстных данных.

Вместе с тем, в процессе различных процедур оценки выявляется ряд проблем. Очевидны следующие издержки работы с данными:

• отсутствует единая методика учета внешних по отношению к образовательным организациям факторов, оказывающих существенное влияние на образовательные результаты (образование родителей, социально-экономический уровень развития территории и пр.);
• наблюдается острый дефицит аналитических материалов, в которых предлагаются конкретные методы и решения, направленные на практическое использование полученных результатов;
• наблюдается нехватка механизмов оценки качества образования, ориентированных на использование в управлении не только оценки условий осуществления образовательной деятельности и образовательных программ, но и методик оценки и корректного сопоставления качества образовательных результатов;
• существующая система сбора и обработки данных о ресурсном обеспечении образовательных организаций использует агрегированные значения данных, что не позволяет проводить детальный глубокий анализ влияния компонентов ресурсного обеспечения на образовательные результаты обучающихся;
• в практике управления слабо применяются методы сбора и анализа первичных данных о кадровых ресурсах (квалификации педагогических работников, их возрасте и нагрузке и т.д.);
• наблюдается острый дефицит квалифицированных кадров, способных проводить анализ данных и формировать аналитические материалы, содержащие конкретные предложения по использованию в практике управления результатов оценочных процедур с учетом внешних по отношению к образовательным организациям факторов.

Методы

Анализируя подходы к оценке ресурсного обеспечения общеобразовательных организаций органами исполнительной власти, осуществляющими управление в сфере образования в Российской Федерации [5] необходимо определить наборы данных, используемые для оценки.

Существует большое количество классификаций ресурсного обеспечения общеобразовательных организаций. Классификации зависит от классификационного признака и глубины декомпозиции. В качестве основания также может выступать предметно-объектные основы или состав классифицирующего явления.

Говоря о существующей системе использования данных о ресурсном обеспечении и контекстной информации для анализа образовательных результатов на региональном уровне, следует отметить, что во всех субъектах Российской Федерации разработаны нормативные документы, содержащие разделы по описанию использования результатов оценочных процедур и принятия управленческих решений на основе полученных результатов. Однако на практике очень часто вся работа с результатами сводится к разработке различных документов в этом направлении (рекомендаций, дорожных карт, порядка работы с результатами и т.д.) и в отсутствии реальных механизмов контроля за исполнением этих документов [2].

Так, согласно «Методике оказания адресной методической помощи общеобразовательным организациям, имеющим низкие образовательные результаты обучающихся» [1], среди «обобщенных факторов риска низких результатов образовательной организации можно выделить: низкий кадровый потенциал, дефицит материальных ресурсов, неблагоприятную учебную атмосферу в школе» [4].

Результаты оценочных процедур позволяют качественно оценить кадровые ресурсы общеобразовательных организаций и выстроить работу по формированию стратегии подготовки высококвалифицированных кадров для системы образования.

Поскольку нарастающая сложность содержания образования неминуемо ведет к появлению новых связей в текущей и прогнозируемой структуре образовательных данных и, как следствие, к усложнению процедур оценки. Соответственно, чем более последовательно муниципальные методические службы начнут включать в содержание профессионального развития педагогов вопросы оценочной деятельности, тем большие гарантии будет иметь муниципальная система образования в реализации федеральных критериев управления качеством образования.

Примем в расчет, что современный контекст учебной аналитики сильно отличается от так называемого до-ФГОС-овского контекста, когда результаты управленческого оценки образовательных достижений обучающихся использовались довольно узким кругом лиц. К этому кругу практически не относились родители обучающихся, педагоги, партнеры. Сегодня же происходит генерация данных, которые должны стать предметом взаимодействия всех участников образовательных отношений. Изменяется сам принцип работы с данными, декларируется отказ от формальной статистики в пользу многофакторной аналитики [4].

Сравнение результатов деятельности образовательных систем разных стран и оценка эффективности национальных политик в области образования осуществляется ОЭСР посредством сопоставимых количественных индикаторов систем образования, являющихся «источником квалифицированной информации» о ключевых количественных показателях результатов деятельности образовательных организаций в разных странах. Предложенные индикаторы реагируют на возможные проблемы в национальной образовательной политике и позволяют, на базе имеющейся статистической информации из разных стран, формировать эффективные решения для развития национальных систем образования, в том числе в направлении совершенствования ресурсного обеспечения образовательных организаций.

Отсутствие (либо недостаточное количество) подобных индикаторов в практике российской образовательной аналитики может, как мы полагаем, привести к отсутствию механизмов, влияющих на эффективность и качество российского образования. А поскольку «вхождение в десятку ведущих стран мира по качеству общего образования» позиционировалось одной из приоритетных задач образовательной политики Российской Федерации, то учет имеющегося международного опыта анализа эффективности образовательных политик становится одной из актуальных задач органов управления в сфере образования. Причем именно в контекстной логике анализа образовательных данных.

Результаты

Исследовательский анализ показал, что ведущими должны стать три группы индикаторов для межуровневой интеграции данных: 

1. индикаторы результативности системы образования, представленные характеристиками тех, кто выходит из системы образования (прямой эффект), и характеристиками, отражающими экономический эффект и социальное благополучие (косвенный эффект);
2. индикаторы, отражающие доступность и равные права на получение образования, а также оценивающие разнообразие образовательных траекторий (внутренний эффект);
3. индикаторы, отражающие вклад в образование, включая финансовые, человеческие, физические ресурсы, педагогическое содержание, политику управления в рамках отдельной образовательной организации.

Отдельным, но не менее важным пунктом, являются внешние контекстные факторы, которые определяют или ограничивают возможности отдельного субъекта системы образования: демографические, социально-экономические, культурные и пр.. Также на субнациональном уровне или на уровне отдельных образовательных организаций важными характеристиками являются данные, характеризующие самих обучающихся: пол, возраст, социально-экономический статус или происхождение.

Обозначенные группы индикаторов предоставляют возможность каждому субъекту оценки (образовательной организации, муниципалитету, региону) сравнить значения первичных данных с учетом контекстных факторов, оценить динамику показателя с момента начала сбора данных. И если рассматривать систему контекстных показателей с точки зрения категорий эффектов, учитываемых в системе международных индикаторов, то легко отметить показатели результативности, доступности образования и частично вклада в качество образования. Кроме того, немаловажное значение имеют показатели, характеризующие ресурсное обеспечение образовательных организаций и системы образования в целом, поскольку понятие «эффективность образования» часто отождествляется с объемом ресурсов, затраченных на получение образовательных результатов.

Один из немногих примеров использования контекстных данных в практике анализа результатов оценочных процедур в Российской Федерации на федеральном уровне - анализ результатов ВПР и оценка результативности деятельности образовательных организаций на уровне муниципалитета и региона, проводимая ФИОКО. Такая оценка осуществляется по кластерам (фактически - группам) образовательных организаций, для определения которых учитывается уровень реализуемых образовательных программ, территориальная принадлежность и уровень образования родителей. В результате кросс-табуляции значений, указанных группирующих переменных, ФИОКО выделяет 32 кластера, которые представлены следующими укрупненными группами: начальные, основные городские, основные сельские, городские с низким, средним и высоким уровнем образования родителей, сельские, маленькие городские, маленькие сельские). В случае, если отсутствуют статистически значимые различия между кластерами, результаты рассматриваются по укрупненным группам.

Хотя на сегодняшний день по итогам ВПР и можно провести оценку индивидуальной динамики результатов, однако без каких-либо дополнительных инструментов, позволяющих зафиксировать социально-экономические дефициты и преимущества обучающегося, и сопоставить его результаты по разным годам обучения не представляется возможным.

Обсуждение

Самый большой вызов идеологам больших данных в образовании – это подготовка кадров для «доказательного управления» и перехода к управлению качеством данных. Нужна межотраслевая интеграция институтов, обеспечивающая согласованность интересов потребителей информационно-аналитических продуктов работы с данными, правообладателей и технических исполнителей соответствующих цифровых сервисов и самих обучающихся граждан. Только в этих условиях могут стать реальными цифровые портфолио на базе blockchain-технологии и межнациональная система навигирования в образовательных продуктах.

Полагаем, что дальнейшее развитие механизмов использования данных ресурсного обеспечения и контекстной оценки в России будет связано, преимущественно, с феноменом резильентности и акцентуации опыта резильентных школ, т.е. образовательных организаций, которые в тех же условиях и в том же контексте показывают значимо более высокие образовательные результаты. Именно выделение таких образовательных организаций является одной из важнейших задач сбора и анализа данных в образовании Будут отбираться факторы (субъективные и объективные), которые: 1) охватывают непересекающиеся сферы жизнедеятельности и непосредственно влияют на индивидуальное благополучие и отдельное домохозяйство; 2) имеют высокую степень доступности высококачественных (объективных) данных (из официальной статистики); 3) предполагают непротиворечивость интерпретации; 4) предоставляют возможность сопоставления на уровне отдельной образовательной организации, муниципалитета и региона.

Поиск эффективных мер, способствующих развитию образовательных систем, улучшению качества образовательных результатов и повышению эффективности школьного образования возможен на основе надежной информации о состоянии и особенностях региональных и муниципальных систем, является основной задачей руководителей органов управления в сфере образования и образовательной политики. В этом должен заключаться инструментальный базис оценки.

В проекции на отечественный опыт, прогнозируем необходимость внесения изменений в соответствующие методики оценки с учетом необходимости использования при ранжировании объектов соответствующих контекстных факторов:

• мотивирующий мониторинг деятельности органов исполнительной власти субъектов Российской Федерации, осуществляющих государственное управление в сфере образования (при расчете показателей используются данные Минпросвещения, Агентства развития профессионального мастерства, Союза WorldSkills Russia – контекстные данные не учитываются);
• рейтинг субъектов Российской Федерации по качеству образования (блок показателей «Результаты обучения» рассчитывается на основе большого массива данные о результатах массовых процедур оценивания – ОГЭ, ЕГЭ, ВПР, полученных в субъектах Российской Федерации в предыдущий год -контекстные данные не учитываются);
• оценка механизмов управления качеством образования в субъектах Российской Федерации (разработан Федеральным государственным бюджетным учреждением «Федеральный институт оценки качества образования») – контекстные данные не учитываются.

В любом случае, информационное обеспечение работы с образовательными данными будет поступательно разворачиваться в сторону использования корректных данных о ресурсах образовательной организации и применения контекстной информации. Первичные данные, собираемые на уровне школы, муниципалитета, поселения, региона и страны в целом, будут иметь очень важное, первостепенное значение в управленческом анализе. 

1. Методические рекомендации по подготовке к проведению оценки механизмов управления качеством образования в субъектах Российской Федерации //https://fioco.ru/methodic
2. О направлении материалов по организации мониторинга системы управления качеством образования органов местного самоуправления – Письмо Управления оценки качества образования и контроля (надзора) за деятельностью органов государственной власти субъектов Российской Федерации от 20 апреля 2021 г. N 08-70 https://rulaws.ru/acts/Pismo-Rosobrnadzora-ot-20.04.2021-N-08-70/
3. О ходе реализации национального проекта «Образование» – Постановление Совета Федерации Федерального Собрания Российской Федерации от 10 февраля 2021 года № 21-СФ //http://council.gov.ru/activity/documents/123988/
4. Савиных Г.П., Кладова И.С. Муниципальные методические службы: смена парадигмы // Аккредитация в образовании, 2021 г. № 2 (126).  С. 35-38
5. Savinykh G., Ilykhin B., Masharova T. On the state of internal systems for assessing the quality of education in Russian schools: data-driven management perspectives // Perspectives of Science and Education, 50 (2), 501-512// pnojournal. wordpress.com/archive21/21-02/ doi:10.32744/pse.2021.2.35