Повышение эффективности механизмов управления качеством образования как основное условие повышения результатов образовательной организации

108

Аннотация

Представленная в статье тема посвящена проблеме повышения результатов образовательной организации в системе общего образования за счет внедрения изменений в устоявшиеся практики принятия решений и постановки задач развития, сложившиеся в школе. Статья опирается на материалы проекта «Адресная методическая помощь школам с низкими образовательными результатами», который реализовывался с 2020 по 2022 годы в Российской Федерации. Авторы поставили целью выявить наличие связи между рядом параметров, характеризующих образовательную организацию (доля неуспевающих обучающихся), стилем управления ею (установки директора, динамика изменений управленческих и педагогических практик) и вероятностью результативной реализации программы развития, выражающейся в повышении результатов обучающихся. Результаты показали прямую связь установок директора с результатами обучающихся, прямую связь разной степени, характерную для той или иной практики из исследуемого набора, и отсутствие связи для доли неуспевающих обучающихся. Делается вывод о влиянии низкого уровня управленческих компетенций директора на его установки, целесообразности помощи образовательным организациям в вопросах выявления и профилактики факторов риска, универсальности пользы от внедрения управленческих механизмов: выявления задач развития на основе данных в любой школе независимо от глубины неуспешности школьного контингента обучающихся.

Общая информация

Ключевые слова: образовательные результаты, адресное обучение, качество образования, школьная неуспешность, преодоление трудностей в обучении, факторы риска

Рубрика издания: Психология образования

Тип материала: научная статья

DOI: https://doi.org/10.17759/pse.2023280510

Финансирование. Исследование выполнено с применением данных, полученных в процессе выполнения государственного задания ФГБУ ФИОКО в 2020-2022 г.

Благодарности. Автор благодарит за помощь в сборе данных всех участников проекта Адресной методической помощи, директоров и кураторов школ, региональных координаторов и команду Федерального института оценки качества образования.

Получена: 31.07.2023

Принята в печать:

Для цитаты: Денисенко И.С. Повышение эффективности механизмов управления качеством образования как основное условие повышения результатов образовательной организации // Психологическая наука и образование. 2023. Том 28. № 5. С. 131 – 141. DOI: 10.17759/pse.2023280510

Подкаст

Полный текст

Введение

Стремление реализовать концепцию «Лучшая школа та, что по соседству» объединяет многие образовательные системы мира. Однако на практике образовательные результаты школ могут заметно отличаться. В Российской Федерации по данным контрольно-оценочных процедур в 2019 году было выявлено более 9 тысяч образовательных организаций, отнесенных к категории «школа с низкими образовательными результатами». Отнесение к категории происходило согласно методике и критериям [5].

Исследователи связывают разрыв в результатах качества образования в школах с различными внутренними и внешними факторами [4]. Благоприятные факторы связывают с повышенными результатами, рисковые, напротив, – с низкими.

Цель российского проекта «Адресная методическая помощь школам с низкими образовательными результатами» (далее – проект) – повышение результатов школ с низкими образовательными результатами за счет выявления факторов риска снижения результатов, характерных для каждой отдельной школы, участвующей в проекте, разработки и внедрения мер (программы развития) для преодоления негативного влияния таких факторов.

В качестве факторов риска в проекте рассматриваются признанные научным сообществом факторы риска снижения образовательных результатов: контекстные ограничения, ресурсные вызовы и компетентностные дефициты и особенности школьной образовательной среды.

Под контекстными рисками понимаются сложные контекстные факторы, которые школа не может изменить (например, расположение, социальные и культурные особенности территории и контингента школы). В любой системе образования сложный контекст деятельности школы имеет высокую связь с более низкими результатами обучающихся, а обучающиеся с низким социально-экономическим и культурным статусом находятся в группе риска низких образовательных результатов [8]. К контекстным рискам могут быть также отнесены особенности контингента обучающихся школы (например, высокое социокультурное разнообразие, повышенная доля обучающихся с ОВЗ и др.).

Помимо контекстных рисков, на остальные выделяемые факторы риска может быть оказано непосредственное воздействие. Среди них ресурсные (кадровые и материальные) дефициты, качество физической среды школы; риски школьной образовательной среды низкого качества (негативный школьный климат), обуславливающей качество социальных и профессиональных отношений в школе [9]; низкие педагогические, методические и предметные компетенции учителей. Часто исследователи относят эту категорию факторов риска к наиболее значимым [11].

Исследования, которые составили методологическую основу проекта, указывают, что контекстные факторы риска могут быть сбалансированы, в то время как воздействие неконтекстных факторов значительно уменьшено или устранено [11; 6; 7].

Отдельно выделим группу рисков, связанных с администрацией образовательной организации (далее – ОО). Любое управленческое воздействие, в том числе планирование и реализация мер противодействия факторам риска низких результатов, невозможно без непосредственного содержательного участия директора школы. Эффективное управление школой на сегодняшний день предполагает наличие разносторонних компетенций школьного управленца: а) оценка дефицитов и поддержка развития профессиональных компетенций учителей; б) целеполагание, анализ эффективности достижения целей, соответствие показателям вышестоящих управленческих уровней; в) финансовый и кадровый менеджмент; г) взаимодействие с внешней средой школы [10].

Возможны два сценария, когда директор (и управленческая команда в целом) не реализует функции управления образовательной организацией, связанные с повышением качества результатов, создавая таким образом угрозу для ее развития: директор бездействует относительно выявления факторов риска, характерных для ОО, или директор принимает меры, которые не приводят к желаемому результату. Бездействие также может быть двух видов: директор знает о проблеме, но не знает, как ее решить, или директор не знает о проблеме и в таком случае не может принять решения, способствующие их профилактике. Ситуация принятия нерезультативных мер, по существу, также может быть сведена к ситуации знания о проблеме, но незнания способов ее решения.

В результате образовательная организация остается равной собственному базовому потенциалу, то есть факторам риска, угрожающим ее развитию, противопоставляются профессиональные способности членов педагогического коллектива, фактически сложившаяся после получения педагогического образования и последующего профессионального опыта совокупность технологий, приемов и практик, индивидуально реализуемых учителями в школе. Если сформированных таким образом способностей и сложившихся школьных практик недостаточно, чтобы скомпенсировать воздействие факторов риска, характерных для образовательной организации, она будет демонстрировать более низкие результаты, чем при адекватном выявлении, профилактике дефицитов и адаптации применяемых технологий к потребностям школы.

Ситуация бездействия директора относительно качества образования является распространенной в российских школах. Согласно данным исследования TALIS-2018, российский директор меньше занимается вопросами, непосредственно связанными с повышением качества образования, в сопоставлении с директорами из стран-лидеров по качеству общего образования. В российской школе директор меньше внимания уделяет выявлению дефицитов учителей, адаптации учебного плана школы (как и выявлению необходимости его адаптации) [3].

Помимо дефицитов необходимых компетенций по выявлению, распознаванию и устранению проблем, развитию образовательной организации могут мешать установки директора. Отсутствие успешного опыта противодействия факторам риска подпитывает установку на данность [1]. В этой ситуации необходимость предпринимать попытки изменить сложившиеся практики может восприниматься директором как признание собственной неуспешности, что также приводит к бездействию.

В связи с этим, исходя из необходимости изменения наиболее общего сценария «бездействие директора», основной задачей проекта являлось создание условий для запуска механизмов принятия решений, направленных на развитие образовательной организации.

Содержание проекта заключалось в предоставлении образовательной организации с низкими результатами: 1) информации о связи образовательных результатов и факторов риска, а также сведений о наиболее вероятных факторах риска снижения результатов, которые угрожают конкретной школе (индивидуальный для ОО рисковый профиль); 2) методических рекомендаций по формированию содержания мер противодействия отдельным факторам риска; 3) методической консультативной поддержки по вопросам разработки и внедрения плана мер противодействия факторам риска. Таким образом, образовательная организация получала компоненты и инструкции по запуску механизмов управления качеством образования в образовательной организации.

В статье рассматриваются следующие гипотезы:

  • результативность участия в проекте «Адресная методическая помощь школам с низкими образовательными результатами» связана с установками администрации образовательной организации;
  • профилактика рисков низких результатов связана с изменениями применяемых в образовательной организации педагогических технологий, практик профессионального взаимодействия и управления;
  • результативность реализации мер, направленных на профилактику факторов низких результатов, связана со стартовой позицией образовательной организации, получающей помощь (чем больше в школе неуспешных обучающихся, тем сложнее ей будет даваться повышение результатов).

Метод

Сопоставление результатов подгрупп образовательных организаций

Основной способ проверки гипотез – сопоставление результатов разных подгрупп ОО, выделенных на основе результатов опросов. Используются: 1) сопоставление списков школ с низкими результатами разных лет, список 2019 года принимается за базовый, список 2022 – за контрольный; 2) анализ динамики индекса низких результатов. Анализ динамики индекса позволяет точнее выявлять различия между факторами профилактики и результатами и анализировать тенденцию в результатах, даже если образовательная организация не покинула список ОО с низкими результатами.

Индекс низких результатов вычисляется для каждой из оценочных процедур Всероссийских проверочных работ, отдельно для 4, 5 и 6 классов по русскому языку и математике. Индекс рассчитывается как процентная доля участников данной оценочной процедуры по данному предмету в данной параллели, результаты которых ниже установленного минимального значения по этому предмету. Фактически индекс отражает долю обучающихся, получающих неудовлетворительные отметки по предмету. Индекс принимает значения от 0–1, где 1 – очень низкие результаты, 100% обучающихся целевой параллели получили «2» по предмету, 0 – отсутствие низких результатов. Так как индекс характеризует низкие результаты ОО, его снижение связано с уменьшением доли неуспевающих обучающихся и ассоциируется с ростом результатов. Для оценки динамики используется значение обобщенного индекса низких результатов, равного среднему всех индексов низких результатов по указанным оценочным процедурам. Базовый индекс – результаты 2019 года, контрольный – 2022 года.

Для анализа установок администрации был разработан индекс, характеризующий вовлеченность школы в реализацию проекта. Вовлеченность школы – комплексный конструкт. Под школой в нем понимается директор и те сотрудники школы, кто обладает наибольшим влиянием на его мнение. В рамках вовлеченности анализируется отношение директора к проекту, взаимодействие директора и куратора (назначенного внешнего практика-управленца консультанта) на протяжении проекта. Взаимодействие характеризует готовность директора к профессиональному развитию, его открытость внешней среде, то есть аспекты, которые связаны с готовностью менять сложившееся состояние дел.

В расчете индекса используются ответы директоров и кураторов, которые дали ответ на все необходимые вопросы в течение серии анкет (начало, середина, конец года участия в проекте). Количество пар «школа и куратор», на основе ответов которых были составлены индексы, составляет 1590 из 3000 пар, участвовавших в проекте в 2021 году.

Анкеты состояли из вопросов с ответами в баллах (от 1 до 5) и вопросов с выбором вариантов ответа. Ответы со значениями 1–3 соответствуют низкому значению индекса, ответы 4–5 – высокому; варианты использованных в формировании индекса вопросов с выбором ответа связаны с понижением индекса (табл. 2). Высокий индекс вовлеченности показали 45% ОО, 11% – низкий.

Для исследования того, насколько существенным для снижения доли неуспевающих является изменение школьных практик, проводился анализ результатов анкетирования, проведенного в 2022 году среди директоров, участвовавших в проекте в 2021 году. В опросе приняли участие более 2836 (95%) директоров. Участникам опроса предлагали оценить, насколько изменилась та или иная технология или практика, указав, что она совсем не изменилась (1 балл) или, напротив, стала настолько развитой, что школа сама может представить опыт организации работы по этому направлению на сегодняшний день (5 баллов). Результаты сопоставлялись в разрезе списков школ с низкими результатами и динамики индекса низких результатов 2019–2022 гг.

Для анализа связи начального уровня неуспешности ОО и результатов участия в проекте анализируется динамика результатов индекса низких результатов в группах школ по разному уровню индекса низких результатов среди 5-х и 6-х классов по русскому языку (те же параллели учитываются в критериях включения ОО в список с низкими результатами). Выделяются следующие группы: базово неуспевающие (<=0,32); средне неуспевающие (0,33–0,47; 0,48–0,60); сильно неуспевающие (>=0,61). Среди участников проекта доли школ с разным уровнем неуспеваемости и контекстных рисков распространены пропорционально фактическому состоянию на начало проекта, так как это было специально предусмотрено условиями отбора участников [2].

Значение индекса низких результатов, доля ОО, находящаяся в списке с низкими результатами и вне его, в зависимости от той или иной характеристики, представлены в табл. 2.

Таблица 1. Вопросы анкет, использовавшиеся для составления индекса вовлеченности школы в реализацию проекта адресной методической помощи в 2021 году

Роль участника проекта

Период анкетирования

Вопрос

Директор

окончание

Как Вы оцениваете текущую вовлеченность Вашей школы в проект?

Куратор

середина

Как Вы можете охарактеризовать готовность школы (школ) к изменениям, которые необходимо реализовывать в рамках проекта?

Куратор

середина

На Ваш взгляд, стремится ли администрация курируемой Вами школы (школ) усовершенствовать ВСОКО для получения более оптимальной и точной информации? (Ответ «Администрация не видит необходимости в изменениях в ВСОКО» дает снижение индекса)

Куратор

окончание

Как бы Вы описали вовлеченность курируемой школы в проект?

Куратор

окончание

Какая сложилась частота коммуникаций с курируемой Вами школой?

(Ответ «Реже 1 раза в месяц» дает снижение индекса)

Куратор

окончание

Каким образом Вы можете охарактеризовать взаимодействие между Вами (как куратором) и курируемой школой в ходе совместной работы в рамках проекта?

(Ответы «Курируемая школа обращалась ко мне (как к куратору) только для обязательного согласования концептуальных документов проекта в информационной системе проекта» и «Мне (как куратору) нередко приходилось напоминать школе о важности участия в проекте, сроках выполнения поручений и инициировать совместные обсуждения проблемных вопросов» дают снижение индекса)

 

Таблица 2. Связь факторов профилактики низких результатов, факта попадания образовательной организации в список ОО с низкими результатами и динамики индекса низких результатов

Исследуемый фактор профилактики

Значение фактора

Наличие в списке ШНОР-2022

Динамика среднего значения индекса низких результатов

вышли из списка

остались в списке

среднее значение

Установки администрации

Вовлеченность школы

низкая

51%

49%

-,07

средняя

61%

39%

-,09

высокая

72%

28%

-,12

Школьные практики

Взаимодействие администрации с педагогическим коллективом

(в данной практике) совершенно нет изменений

50%

50%

-,03

2

55%

45%

-,10

3

57%

43%

-,08

4

65%

35%

-,10

сильные, заметные изменения

72%

28%

-,11

Используемые учителями педагогические практики

совершенно нет изменений

0%

100%

,04

2

41%

59%

-,04

3

57%

43%

-,08

4

66%

34%

-,10

сильные, заметные изменения

72%

28%

-,12

Посещение уроков друг друга коллегами

совершенно нет изменений

47%

53%

-,01

2

48%

52%

-,04

3

59%

41%

-,09

4

65%

35%

-,11

сильные, заметные изменения

72%

28%

-,11

Предоставление обратной связи коллегам

совершенно нет изменений

29%

71%

-,02

2

47%

53%

-,05

3

59%

41%

-,09

4

63%

37%

-,10

сильные, заметные изменения

73%

27%

-,11

Качество коммуникаций учителей со школьниками

совершенно нет изменений

38%

63%

-,07

2

56%

44%

-,08

3

58%

42%

-,09

4

64%

36%

-,10

сильные, заметные изменения

72%

28%

-,11

Школьный климат

совершенно нет изменений

45%

55%

-,08

2

51%

49%

-,08

3

58%

42%

-,09

4

65%

35%

-,10

сильные, заметные изменения

71%

29%

-,12

Использование воспитательных практик учителями

совершенно нет изменений

27%

73%

,00

2

50%

50%

-,04

3

57%

43%

-,09

4

65%

35%

-,10

сильные, заметные изменения

72%

28%

-,12

Вовлеченность родителей в жизнь школы

совершенно нет изменений

47%

53%

-,09

2

47%

53%

-,06

3

61%

39%

-,09

4

67%

33%

-,10

сильные, заметные изменения

70%

30%

-,11

Продуктивность взаимодействия с муниципалитетом

совершенно нет изменений

59%

41%

-,06

2

62%

38%

-,10

3

61%

39%

-,09

4

64%

36%

-,10

сильные, заметные изменения

69%

31%

-,11

Организация объективной внутренней оценки качества

совершенно нет изменений

14%

86%

-,04

2

35%

65%

-,06

3

57%

43%

-,08

4

66%

34%

-,10

сильные, заметные изменения

71%

29%

-,12

Проведение самообследования

совершенно нет изменений

50%

50%

-,04

2

56%

44%

-,08

3

56%

44%

-,08

4

64%

36%

-,10

сильные, заметные изменения

71%

29%

-,11

Организация работы школьной ВСОКО

совершенно нет изменений

31%

69%

,04

2

45%

55%

-,08

3

57%

43%

-,08

4

66%

34%

-,10

сильные, заметные изменения

73%

27%

-,12

Определение проблем, с которыми сталкивается школа

совершенно нет изменений

62%

38%

-,05

2

56%

44%

-,09

3

57%

43%

-,09

4

65%

35%

-,10

сильные, заметные изменения

71%

29%

-,11

Исходный уровень неуспеваемости

Индекс низких результатов (ВПР, 5-й класс)

<= ,32

71%

29%

-,04

,33–,47

69%

31%

-,08

,48–,60

62%

38%

-,11

,61+

56%

44%

-,18

Индекс низких результатов (ВПР, 6-й класс)

<= ,50

73%

27%

-,05

,51 - ,61

69%

31%

-,07

,62 - ,75

62%

38%

-,11

,76+

53%

47%

-,18

Результаты

Таким образом, в результате проверки гипотез выявлено, что установки директора школы связаны с успешной реализацией проекта. Школы, директора которых демонстрировали высокую вовлеченность в реализацию проекта, в среднем в 1,7 раза оказывались более результативными, чем школы, директора которых такую вовлеченность не показали.

Повышение уверенности в использовании всех технологий и практик, которые были упомянуты в анкете, связано с сокращением доли низких образовательных результатов. Например, наиболее заметные для директора изменения в используемых учителями педагогических технологиях и организации работы школьной системы оценки качества образования дали самое заметное сокращение индекса низких результатов (-0,16), как и использование воспитательных практик учителями (-0,12); посещение уроков друг друга коллегами (-0,10); предоставление обратной связи коллегам (-0,09).

Гипотеза более высокой сложности профилактики низких результатов в школах с большей долей неуспевающих обучающихся не нашла подтверждения. Даже напротив, школы с наибольшей долей обучающихся с низкими результатами добились наиболее заметной динамики сокращения неуспевающих обучающихся. Заметим, однако, что более благоприятная стартовая позиция оказалась связана с более успешным выходом из списка ОО с низкими результатами, вероятно, в силу того, что результаты находятся ближе к границе критериев, выбранных для определения списка ОО с низкими результатами, и, следовательно, даже небольшое улучшение выводит школу из зоны риска (и фокуса наблюдения за школами с низкими результатами).

В рамках дискуссии следует отметить, что вследствие различий в шкалах оценки исследуемых групп факторов профилактики (установки, практики, начальная позиция) следует с осторожностью интерпретировать сопоставление силы действия факторов, описываемой изменением индекса низких результатов. Так, например, активная позиция директора может стать для школы определяющим фактором повышения результатов, в то время как закрепившаяся установка на невозможность улучшения результатов может полностью заблокировать развитие ОО. Вместе с тем представляется, что в целом и тренд, и «магнитуда» перечисленных факторов и аспектов отражают действительность.

Отсутствие стандартов и общепринятых критериев качественной реализации содержательных, то есть непосредственно связанных с результатами процессов и управленческих практик существенно затрудняет оценку эффективности их реализации в первую очередь в самих школах. Более однозначно трактуемые аспекты, к тому же освещавшиеся в рамках информационной кампании проекта – «педагогические технологии», «организация ВСОКО», «посещение уроков коллег», – оказались связаны с более заметной положительной динамикой результатов, чем более абстрактные категории («качество коммуникации учителей и учеников», «школьный климат»). Вместе с тем есть веские основания полагать, что потенциал развития этих аспектов деятельности школы более чем существенен.

Важным фактором, связанным с активностью школы, но не в достаточной мере охваченным анализом, может считаться внешняя среда – управленческий уклад в муниципалитете и регионе нахождения образовательной организации. Школы, сталкивающиеся с проявлениями неэффективного управления, и школы, получающие необходимую помощь, находятся заведомо в отличающихся условиях. В этой связи особое значение приобретает отношение муниципальных и региональных управленцев к критериям определения школ с низкими результатами. Так, например, образовательная организация с высокими контекстными рисками и заметной долей неуспевающих может не рассматриваться муниципалитетом и региональным органом исполнительной власти как школа, нуждающаяся в поддержке, пока не попадет в федеральный список ОО с низкими результатами. Такое положение вещей представляется рисковым для достижения национальной цели повышения качества образования.

Выводы

Подводя итоги, зафиксируем ряд выводов.

  • Низкие результаты школ – следствие совпадения ряда обстоятельств: повышенная концентрация рисковых факторов, недостаточное противодействие им (бездействие) со стороны администрации школы.
  • Бездействие школы связано с низкими компетенциями администрации по выявлению и противодействию факторам риска низких результатов. Бездействие заключается в отсутствии механизмов управления качеством образования: нет выявления проблем и внедрения соответствующих технологий, направленных на устранение их влияния.
  • Установки администрации могут влиять на внедрение механизмов управления качеством образования в школе.
  • Школа (независимо от стартового уровня и глубины неуспешности) может повысить свои результаты, если начнет внедрять механизмы управления качеством образования. Подходы к управлению качеством образовательных результатов в школе являются универсальными.

Литература

  1. Дуэк К. Гибкое сознание: новый взгляд на психологию развития взрослых и детей // 7-е издание, пер. с английского. МИФ, 2021.
  2. Методика выявления общеобразовательных организаций, имеющих низкие образовательные результаты обучающихся, на основе комплексного анализа данных об образовательных организациях, в том числе данных о качестве образования [Электронный ресурс] // Сайт ФГБУ ФИОКО. 2020. URL: https://fioco.ru/antirisk (дата обращения: 18.06.2023).
  3. Отчет национального центра исследования TALIS по результатам исследования TALIS-2018. Часть 1. 2018 [Электронный ресурс] // Сайт ФГБУ ФИОКО. 2018. URL: https://fioco.ru/Talis-18-results (дата обращения: 28.07.2023).
  4. Пинская М.А. и др. Поверх барьеров: истории школ, работающих в сложных социальных условиях. Книга для школьных администраторов и для тех, кто управляет школами на муниципальном и региональном уровнях [Электронный ресурс] // ВШЭ. 2019. URL: http://publications.hse.ru/mirror/pubs/share/direct/339289224 (дата обращения: 28.07.2023).
  5. Приказ Федеральной службы по надзору в сфере образования и науки от 19.08.2020 № 847 [Электронный ресурс] // Сайт ФГБУ ФИОКО. 2020. URL: https://fioco.ru/научно-методические-материалы (дата обращения: 18.06.2023).
  6. Приказ Федеральной службы по надзору в сфере образования и науки от 30.08.2020 № 871. Методика оказания адресной методической помощи общеобразовательным организациям, имеющим низкие образовательные результаты обучающихся [Электронный ресурс] // Сайт ФГБУ ФИОКО. 2020. URL: https://fioco.ru/antirisk (дата обращения: 18.06.2023).
  7. Agasisti T. et al. Academic resilience: What schools and countries do to help disadvantaged students succeed in PISA // OECD Education Working Papers. 2018. No. 167. DOI:10.1787/e22490ac-en
  8. Echazarra A., Radinger T. Learning in rural schools: Insights from PISA, TALIS and the literature // OECD Education Working Paper. 2019. No. 196. URL: https://one.oecd.org/document/EDU/WKP(2019)4/En/pdf (дата обращения: 28.07.2023).
  9. Gase L. et al. Relationships among student, staff, and administrative measures of school climate and student health and academic outcomes // Journal of School Health. 2017. Vol. 87/5. DOI:10.1111/josh.12501
  10. Pont B. et al. Improving School Leadership // OECD Policy and Practice. 2008 [Электронный ресурс]. URL: https://www.oecd.org/education/school/Improving-school-leadership.pdf (дата обращения: 18.06.2023).
  11. Schleicher A. World Class: How to Build a 21st-Century School System. Strong Performers and Successful Reformers in Education. OECD Publishing, Paris, 2018. DOI:10.1787/9789264300002-en

Информация об авторах

Денисенко Илья Сергеевич, кандидат педагогических наук, заместитель директора, ФГБУ «Федеральный институт оценки качества образования» (ФГБУ ФИОКО), Москва, Россия, ORCID: https://orcid.org/0009-0002-8972-3952, e-mail: ilya.denisenko@gmail.com

Метрики

Просмотров

Всего: 204
В прошлом месяце: 23
В текущем месяце: 20

Скачиваний

Всего: 108
В прошлом месяце: 7
В текущем месяце: 8