Оценка эффективности применения электронных учебников по математическим дисциплинам методом анкетирования преподавателей и студентов

В статье приводятся результаты социологического исследования, направленного на оценку эффективности применения средств дистанционного обучения (СДО) в смешанной форме ведения образовательной деятельности по математическим дисциплинам с очным проведением семинарских и лекционных занятий и организацией самостоятельной работы студентов технических специальностей ВУЗа с использованием СДО. Исследования базируются на результатах проводимого в весеннем семестре 2022/2023 года педагогического эксперимента по внедрению в образовательный процесс в Московском авиационном институте электронного учебника по курсу «Теория функции комплексного переменного» в системе дистанционного обучения CLASS.NET. Исследования проведены методом анкетирования участвовавших в педагогическом эксперименте студентов и преподавателей. Выявлены наиболее востребованные преподавателями и студентами функции электронного учебника.

Введение

Полученный в пандемийный период опыт массового применения в образовательной деятельности средств дистанционного обучения привел к актуализации вопросов связанных с оценкой качества используемых электронных учебников (ЭУ), как основных составляющих систем дистанционного обучения (СДО), и эффективности их применения в образовательном процессе. Исследованиям качества и эффективности применения средств дистанционного обучения в последние годы посвящено значительное количество работ [2, 3, 5, 9]. Однако поиск объективных средств оценки эффективности применения СДО к настоящему времени находится на начальной стадии пути. К таким объективным средствам можно отнести методы, основанные на статистическом и корреляционном анализе результатов обучения пользователей СДО, полученные в ходе проведения очного тестирования [6, 7]. В настоящее время по-прежнему одним из основных источников информации о эффективности применения СДО в учебном процессе являются результаты опросов и анкетирования участников педагогических экспериментов, связанных с внедрением средств дистанционного обучения в образовательную деятельность. В работе рассматриваются результаты анкетирования студентов и преподавателей Московского авиационного института, проведенного по результатам внедрения разработанного авторами электронного учебника по курсу «Теория функции комплексного переменного» [1], в рамках используемой в последние два десятка лет СДО CLASS.NET [8,10] для преподавания математических дисциплин студентам технических специальностей. Для повышения репрезентативности выборки анкетирование проводилось не только среди преподавателей, участвующих в эксперименте, но и среди более широкого круга преподавателей, использующих СДО CLASS.NET в своей деятельности. Целью опроса являлось выявления наиболее значимых для различных категорий пользователей функций электронного учебника, оценка целесообразности его применения и изучение динамики изменения отношения различных категорий пользователей к применению СДО в учебном процессе в пандемийный период.

Анализ данных проведенного анкетирования

Проводимый в весеннем семестре 2022/2023 учебного года в Московском авиационном институте педагогический эксперимент по применению в рамках очной формы ведения образовательной деятельности электронного учебника по курсу «Теория функции комплексного переменного» для организации самостоятельной работы студентов и выполнения ими домашних заданий подробно описан в [7]. В эксперименте участвовали 4 специальным образом отобранные группы студентов в общем количестве 72 человека. Однородность групп студентов контролировалась с использованием аппарата проверки статистических гипотез на основе анализа результатов экзаменов по дисциплинам, предшествующим изучению курса, на применении знаний которых базируется рассматриваемый курс. Для проведения социологического исследования привлекались все студенты в группах и преподаватели, участвовавшие в проведении эксперимента и ранее работавшие с электронными учебниками в СДО CLASS.NET, в количестве 37 человек.

Всем участникам социологического исследования было предложено ответить на две группы вопросов. В первой группе вопросов предлагалось оценить по семи-балльной шкале значимость для опрашиваемых следующих функций разработанного электронного учебника: наличие в электронном учебнике теоретического материала в формате гипертекста (1); возможность увеличения времени, выделяемого на изучение курса, за счет использования электронного учебника в часы, выделяемые на самостоятельную работу студента (2); наличие практической части электронного учебника, решение задач которой способствует подготовке к прохождению очных форм контроля (3); наличие задач с дозированной педагогической помощью (4); повышение дисциплины изучения материала за счет наличия обратной связи и осуществления контроля преподавателем работы студента в течении семестра (5); применение в электронном учебнике адаптивных средств формирования индивидуальной траектории обучения, учитывающей особенности и уровень знаний студента (6); наличие постоянной возможности он-лайн коммуникации преподавателя и студента (7); коррелированность результатов работы студента в электронном учебнике с возможностью получения «автомата» на экзамене (8); наличие эффекта самообучения группы студентов за счет возможности коллективного обсуждения способов решения задач вне рамок очного процесса обучения с учетом наличия персональных реализаций случайных параметров задачи для каждого студента (9); наличие мотивационной составляющей для студента, связанной с автоматическим формированием текущего рейтинга и присутствием соревновательного эффекта (10); наличие возможности у преподавателя при подготовке к семинарскому занятию обратить внимание на ошибки, совершенные студентами при решении с помощью электронного учебника домашнего задания (11); возможность продемонстрировать административным органам университета свою активность в течении семестра (12).

Результаты анкетирования по данной группе вопросов отражены на рисунке 1:

Рис. 1. Оценки функций электронного учебника, данные преподавателями и студентами

Обратная связь и текущий контроль работы обучаемых, а также возможность организации самостоятельной работы студентов заняли первое место по результатам этого опроса как у студентов, так и у преподавателей.

Среди других функций, реализуемых электронными учебниками в рамках функционирования СДО, высшие баллы опрошенные преподаватели поставили: функции постоянной возможности он-лайн коммуникации преподавателя и студента, функции самообучения группы студентов за счет возможности коллективного обсуждения способов решения задач вне рамок очного процесса обучения, функции ЭУ, обеспечивающей возможность анализа ошибок студентов, допущенных при выполнении домашнего задания, в рамках подготовки преподавателя к очередному семинарскому занятию. К очень важным функциям современного электронного учебника были отнесены возможность построения индивидуальной траектории обучения студентов и наличие обратной связи для адаптации и корректировки преподавателем деятельности обучаемого.

Аналогичное анкетирование проводилось ранее на старте активного использования средств дистанционного обучения в начале пандемийного периода.  Сравнение результатов анкетирования преподавателей в два рассматриваемых периода времени отражены на рисунке 2.

Рис. 2. Оценки функций электронного учебника преподавателями вуза в начале пандемийного периода и в настоящее время.

Проведенный статистический анализ результатов анкетирования, полученных в два различных периода времени, подтвердил существенность их различий. Для проверки значимости различий использовался критерий Вилкоксона [4, с. 451], значение которого 32 уверенно превысило критическую точку 13 на уровне значимости критерия равном 0.05.

Полученный в пандемийный и постпандемийный периоды времени опыт активного применения средств СДО сменил акценты во мнении преподавателей с формальных функций электронных учебников (отчет перед администрацией, возможность проставления «автоматов»), применение которых было вызвано насущной необходимостью на функции наибольшим образом обеспечивающие эффективность образовательного процесса при смешанной форме ведения образовательной деятельности, когда электронный учебник в первую очередь рассматривается как средство организации самостоятельной работы студентов. К таким функциям следует отнести: «наличие эффекта самообучения группы студентов» (4.98 баллов из 7), «наличие обратной связи и возможность контроля за самостоятельной работой студентов» (6.58 баллов) и возможность формирования индивидуальной траектории студента» (6.15 баллов).

Во второй группе вопросов преподавателям по результатам педагогического эксперимента предлагалось оценить также по семибалльной шкале значимость для опрашиваемых аспектов и причин целесообразности и эффективности применения в учебном процессе внедренного электронного учебника. Респондентам были предложены следующие варианты продолжения утверждения «применение электронного учебника целесообразно и эффективно потому, что»: повышается успеваемость студентов (1); электронный учебник является средством получения «автомата» на экзамене (2); электронный учебник позволяет наверстать упущенное в результате пропусков очных занятий (3); электронный учебник позволяет систематизировать освоение предмета при любом количестве очных занятий (4); электронный учебник позволяет формализовать минимальные требования для сдачи зачета и уменьшает количество неуспевающих по предмету (5); применение электронного учебника целесообразно для обучения людей с ограниченными возможностями посещения очных занятий (6); электронный учебник эффективен для организации лабораторных работ в условиях отсутствия в учебных планах часов под этот вид учебной деятельности и дефицита в вузах учебных лабораторий (7); электронный учебник эффективен для подготовки к любым формам контроля, в том числе при наличие задолженности (8).

Последние четыре утверждения касались, наоборот, нецелесообразности и неэффективности применения электронного учебника, поскольку «существует проблема неаутентичности ответов пользователей» (9); «работа с электронным учебником требует от преподавателя и студента дополнительных усилий» (10), «качество материала традиционного печатного издания представляется более высоким по сравнению с электронным учебником» (11), «возможность использования электронного учебника ограничено наличием интернета и бесперебойностью работы провайдера» (12).

Результаты анкетирования отражены на рисунке 3.

Рис. 3. Оценки целесообразности и эффективности применения ЭУ

В среднем причины эффективности применения электронного учебника (средний балл 5.3) были оценены преподавателями выше причин неэффективности (средний балл 4.7). Среди положительных причин эффективности применения электронного учебника лидерами являются: «электронный учебник позволяет формализовать минимальные требования для сдачи зачета и уменьшает количество неуспевающих по предмету» и «электронный учебник эффективен для подготовки к любым формам контроля, в том числе при наличие задолженности». Следует отметить, что приведенные причины эффективности электронного учебника указывают на восприятие педагогическим сообществом электронного учебника в первую очередь как важного и эффективного средства организации самостоятельной работы студентов в формате традиционного ведения образовательной деятельности.

Среди отрицательных причин, ставящих под сомнение эффективность применения электронных средств обучения, на первом месте стоит проблема, связанная с контролем аутентичности ответов пользователей СДО, которая снижает в ближайшем будущем возможности замены в полной мере традиционного образования дистанционной формой. 

Заключение

Приведенные в статье результаты социологического исследования в студенческо-преподавательской среде показывают, что мнения педагогического сообщества о эффективности применения СДО меняются в ходе их активного использования в пандемийный и постпандемийный период. Ведущими мотивами использования электронных учебников вместо формальных причин, связанных с требованиями администрации вузов и невозможностью осуществления традиционной образовательной деятельности в пандемийный период, становятся возможности повышения эффективности обучения с помощью организации на основе СДО самостоятельной работы студентов и формирования их индивидуальных траекторий с использованием современных методов машинного обучения и обработки статистических данных о работе студентов с электронными учебниками. В целом оценка эффективности применения электронных средств обучения, полученная методом социологического исследования, является положительной как в студенческой среде, так и в педагогической. Исследование мнения экспертов и преподавателей указывает важные направления дальнейшего совершенствования средств СДО в первую очередь в направлении решения проблемы аутентичности ответов пользователей СДО. Это, тем не менее,  не уменьшает важности применения электронных учебников как тренажеров для студентов при подготовке к контрольным мероприятиям, и в качестве средства выполнения домашних, лабораторных работ и как средства адаптации процесса обучения на основе обратной связи, получаемой педагогом в ходе работы студентов в электронной образовательной среде. Используемый в работе способ оценки эффективности применения электронного учебника на основе анкетирования преподавателей выражает мнение педагогического сообщества и указывает причины эффективности, однако сильно зависит от составленной исследователями анкеты и может рассматриваться лишь как важная часть оценки эффективности ЭУ, которую необходимо дополнять средствами объективного анализа, основанными возможно на применении методов машинного обучения и искусственного интеллекта.   

1. Битюков Ю.И., Мартюшова Я.Г. Решение задач по теории функций комплексного переменного: учебное пособие. М.: Изд-во МАИ, 2022. 88 с.
2. Боголепова С. В. Анализ опыта обучения (в российском вузе) в онлайн-формате в период пандемии // Отечественная и зарубежная педагогика. 2021. Т. 1, № 4 (77). С. 107–122.
3. Босов А. В., Мартюшова Я. Г., Наумов А. В. Выбор направлений оценивания качества электронных средств обучения для организации учебного процесса вуза // Сибирский педагогический журнал. 2022. № 2. С. 54–63.
4. Кобзарь А. И. Прикладная математическая статистика. Для инженеров и научных работников: учебное пособие. М.: ФИЗМАТЛИТ, 2006. 816 с.
5. Курбацкий В.Н., Сиренко С.Н. Критерии оценки качества современного электронного учебного курса [Электронный ресурс] // Электронная библиотека БГУ. URL: https://elib.bsu.by/bitstream/123456789/164738/1/Курбацкий_5_2012-046-049.pdf ( дата обращения: 20.06.2023).
6. Мартюшова Я.Г. Дидактические принципы конструирования электронного учебника для студентов университетов: дисс. … канд. пед. наук. М., 2019. 161 с.
7. Мартюшова Я.Г. Анализ результатов педагогического эксперимента по внедрению дистанционных технологий в преподавание математических дисциплин для технических специальностей вузов // Моделирование и анализ данных. 2023. Том 13. № 2. C. 194–205. DOI: https://doi.org/10.17759/mda.2023130211
8. Наумов А.В., Джимурат А.С., Иноземцев А.О. Система дистанционного обучения математическим дисциплинам CLASS.NET// Вестник компьютерных и информационных технологий. 2014. №10. С. 36–44.
9. Панькина Е.В., Черчик И.В. Оценка качества электронного учебного курса как необходимое условие современного обучения // Профессиональное образование в России и за рубежом. 2021.№ 1(41). С. 39–47.
10. СДО МАИ CLASS.NET [Электронный ресурс] // URL http://www.distance.mai.ru/ (дата обращения: 10.06.2023).