Анализ результатов педагогического эксперимента по внедрению дистанционных образовательных технологий в преподавание математических дисциплин для технических специальностей вузов

В статье рассматриваются результаты педагогического эксперимента по внедрению современных дистанционных образовательных технологий в преподавание математических дисциплин студентам технических специальностей высшей школы. В качестве базы для проведения эксперимента использовался электронный учебник по курсу «Теория функции комплексного переменного», используемый в рамках системы дистанционного обучения CLASS.NET для преподавания этой дисциплины в Московском авиационном институте. В работе приводятся результаты предварительного статистического анализа однородности экспериментальных и контрольных групп студентов и результаты их анкетирования с целью выявления мотивации к использованию средств дистанционного обучения в учебном процессе. Приводится сравнительный анализ текущих рейтингов студентов экспериментальных и контрольных групп, вычисляемых в моменты проведения контрольных мероприятий в течение семестра. Эффективность применения разработанной технологии использования средств дистанционного обучения (СДО) в учебном процессе подтверждается результатами статистических исследований финальных оценок студентов, полученных в ходе очного тестирования.

Введение

Повсеместное использование в современном образовательном процессе средств дистанционного обучения порождает актуальность исследований, направленных на оценку эффективности применения дистанционных образовательных технологий по сравнению с традиционной очной формой ведения образовательной деятельности. Появляются исследования направленные на оценку качества используемых в современных системах дистанционного обучения (СДО) электронных учебников [4, 8, 9]. Появляются новые смешанные формы ведения образовательной деятельности в высшей школе, когда СДО используется для организации самостоятельной работы студента и выполнения им домашних работ, в то время как традиционные лекционные и семинарские занятия проводятся в привычном очном формате. По такому принципу организовано применение СДО CLASS.NET [7,11] Московского авиационного института, используемое в преподавании математических дисциплин для студентов технических специальностей. В рамках этого СДО автором статьи был разработан электронный учебник (ЭУ) по курсу «Теория функции комплексного переменного» [1], с использованием которого в весеннем семестре 2023 года был проведен педагогический эксперимент, направленный на оценку эффективности применения разработанного электронного учебника при смешанной форме ведения занятий, а также на изучение изменения мотивационной составляюшей учебного процесса для задействованных в эксперименте студентов. Электронный учебник был разработан на основе применения дидактических принципов конструирования электронных учебников [5] в рамках парадигмы адаптивного компьютерного тестирования [8], учитывающей индивидуальные особенности студентов экспериментальных групп. Контент электронного учебника разбит на 17 разделов, что соответствует 17 семинарским занятиям стандартного семестрового курса ТФКП для студентов технических факультетов. Каждый раздел состоит из блоков тестовых и контрольных заданий, а также заданий с дозированной педагогической помощью (заданий для самостоятельного обучения). Структура типового электронного учебника, используемого в СДО CLASS.NET, подробно описана в [7]. Проведению педагогического эксперимента предшествовал статистический анализ однородности экспериментальных и контрольных групп студентов, проведенный с использованием аппарата проверки статистических гипотез. Мотивационная составляющая, привнесенная использованием ЭУ исследовалась на основе проведенного анкетирования студентов.  Эффективность применения в образовательном процессе электронного учебника обосновывалась на основе статистического анализа результатов их очных финальных тестов, согласно методике, предложенной в [6].

Организация педагогического эксперимента и исследование мотивационной составляющей применения дистанционных образовательных технологий

Для организации педагогического эксперимента было задействовано 2 экспериментальные и 2 контрольные группы студентов одного из технических факультетов МАИ. Для чистоты эксперимента с помощью критерия хи-квадрат была проверена гипотеза об однородности выбранных групп студентов на основе анализа набранного ими балла ЕГЭ.

Состав академических групп не подлежит изменению, поэтому результаты групп были сопоставлены попарно и таким образом, были выделены 4 группы с наиболее близкими результатами.

С помощью критерия хи-квадрат проверки гипотезы об однородности наблюдений [3, с.194] проверялась гипотеза о том, что баллы ЕГЭ по математике в той и другой группе студентов имеют один и тот же закон распределения.

Значение статистики критерия хи-квадрат вычисляется по формуле

где  – количество всех наблюдений (суммарное количество студентов в обеих группах),  – количество групп,  – количество интервалов, ,  – объемы выборок (количество студентов в группах), ,  – суммарное количество попаданий в j-й интервал,  – количество попаданий баллов студентов i-й группы в j-й интервал.

В рассматриваемом случае, , . Доверительная область , где  – квантиль уровня  распределения хи-квадрат с  степенями свободы. При  и  . Значения статистики попарно по группам приведены в табл. 1.

Таблица 1

Значения статистики хи-квадрат при проверке однородности по результатам ЕГЭ

Так как вычисленное по исходным данным значение статистики попадает в доверительную область, то на уровне доверия 0.95 можно утверждать, что опытные данные согласуются с первоначальной гипотезой об однородности выборок. Таким образом, начальный уровень математической подготовки в экспериментальных и контрольных группах можно считать одинаковым.

Следуя дидактическому принципу конструирования электронного учебника, связанному с компетентностным подходом [2,5], были также проверены на однородность результаты, которые продемонстрировали студенты групп по курсу «Математический анализ», предшествующему курсу ТФКП, и позволяющему студентам овладеть необходимыми компетенциями для его освоения. Однородность результатов проверялась тем же способом. Результаты проверки приведены в табл. 2.

Таблица 2

Значения статистики хи-квадрат при проверке однородности по результатам освоения требуемых компетенций

При той же границе доверительной области квантили распределения хи-квадрат) видно, что все четыре гипотезы об однородности по-прежнему принимаются. Однако это происходит значительно менее уверенно (значение статистики близко к границе доверительной области), что можно объяснить различными преподавателями, которые вели в группах семинарские занятия по курсу «Математический анализ». 

Помимо анализа однородности выбранных групп студентов методом анкетирования был проведен сравнительный анализ мотивационной составляющей участвующих в эксперименте студентов к использованию в процессе обучения средств дистанционного обучения. Анкетирование проводилось до и после проведения эксперимента в группах, где применялся в процессе обучения электронный учебник для организации самостоятельной работы студентов.

Согласно методике, использованной в [5], студентам было предложено оценить значимость для них 16 утверждений. Для оценки была использована 7-балльная шкала. Утверждения были сформулированы таким образом, чтобы можно было оценить отношение студентов к целесообразности, или нецелесообразности использования электронного учебника в процессе обучения.

Они состояли в том, что «работа с электронным учебником…»: позволит мне хорошо освоить курс ТФКП (утверждение 1); получить положительную оценку по курсу ТФКП (2); мне интересен сам процесс работы с электронным учебником (3); даст мне возможность контролировать свой рейтинг среди сокурсников в лекционном потоке (4); работа с электронным учебником эмоционально вовлекает, как компьютерная игра (5); даст мне возможность продемонстрировать свои текущие успехи родителям (6); я заинтересован в современных способах получения знаний предмета (7); я хочу учиться по электронному учебнику, так как я ориентирован на получение современной престижной специальности, поэтому мои ожидания связаны с тем, что методы обучения будут соответствовать времени (8); мне удобнее решать выполнять задание в электронном учебнике, а не в школьной тетради (9); использование современных методов обучения в моем вузе повышает мои шанс хорошей карьеры в будущем (10); даст мне возможность получить подсказку в момент решения задачи, не откладывая решение до встречи с преподавателем (11); хочу быть востребованным в современной жизни и поэтому хочу владеть современными методами работы в изучаемых мной дисциплинах (12); позволит мне выполнять задание, следуя индивидуальной траектории выполнения заданий, учитывающей мой уровень знаний (13); я хочу получить диплом о высшем образовании и поэтому должен выполнять все требования, которые предъявляются ко мне в учебном процессе (14); даст мне возможность потратить меньше времени на выполнение задания (15); быть в глазах сверстников современным человеком, получающим образование в соответствии с требованиями времени.

Средние значения оценки мотива для студентов экспериментальной группы до и после работы с электронным учебником отражены на рисунке 1.

Рис. 1. Оценки значимости для студентов использования ЭУ в учебном процессе

На описании изменений позиций наиболее важных для студентов мотивов использования электронного учебника остановимся чуть подробнее. Произошло изменение положений мотивов, занимающих пять первых позиций по результатам опроса до начала формирующего этапа опытно-экспериментальной работы (февраль 2023 г.) по сравнению с их расположением на конец учебного семестра (май 2023г.). Так, уровень внешней мотивации получения хорошей оценки по изучаемому предмету снизился, а желание получить глубокие и прочные знания укрепило свою позицию. После изучения курса с помощью ЭУ возникла потребность в получении подсказки, дозированной педагогической помощи, непосредственно в процессе самостоятельной работы, поскольку такая возможность оказалась реальной, желание ее реализации вышло на ведущие позиции. Потребность следования индивидуальной траектории обучения позицию не поменяла, осталась на четвертом месте.

Надо заметить, что оценки некоторых функций электронного учебника снизились. Так, не оправдались надежды студентов на уменьшение времени на выполнение заданий и сам процесс работы с электронным учебником не получил высоких оценок, в отличие от конкретных его функций, упомянутых выше. Это задает направление дальнейшего совершенствования конкретного электронного учебника, использованного на формирующем этапе эксперимента. Очевидна необходимость дальнейшего расширения возможности индивидуализации обучения, совершенствования программной оболочки и корректировки системы задач, исключая требующие громоздких вычислений с большим количеством действий.

Увеличение данных студентами субъективных оценок функций электронного учебника, позволяющих контролировать рейтинг студентов, предоставлять возможность получения дозированной педагогической помощи, обеспечивать индивидуализацию выбора заданий и темпа изучения материала, подтверждает результативность с точки зрения студентов использования электронного учебника, построенного в соответствии с дидактическими принципами конструирования ЭУ [2,5].

Кроме того, если разделить мотивы работы с электронным учебником на два кластера, внутренние мотивы, связанные непосредственно с учебной деятельностью с использованием электронного учебника, и внешние по отношению к этой деятельности, то можно проследить изменение структуры мотивационной сферы студентов экспериментальной группы на рис. 2.

Рис. 2. Изменение структуры мотивационной сферы студентов экспериментальных групп

Доля студентов, для которых наиболее значимыми являются внутренние мотивы, увеличилась в конце семестра с 62% до 71%, что также подтверждает результативность использования электронного учебника [10, 12].

Анализ эффективности применения дистанционных образовательных технологий на основе очного тестирования

Эффективность применения электронного учебника по курсу ТФКП оценивалась на основе анализа финальных оценок за курс, полученных студентами экспериментальных и контрольных групп в ходе очного финального тестирования. Уровень теоретической и практической подготовки студентов контролировался в течение семестра на промежуточных аттестациях в виде аудиторных работ, предусматривающих проверку соответствующих проверяемой теме компетенций путем решения задач. Окончательная оценка уровня усвоения учебного материала, как теоретического, так и практического, определялась оценкой, полученной на итоговой аттестации в конце учебного семестра. По учебному плану итоговая аттестация предусмотрена в виде зачета с оценкой, дающего оценку по 4-балльной системе: «отлично», «хорошо», «удовлетворительно», «неудовлетворительно». При этом есть еще одна категория студентов – не явившиеся на зачет, классификация которых затруднена, поэтому эти студенты исключались из рассмотрения, что незначительно меняло численный состав группы. Таким образом, по окончанию формирующего этапа эксперимента, контингент студентов был разделен на 4 группы по уровню усвоения учебного материала: высокий, хороший, средний, низкий.

Результаты проведения итоговой аттестации в объединенных экспериментальных и объединенных контрольных группах представлены на диаграмме ниже (рис. 3).

Рис. 3. Результаты финального тестирования в экспериментальных и контрольных группах

На рис. 3 по горизонтали отмечены оценки на экзамене, по вертикали – доля студентов, получивших соответствующие оценки на экзамене, в процентах. На диаграмме представлены доли, в процентах от общего числа студентов группы, тех обучающихся, которые получили на экзамене указанные отметки. По сравнению с началом семестра, распределения оценок в экспериментальной и контрольной группах отличаются от распределения баллов ЕГЭ по группам. Если при анализе однородности распределения результатов ЕГЭ, сделанном до начала опытно-экспериментальной работы, критерий хи-квадрат показал однородность выборок, то по данным зачета однородность не подтверждается. Значение критерия хи-квадрат возросло до , что больше критического значения  (квантили уровня 0.9 распределения хи-квадрат с 3 степенями свободы), то есть различия существенны на уровне доверия 0,9.

Доли студентов с высоким и хорошим уровнем усвоения материала отличаются незначительно, но доля студентов с низким уровнем в экспериментальной группе существенно ниже (10% в экспериментальной группе против 27% в контрольной), в то время как наблюдается резкое возрастание студентов среднего уровня (45% в экспериментальной и 27% в контрольной). Такую динамику можно объяснить наличием в электронном учебнике обратной связи и возможности мониторинга деятельности студентов, видимостью для преподавателя той части процесса, которая относится к часам самостоятельной работы студентов и заложена в учебных планах и программах дисциплин, изучаемых в вузах. Кроме того, самими студентами отмечен стимулирующий эффект в виде рейтинга студентов в группе, рейтинга групп в потоке и самой автоматизированной рейтинговой оценки, пересчет которой происходит в СДО CLASS.NET при каждом изменении статистической информации, связанной с конкретным пользователем.

В обоих группах при изучении ТФКП учебники в печатной форме использовались одни и те же, то есть отличие в обеспечении учебного процесса учебниками заключалось только в наличии или отсутствии электронного учебника, поэтому отличия в прохождении итоговой аттестации, которую проводит один и тот же лектор, так как группы учились на одном потоке, можно отнести к результативности использования электронного учебника.

Кроме того, исследовалось соответствие оценки активности и качества самостоятельной работы студента, полученной с помощью электронного учебника, оценке уровня знаний студентов, данной преподавателями. Методами корреляционного анализа оценивалась зависимость этих двух параметров. При значимом отличии от нуля коэффициента корреляции можно утверждать, что показатели зависимы, а значит, можно использовать статистические данные работы студента в электронном учебнике в качестве одного из параметров оценки учебной работы студента в семестре, что также говорит о результативности использования электронного учебника.

В качестве статистического параметра, вычисляемого при помощи одной из функций блока статистической информации СДО CLASS.NET, был взят «прогресс», то есть отношение количества правильно выполненных заданий учебника к максимальному числу заданий, которые могут быть предложены студенту. Показатели были сняты в конце весеннего семестра 2022/2023 учебного года и после получения студентами оценок на экзамене, был вычислен коэффициент корреляции Пирсона, который составил . Эмпирическое значение t-критерия Стьюдента значимости коэффициента корреляции получилось равным 6,212 при критическом значении критерия . Эмпирически найденное значение коэффициента корреляции значительно превышает критический порог, что говорит о значимости коэффициента корреляции и наличии связи между рассматриваемыми параметрами, статистики работы студентов в электронном учебнике и оценкой, полученной впоследствии на экзамене.

Конечно, на окончательную оценку по дисциплине влияет множество факторов и электронный учебник только один из них, но, тем не менее связь между рассмотренными параметрами существует и, исходя из модуля  (коэффициента корреляции), ее можно охарактеризовать как умеренную, то есть можно использовать статистические показатели электронного учебника, относящиеся к конкретному студенту, в качестве одного из параметров оценки его учебной работы в семестре, что говорит о результативности использования электронного учебника.

Заключение

Приведенные в статье результаты педагогического эксперимента по применению электронного учебника по курсу ТФКП для организации самостоятельной работы студентов технических специальностей МАИ продемонстрировали эффективность его применения по ряду показателей. Основным показателем безусловно является финальная оценка, полученная студентами за курс в результате традиционного очного тестирования (зачета с оценкой). Применение аппарата проверки статистических гипотез убедительно подтвердило объективность сделанных выводов о существенном отличии (в лучшую сторону) результатов освоения предмета и заявленных в его учебном плане компетенция студентами экспериментальных групп, в которых применялся электронный учебник. Вторым, не менее важным показателем результата применения СДО, явилось изменение мотивационной сферы студента в сторону увеличения доли внутренних мотивов, что также способствует повышению эффективности освоения материала. В тоже время проведенный анализ выявил направления совершенствования как структуры электронного учебника, так и функций электронной управляющей оболочки СДО, в целом соответствующие дидактическим принципам конструирования электронных учебников, предложенным ранее авторами статьи.

Рост часов на самостоятельную работу студентов в высшей школе требует ее контроля и организации, что может быть реализовано с помощью дистанционных средств обучения с хорошо организованной обратной связью. Эта же обратная связь позволяет пользователям СДО (студентам) осуществлять самоконтроль своей деятельности, создает дополнительный мотивационный эффект к процессу познания нового материала и является основой для адаптивного подхода к процессу формирования с помощью СДО индивидуальной траектории студента, наиболее полно учитывающей его особенности и текущий уровень знаний.  Проведенный анализ результатов педагогического эксперимента позволяет сделать вывод, что объединение традиционной очной формы ведения педагогической деятельности с применением дистанционных образовательных технологий дает синергетический эффект, способный существенно улучшить усвоение студентами, преподаваемых им дисциплин высшей математики.

1. Битюков Ю.И., Мартюшова Я.Г. Решение задач по теории функций комплексного переменного: учебное пособие. М.: Изд-во МАИ, 2022. 88 с.
2. Босов А.В., Мартюшова Я.Г., Наумов А.В. Особенности формирования контента электронных учебников на основе дидактических принципов их конструирования // Отечественная и зарубежная педагогика. 2022. Т. 1, № 4 (85). С. 34–45. DOI:10.24412/2224-0772-2022-85-34-45
3. Кибзун А.И., Горяинова Е.Р., Наумов А.В. Теория вероятностей и математическая статистика. Базовый курс с примерами и задачами. М.: ФИЗМАТЛИТ, 2017. 232 с.
4. Курбацкий В.Н., Сиренко С.Н. Критерии оценки качества современного электронного учебного курса [Электронный ресурс] // Электронная библиотека БГУ. URL: https://elib.bsu.by/bitstream/123456789/164738/1/Курбацкий_5_2012-046-049.pdf (дата обращения: 19.04.2023).
5. Мартюшова Я.Г. Дидактические принципы конструирования электронного учебника для студентов университетов: дисс. … канд. пед. наук. М., 2019. 161 с.
6. Мартюшова Я.Г., Мещеряков Е.А., Мхитарян Г.А. Организация автоматизированной рейтинговой формы контроля в электронных учебниках СДО МАИ CLASS.NET // Приложение к международному научному журналу Современные информационные технологии и ИТ-образование. 2017. Т. 13, № 3. С. 174–180.
7. Наумов А.В., Джимурат А.С., Иноземцев А.О. Система дистанционного обучения математическим дисциплинам CLASS.NET // Вестник компьютерных и информационных технологий. 2014. №10. С. 36–44. DOI: 10.14489/vkit.2014.010.pp.036-044
8. Наумов А.В., Мартюшова Я.Г. Адаптация системы дистанционного обучения на основе статистической обработки результатов работы пользователей [Электронный ресурс] // Труды МАИ. 2019. № 109. URL: https://trudymai.ru/published.php?ID=111420 (дата обращения: 19.04.2023). DOI: 10.34759/trd-2019-109-21
9. Панькина Е.В., Черчик И.В. Оценка качества электронного учебного курса как необходимое условие современного обучения // Профессиональное образование в России и за рубежом. 2021. № 1(41). С. 39–47.
10. Реан А.А., Коломинский Я.Л. Социальная педагогическая психология. СПб.: Издательство «Питер», 2000. 416 с.
11. СДО МАИ CLASS.NET [Электронный ресурс] // URL http://www.distance.mai.ru/ (дата обращения: 19.04.2023).
12. Якунин В.А. Психология учебной деятельности студентов. М.: Логос, 1994. 160 с.