Аналитический потенциал платформы дистанционного обучения ИнфоДа Moodle МПГУ

В статье приведены данные, раскрывающие характер развития дистанционного обучения в Московском педагогическом государственном университете. Показано, что по мере распространения дистанционных образовательных технологий накапливается все больше данных, которые с успехом могут быть использованы для анализа и проектирования образовательных результатов. Описаны программные решения и подходы по развитию функционала платформы Moodle с целью прогнозирования успеваемости студентов.

Введение

Анализ – преобразование массива данных в конкурентоспособные аналитические выводы, оказывающие влияние на деловые решения и последующие действия [1, с. 114]. Такое определение анализу дает в своей книге «Аналитическая культура» американский учёный и статистик Уильям Эдвардс Деминг. С ним нельзя не согласиться, так как сами по себе статистические данные не позволяют принимать адекватные управленческие решения. Так, например, анализ статистических данных по успеваемости в системе дистанционного обучения предполагает не только оценку результатов обучения, но и оценку качества самих средств контроля знаний обучающихся. Тесты могут быть слишком простыми или наоборот слишком сложными для программы обучения, или тесты могут быть с маленькой базой вопросов, в результате чего ответы на вопросы становятся известны учебной группе заранее. Только в комплексе с такими показателями как распределение оценок, объем базы тестовых заданий, уровень сложности вопросов и другие показатели качества оценки знаний, анализ успеваемости позволит сделать адекватные аналитические выводы.

По мере распространения дистанционных образовательных технологий, развития соответствующих образовательных платформ и навыков работы с ними, накапливается все больше данных, которые с успехом могут быть использованы для анализа и проектирования образовательных результатов [2, 3, 5, 6]. В свою очередь, система управления обучением Moodle предоставляет достаточно широкие возможности для их анализа. Поскольку структура среды является гибкой, ее можно оптимизировать и расширять, разрабатывая новые модули для анализа учебной среды, что и является весьма актуальной задачей.

Несмотря на широкий функционал платформы LMS Moodle, зачастую стандартных отчетов системы оказывается недостаточно для того, чтобы сделать практически полезные выводы, а главное – представить данные в виде конкретных показателей. Кроме того, в базовой версии системы отсутствует возможность скачать многие из отчетов, указать интересующий диапазон дат для ряда отчетов. Возможность предусмотрена только в отчете о деятельности, в остальных типах отчетов можно выбирать только последний период, за который строится отчет: последний день, последняя неделя, последний месяц и т. п. [7], поэтому желательно, чтобы отчеты в системе могли быть сформированы для разных категорий пользователей в зависимости от определенных показателей оценки.

Методы

Для решения поставленных задач использовались статистика за 2020-2022 гг. с портала дистанционного обучения ИнфоДа Moodle МПГУ, методы многомерного анализа, анализ научно-методической литературы, системный подход.

Результаты

Обращаясь к опыту Московского педагогического государственного университета, можно заметить, что после локдауна 2020 года в динамике дистанционного обучения университета произошел резкий скачок. На рис. 1 и 2 приведены данные по использованию платформы дистанционного обучения ИнфоДа Moodle МПГУ за 2020-2021 учебный год. За этот период было проведено более 21565 видеоконференций, а число пользователей на портале дистанционного обучения ИнфоДа МПГУ увеличилось почти в три раза – с 13950 до 30000 пользователей (рис. 1).

Рис. 1. Изменение численности пользователей на портале ИнфоДа Moodle МПГУ за 2020-2021 учебный год

Число курсов на портале дистанционного обучения ИнфоДа МПГУ с 2020 по 2021 гг. увеличилось почти в два раза – с 8400 до 12500 (рис. 2).

Рис. 2. Динамика числа курсов на портале ИнфоДа Moodle МПГУ за 2020-2021 учебный год

При этом необходимо заметить, что курсов на платформе стало не только больше, но и размещаемый на платформе контент стал гораздо разнообразнее. В 2020 году основная часть курсов на платформе представляла из себя скорее электронные образовательные ресурсы, так как они включали в основном статичные файлы и задания для проверки преподавателем. При этом на один размещенный в системе файл приходилось в среднем только 0,2 теста. Остальная часть курсов состояла из пояснений, ссылок, форумов, страниц с текстом, папок с файлами и элементов видеоконференций BigBlueButton (табл.).

Таблица Динамика числа ресурсов и элементов курсов на платформе ИнфоДа Moodle МПГУ
за 2020-2022 гг.

Анализируя динамику изменения числа ресурсов и элементов курсов на платформе ИнфоДа Moodle МПГУ за 2020-2022 гг., можно сделать ряд выводов:

1. преподаватели стали активнее использовать в своей работе элементы обратной связи, позволяющие отслеживать ход выполнения задания и собирать данные от обучающихся, используя различные типы вопросов. Об этом говорит увеличение числа элементов «Рабочая тетрадь» на 338%, увеличение числа элементов «Обратная связь» на 274%, увеличение числа элементов «Тест» на 183%;
2. в 3,6 раза увеличилось число сертификатов, присваиваемых по результатам обучения (рост числа элементов «Сертификат» на 267%);
3. преподаватели стали чаще предлагать учебный материал в курсах в виде папок (рост числа ресурсов «Папка» на 259%);
4. преподаватели стали чаще использовать для проведения вебинаров интегрированную в платформу дистанционного обучения систему видеоконференцсвязи BigBlueButton (рост числа соответствующих элементов в курсах 227%).

Анализируя полученные данные, также необходимо отметить, что платформа дистанционного обучения в университет по-прежнему продолжает использоваться в основном для размещения статичного материала и контроля знаний. Это не говорит о качестве обучения, так как в университете используется исключительно смешанная модель дистанционного обучения, но свидетельствует о том, что возможности системы используются не в полной мере. Об этом говорит также и тот факт, что рост числа таких элементов для контроля знаний как «Тест», «Файл», «Задание» происходил активнее, чем рост числа самих курсов в системе. Если за исследуемый период число курсов в системе увеличилось почти в два раза, то число перечисленных элементов увеличилось почти в три раза, а значит среднестатистический курс стал больше наполнен файлами, зданиями и тестами. При этом за это время так и не удалось преодолеть порог в 0,2 теста на один файл (динамика увеличения файлов и тестов одинаковая – 183%).

Среди негативных факторов стоит отметить снижение интерактивной составляющей, так как интерактивный контент увеличивался медленнее самих курсов в системе: «Интерактивный контент» – рост 84%; «Семинар» – 53%; «Лекция» – 40%; Пакет SCORM – 24%. Наименьшим спросом у преподавателей пользуются такие элементы разработки контента как «Чат», «База данных», «Вики», «Опрос», «Глоссарий» и «Анкета».

Очевидно, что полученных данных недостаточно для того, чтобы сделать окончательные выводы о причинах таких предпочтений преподавателей в отношении инструментария для разработки курсов. Выбор преподавателя может быть обусловлен, как недостатком у преподавателей навыков разработки цифрового образовательного контента и мотивации для его разработки, так и спецификой обучения по программам педагогического вуза. Тем не менее оценка качества разработки контента, в том числе степени его интерактивности, остается очень важным этапом планирования системы дистанционного обучения, так как именно интерактивность курсов позволяет вовлекать и задавать ритм обучения, собственно превращает электронный образовательный ресурс в сам электронный курс.

LMS Moodle позволяет собирать и обрабатывать достаточно большое число данных об онлайн- и офлайн-обучении в автоматическом режиме, осуществлять функции сбора и хранения информации о посещении пользователями дистанционных учебных курсов, она обладает недостаточно развитым функционалом для анализа хода учебного процесса. Если курс, например, не поддерживает интерес обучающегося в течение всего периода обучения, то интерес к его материалам от темы к теме начинает снижаться. Это видно на стандартных диаграммах, отражающих число обращений к курсу в целом и к отдельным его элементам [7].

Однако базовая версия LMS Moodle не содержит отчетов, демонстрирующих совместно действия пользователя на курсе и получаемые им оценки, что не позволяет быстро выявлять связи между поведением студента на курсе и его успеваемостью [3]. Например, информация по активностям студентов представлена в разделе «Отчеты», а информация по оценкам собирается в отдельном отчете «Отчет по оценкам» в разделе «Оценки». При этом в Moodle оценки в журнале оценок далеко не всегда являются оценками за дисциплину или программу в целом, что не позволяет автоматически вывести такой важный показатель эффективности обучения как доля аттестованных участников обучения от их общего числа. Термин «окончание курса», принятый как показатель завершения обучения в учебных заведениях, в Moodle подходит для оценки личных успехов учащихся, а тем временем успешным завершением обучения по тому или иному курсу (предмету, дисциплине) должен считаться сданный зачет, либо экзамен.

LMS Moodle предоставляет широкие данные для анализа успеваемости студентов, учитывающие промежуточные и контрольные тесты. Однако для преподавателя и администрации зачатую важнее не сами баллы за отдельные задания, сколько информация о том, сколько обучающихся завершили обучение на том или ином этапе, сколько еще изучают курс, а сколько еще даже не приступали к обучению. Расширение интерфейса системы позволило бы использовать алгоритмы для статистического анализа данных и формирования ведомостей успеваемости с целью более детального визуального представления итогов обучения [2], а также получения такого показателя как процент аттестованных. Как уже было отмечено выше, в системе дистанционного обучения этот показатель говорит не только о качестве организации учебного процесса, но и качестве образовательного контента. Таким образом, для очной формы обучения возникает необходимость внедрения в курс таких разделов, как «посещаемость» и «итоговая оценка», которые заполняются преподавателями.

Для системы дистанционного обучения Московского педагогического государственного университета актуальной задачей является разработка аналитического модуля, ориентированного на процесс получения разными категориями пользователей аналитической информации в визуальном представлении за необходимый хронологический период о качестве цифрового образовательного контента.

В основу разработки данного модуля были положены две группы показателей: показатели активности обучающихся на курсе и показатели интерактивности инструментов разработки курса. При постановке такой задачи заказчики исходили из следующих предположений. Во-первых, предположения о том, что показатели активности обучающихся на курсе напрямую связаны с качеством цифрового образовательного контента, во-вторых, предположения о том, что интерактивность курса положительно влияет на интерес обучающихся к обучению, а характер интерактивности курса отражается в структуре инструментов, используемых для разработки курса.

В источниках [8-14] представлены результаты исследований, установившие связи между активностями студентов в онлайн среде и их успехами в обучении. В работе [15] авторы исследовали зависимость между журналами активностей учеников в LMS и их итоговыми оценками и пришли к выводу, что просмотры курса, просмотры заданий, просмотры форумов и просмотры ресурсов оказывают наибольшее влияние на оценки учащихся.

Для исследования интенсивности использования дистанционного курса за определенное время даже с помощью стандартного «Отчета о деятельности» (установив соответствующий временной фильтр) мы можем визуализировать данные о числе различных пользователей, просмотревших элементы курса за семестр. Мы можем в результате увидеть тенденцию к снижению или наоборот – увеличению учебной активности в течение всего семестра.

Оценка активности студентов по освоению курсов на платформе дистанционного обучения ИнфоДа Moodle МПГУ с помощью стандартных статистических отчетов системы подтверждает, что существует прямая связь между активностями студентов в онлайн среде и наличием в курсе элементов с обратной связью. Так, например, при правильном планировании курса, с помощью таких интерактивных элементов как H5P (интерактивный контент) и HotPot можно поддержать интерес у обучающихся во время всего периода обучения. При этом необходимо отметить, что наличие в курсе таких элементов как «Форум», «Чат», «Семинар» требует от обучающихся непосредственного общения с преподавателем, которое подразумевает, что обучающийся не один раз прикрепил свой ответ для проверки преподавателем и потом получил оценку, а несколько раз заходил в курс для того, чтобы поучаствовать в обсуждении какой-либо учебной проблемы и получить оценку.

Показателями активности учащегося в цифровой среде могут являться:

• число обращений к видеолекциям и время их просмотра (в полном ли объеме прослушана лекция или частично);
• доля (процент) видеолекций, которая была востребована учащимся (ко всем ли лекциям были запросы);
• доля заданий (процент) заданий и электронных тестов, которые имели попытки прохождения, и какая часть из них была пройдена успешно;
• среднее время выполнения заданий и прохождения тестов;
• среднее число попыток (с какой попытки удалось пройти тест или выполнить задание);
• число обращений к интерактивным элементам: лекция, семинар, H5P и пр.;
• частота участия в форумах или блогах;
• соблюдение порядка перемещения между ресурсами и элементами курса.

Как инструмент разработки контента определяет активность работы с ним можно рассмотреть на примере такого элемента как «Семинар». Элемент «Семинар» устроен так, что обучающийся не только должен открыть его, чтобы изучить вопрос, а потом прикрепить свой ответ, но элемент «Семинар» в Moodle также предусматривает механизм взаимного оценивания обучающимися работ друг друга. Это означает, что для того, чтобы семинар был завершен, необходимо еще принять участие в оценке работ своих одногруппников.

Таким образом, можно заметить, что в LMS Moodle заложена определенная логика организации обучения на курсе, в которой «ресурсы системы» выполняют функцию статичных элементов, то есть они только передают обучающимся информацию в одностороннем порядке, а «элементы системы» обеспечивают обратную связь. Это означает, что характер выбранных преподавателем ресурсов и элементов для разработки курсов определяет характер работы с курсовом обучающихся. При этом можно заметить, что «элементы» в разной степени поддерживают тот или иной уровень обратной связи. Например, чат и форум выполняют в системе схожие функции, при этом в чате необходимо присутствовать онлайн, а с помощью форума можно осуществлять оценку и консультировать в офлайн режиме.

Контроль знаний в системе можно проводить с помощью разных элементов, в том числе и с помощью форума и чата, однако только задания, подготовленные с помощью таких элементов как «Интерактивный контент», HotPot и «Лекция» обеспечивают максимальную поддержку обратной связи во время тестирования. Несмотря на то, что все элементы Moodle обеспечивают обратную связь, степень интерактивности у них разная.

Обсуждение

Показатели эффективности дистанционного обучения целесообразно анализировать системно. Объединение их в общую концепцию должно учитывать своеобразие процессов той или иной образовательной организации. При этом в процессах анализа и планирования могут быть задействованы алгоритмы машинного обучения, так как современный искусственный интеллект в образовании позволяет, в том числе, проводить мониторинг вовлеченности студентов в учебный процесс.

Существующие нейросети, как правило, решают узкий спектр задач. Из открытых источников можно выделить направления использования нейросетей в ряде учебных заведений страны, это:

• помощь в изучения сложных тем учебных дисциплин;
• оценка успеваемости обучаемых;
• персонализация образования, учитывающая интересы и склонности учащихся, а также их индивидуальные особенности восприятия [4];
• построение индивидуальных траекторий обучения;
• оценка внимания студентов в ходе учебных занятий по распознаванию эмоций на их лицах;
• проверка выполнения и разработка заданий конкретного курса;
• аналитика качества учебных материалов.

Используемая в Московском педагогическом государственном университете система обучения Moodle допускает использование либо внешней искусственной нейросети, либо встроенной в систему нейросети (рис. 3). Учитывая тот факт, что система Moodle постоянно совершенствуется, что относится и к расширению возможностей встроенной нейросети, целесообразно именно ее и использовать для анализа учебного процесса. Встроенную нейросеть представляет API-интерфейс Moodle Analytics, который позволяет определять некоторые модели прогнозирования.

Рис. 3. Схема обработки данных нейросетью в LMS Moodle

Текущие версии Moodle предоставляют две встроенные модели прогнозирования: студенты рискуют бросить учебу; нет обучения.

Чтобы разнообразить образцы и охватить более широкий круг случаев, исследовательская группа штаб-квартиры Moodle собирает наборы данных для расширения функционала нейросети.

Нейросеть, в используемой в университете версии Moodle, реализует следующие модели аналитики [6]:

• студенты с риском отчисления;
• студенты, которые давно не заходили на курс;
• студенты, которые еще не заходили на курс.

Модель основана на машинном обучении и прогнозировании, обучается на базе истории сайта для дальнейшего обнаружения или прогнозирования скрытых аспектов процесса обучения.

Для построения прогноза использует ряд показателей, основанных на понятиях «когнитивная глубина» и «социальная широта», которые применяются для каждого из основных модулей деятельности. Результаты прогноза могут выводиться в виде уведомлений пользователей (преподавателю и/или учащемуся).

Для каждого прогноза доступен набор действий:

• отправить сообщение ученику;
• просмотреть отчет о деятельности ученика;
• просмотреть детали прогноза;
• подтвердить прогноз или пометить его как бесполезный.

Очевидно, что необходимо дальнейшее постепенное внедрение современных методов машинного обучения и интеллектуального анализа данных в цифровые образовательные системы и, что не менее важно, обеспечение способов применения преподавателями получаемых аналитических результатов [7]. Это поможет образовательным организациям предотвращать академические неудачи, а студентам развивать навыки саморегуляции.

Внедрение искусственного интеллекта в сферу образования требует особого понимания, так как для получения ожидаемого эффекта требуется время и очень большое количество данных, необходимых для обучения нейросети. Кроме того, важно соблюдать следующие правила:

• постоянно контролировать качество работы искусственного интеллекта, в том числе огромные наборы данных, используемых как для обучения нейросетей, так и для их оценки;
• придерживаться принципов этичности и прозрачности, чтобы ошибки или неверная оценка данных не привели к серьёзным последствиям.

Важно помнить, что искусственный интеллект не заменяет преподавателя, а является его помощником, высвобождая время на рутинные процедуры. По мнению авторов, необходимо дальнейшее постепенное внедрение современных методов машинного обучения и интеллектуального анализа данных в цифровые образовательные системы и, что не менее важно, обеспечение способов применения преподавателями и администраторами курсов получаемых аналитических результатов.

1. Андерсон К. Аналитическая культура. От сбора данных до бизнес-результатов. Издательство: МИФ. 2017, 420 с.
2. Белоножко П.П., Карпенко А.П., Храмов Д.А. Анализ образовательных данных: направления и перспективы применения // Интернет-журнал Науковедение. 2017. Т. 9, № 4. URL:https:// naukovedenie.ru/PDF/15TVN417.pdf
3. Вахидова Л.В., Манько Н.Н., Габитова Э.М., Штейнберг В.Э. Визуализация персонифицированной информационно-образовательной среды // Образовательные технологии. № 1, Москва, 2018. C. 34 – 47.
4. Живенков А.Н., Иванова О.Г. Формирование плагинов LMS Moodle для адаптивного построения структуры курса электронного обучения // Экономика. Информатика. 2010. № 19-1 (90). C. 150—156.
5. Капулин Д.В., Русских П.А. Технологические аспекты персонализации процесса обучения в среде LMS Moodle // Информатизация образования и методика электронного обучения: Материалы II Международной научной конференции, Красноярск, 25—28 сентября 2018 года, Сибирский федеральный университет. Красноярск: Сибирский федеральный университет, 2018. С. 173–177.
6. Мамедова Г.А., Зейналова Л.А., Меликова Р.Т. Технологии больших данных в электронном образовании // Открытое образование. 2017. Т. 21, № 6. С. 41–48. DOI: https://doi.org/10.21-686/1818-4243-2017-6-41-48
7. Перязева Ю.В., Калганов Ю.В. Формирование индивидуальных образовательных траекторий в традиционных LMS //Современные информационные технологии и ИТ-образование. 2020. Т. 16, No 3. С. 754–763. DOI: 10.25559/SITIT0.16.202003
8. Сорокова М.Г., Одинцова М.А., Радчикова Н.П. Образовательные результаты студентов в электронных курсах при смешанном и онлайн-обучении // Моделирование и анализ данных. 2021. Т. 11, № 1. С. 61-77. DOI:10.17759/mda.2021110105.
9. Стародубцев В.А., Ситникова О.В., Лобаненко О.Б. Оптимизация контента онлайн-курса по данным статистики активности пользователей // Высшее образование в России. 2019. Т. 28. № 8-9. С. 119–127. DOI: https://doi.org/10.31992/0869-3617-2019-28-8-9-119-127.
10. Akcapinar G. Profiling students' approaches to learning through Moodle logs. // Proceedings of the Multidisciplinary Academic Conference, Prague, 2015. P. 242–248.
11. Bogarin A., Romero C., Cerezo R. Discovering Students' Navigation Paths in Moodle // In: Proceedings of the 8th International Conference on Educational Data Mining, Madrid, Spain, 26-29 June, 2015, Pp. 556–557. URL: http://educationaldatamining.org/EDM2015/proceedings/poster556-557.pdf
12. Kadoic N., Oreski D. Analysis of student behavior and success based on logs in Moodle // In: 41st International Convention on Information and Communication Technology, Electronics and Microelectronics (MIPRO), Opatija, Croatia, 2018. P. 0654–0659. DOI:10.23919/MIPR0.2018.8400123
13. Mogus A.M., Djurdjevic I., Suvak N. The impact of student activity in a virtual learning environment on their final mark // Active Learning in Higher Education. 2012. Vol. 13. No. 3. Pp. 177–189. DOI:10.1177/1469787412452985
14. Stiller K., Bachmaier R. Identifying learner types in distance training by using study times. In: Proceedings of the European Distance and E-Learning Network Conference, Genoa, Italy, June 17-20, 2018. P. 78-86. URL: http://www.eden-online.org/wp-content/uploads/ 2018/06/ Annual_2018_Gen-ova_Proceedings.pdf
15. Terbusheva E., Piotrowska X., Kalmykova S. Analytics of the digital behavior of russian first-2021 university students: Case study // CEUR Workshop Proceedings: 15, Saint-Petersburg, 25 March 2020., 2020. P. 28–39.