Тестирование, как инструмент измерения усвоения знаний и персонализации обучения

В рамках статьи описывается опыт оценки приращения знаний студентов, усвоения пройденного материала на примере изучения дисциплины «Анализ данных», а также вопросы, связанные с качеством полученных наборов данных. Основной целью исследования является оценка уровня изменения знаний студентов, обучающихся в рамках академического курса, на основе входного и выходного тестирования. Для достижения цели решаются следующие задачи: разработка и подбор тестов для оценки исходного и итогового уровня знаний, разработка тестов по темам, рассматриваемым в процессе изучения курса; сбор, трансформация и подготовка данных для исследования; подбор статистических методов и инструментов для проведения исследования и представления результатов. Описан процесс обучения студентов и сделаны выводы о его эффективности на основе проведенных статистических тестов. В статье рассмотрено применение образовательных web-сервисов, инструментов предварительной подготовки данных для последующего анализа. Делаются выводы о возможном распространении изложенных методов в масштабе учреждения высшего образования.

Введение

Одним из итогов реализации Концепции цифровой трансформации процессов в образовании Республики Беларусь на 2019-2025 годы должно стать цифровое документирование и аналитика результатов образовательного процесса [3]. Направление аналитики образовательных данных с целью понимания происходящего на академическом курсе и поиска путей его улучшения является востребованным не только в академических, но и корпоративных университетах [1, 6]. В связи с этим исследования с использованием методов описательной аналитики – на основе данных достижений студентов в конкретном курсе – оценка качества данных для аналитики и подготовка данных являются актуальными и востребованными. В рамках статьи описывается опыт применения статистических методов для оценки приращения знаний студентов, усвоения пройденного материала и оценки качества тестовых заданий, а также вопросы, связанные с качеством полученных наборов данных. Исследования проводились на основе данных, полученных в процессе обучения студентов третьего курса специальности «Информационные системы и технологии» УО «БГУИР» (профилизация «Информационные системы и технологии в бизнес-менеджменте») по курсу «Аналитика данных» весеннего семестра 2024 года. Основной целью исследования является оценка уровня изменения знаний студентов по курсу на основе входного и выходного тестирования. Для достижения поставленной цели были поставлены следующие задачи: разработка или подбор тестов для оценки исходного и итогового уровня знаний, разработка тестов по темам, рассматриваемым в процессе изучения курса; сбор, трансформация и подготовка данных для исследования; подбор статистических методов и инструментов для проведения исследования и представления результатов.

Метод

Программа курса «Аналитика данных» включала в себя как практические, так и лекционные занятия. Форма финальной аттестации по курсу - экзамен. Оценка за экзамен формировалась по формуле 1:

где E - итоговая оценка,

SSc - оценка за работу в семестре,

ESc - оценка, полученная на экзамене.

Оценка за работу в семестре ОС, рассчитывалась по формуле 2:

В качестве инструмента поддержки образовательной среды курса использовались сервисы Google: Google Classroom, где располагались теоретико-методические материалы курса, а также задания для контрольных и тестов; Google Forms как тестовая среда. Анализируемые наборы данных относятся к результатам тестов, проводимых на лекционных занятиях. При этом, каждый тест состоял из 20 вопросов по предыдущей теме и имел ограничение 20 минут. Всего в течение семестра проведено 6 тестов. На основе рекомендаций Министерства образования РБ для пересчета результатов в оценки за тест использовалась следующая шкала по 10 балльной системе оценок Табл. 1:

Таблица 1. Шкала пересчета % верных ответов в баллы

Оценки, полученные в результате прохождения теста, влияли на оценку, полученную за работу студента в семестре.

В качестве теста для оценки исходного и итогового уровня знаний был выбран тест «Грамотная работа с данными», разработанный российским сообществом глобального проекта Data Literacy Project [2] и оценивал знания не только по курсу «Аналитика данных», но и курсу «Многомерный анализ данных», изучение которого шло параллельно. Тест состоял из 40 вопросов охватывающие темы, связанные с аналитикой данных, многомерным анализом данных. Максимальное количество баллов, набранное по тесту – 40. Время, отведенное на ответы, ограничивалось 60 минутами, тест проводился дважды: на первой и завершающей лекции курса «Аналитика данных». Число вопросов в тесте, относящееся к курсу «Анализ данных» TestAD = 21, соответственно количество вопросов по курсу «Многомерный анализ данных» TestMAD = 19. Тест не влиял как на оценку, полученную в течении семестра, так и на экзамен, однако был рекомендован для предварительной подготовки к экзамену.

Общее число студентов на курсе N=57. Общее количество студентов прошедшее тест n=53, при этом на входе прошли 44 студентов, а на выходе 34 студента, количество прошедших как входное, так и выходное тестирование равно 25 студентов. На основе рекомендаций проекта Data Literacy Project критерием успешного прохождения теста считается не менее 75% верных ответов на тест, для контроля успешности тем тоже вводится критерий не менее 75%. Для проведения теста «Грамотная работа с данными» также использовался инструмент Google Forms.

Результаты

Измерение усвоения знаний

В табл. 2 приведены данные с результатами теста «Грамотная работа с данными».

Таблица 2. Описательная статистика по разделам и всему тесту «Грамотная работа с данными»

При первом прохождении теста ни один из студентов не преодолел барьер 75% по всему тесту и лишь один студент сдал тест по разделу «Анализ данных» и еще один по разделу «Многомерный анализ данных».  В конце семестра студенты повторно сдавали тот же тест и показали следующие результаты: Успешно сдали тест 14 студентов из 34 (41%), из них 4 сдали общий тест за счет высокого результата по разделу «Анализ данных», 4 за счет высокого результата по разделу «Многомерный анализ данных», оставшиеся 6 за счет знаний по обоим разделам. При этом 5 студентам для успешного завершения не хватило знаний в разделе «Многомерный анализ данных» и 6 студентам в разделе «Анализ данных». Однако, если взглянуть на общее изменение знаний на конец семестра, то можно говорить о положительной динамике, т.к. средний процент правильных ответов на вопросы теста на входе был 49%, а на выходе 68%.

Из 25 студентов, сдавших тест дважды вначале и в конце – успешно 11 (44%), из них 2 сдали общий тест за счет высокого результата по разделу «Анализ данных», 4 за счет высокого результата по разделу «Многомерный анализ данных», оставшиеся 5 за счет знаний по обоим разделам. При этом 2-м студентам для успешного завершения не хватило знаний в разделе «Многомерный анализ данных» и 2-м студентам в разделе «Анализ данных». Однако, если взглянуть на общее изменение знаний на конец семестра, то можно говорить о положительной динамике, т.к. средний процент правильных ответов на вопросы теста на входе был 50%, а на выходе 69%. В табл. 3 представлена динамика приращения правильных ответов в конце семестра к началу семестра.

Результаты выходного тестирования не соответствуют нормальному распределению и выборка невелика, поэтому для выявления статистически значимых отличий в результатах входного и выходного тестирования использовался критерий Вилкоксона для парных значений, поскольку мы имеем дело с одной и той же группой студентов. Величина эффекта оценивалась с помощью частичного эта-квадрат [7]. Результаты статистического анализа приведены в табл. 3.

Таблица 3. Описательная статистика по разделам и всему тесту «Грамотная работа с данными»

Статистический анализ показал, что существует статистически значимая разница в результатах в начале и в конце семестра, что позволяет сделать вывод о эффективном обучении студентов на курсе. При этом величина эффекта высокая (2 > 0,14).

Оценка качества наборов данных и тестов

Как уже упоминалось выше, в процессе обучения проводились тесты контроля усвоения знаний по теоретическим темам. Далее рассматриваются вопросы, связанные с подготовкой данных для описательной статистики результатов каждого теста и сами описательные статистики.

В процессе подготовки данных к анализу возникли две ошибки в данных, приводящие к загрязнению и, следовательно, неточностям в результатах анализа данных. Первая ошибка - ручной ввод фамилии, имени и отчества студента, а также вход с различных аккаунтов, принадлежащих одному и тому же студенту. Поскольку тесты были созданы в Google Forms, а Google Classroom использовался в бесплатной версии, то возможность аутентификации студента по домену отсутствовала. В связи с этим наиболее частой ошибкой было разное написание фамилий и инициалов одним и тем же студентом. Вторая ошибка - некорректное заполнение полей. Поскольку на потоке училось две группы, то в тестах содержалось поле выбора номера группы, что иногда приводило к тому, что студент выбирал не свою группу. Очистка данных в первом и во втором случае проводилась путем подключения к набору данных списков студентов из деканата, в качестве идентификатора было выбрано поле с фамилией, т.к. в очищаемой выборке поле содержало уникальные значения. Инструментом для очистки данных выбрана российская аналитическая low-code платформа Loginom, позволяющая создавать сценарии обработки данных, не прибегая к написанию программного кода.

Для оценки тестов был выбран график бокс-плот, позволяющий визуально оценить распределение ответов выявить различия в результатах тестов между двумя группами и определить наиболее сложную для освоения тему. На рис. 1 представлен график по всем тестам и по обеим группам, в разбивке по группам показан на рис. 2.

На основе визуального анализа можно сделать вывод, что наиболее трудными темами для освоения стали: «Аналитика данных как процесс», а также «Инструменты аналитики данных», а наиболее легкой для освоения является тема «Качество данных». Такой анализ помог дать осмысленные рекомендации проработки тем при подготовке к экзамену, а также скорректировать учебный план дисциплины, увеличив время, отводимое на изучение тем, вызвавших затруднение за счет сокращения времени обучения по наиболее простым темам. Как видно из рис. 1 распределение ответов данных близко к нормальному, и поэтому можно утверждать, что тесты отвечают критерию качественной оценки знаний студентов.

Визуальная оценка различий в ответах между студентами двух групп выявила значимую разницу в ответах по темам «Аналитика данных как процесс», «Инструменты аналитики данных», а также «Технологии аналитики». Анализ позволил персонализировать студентов, сталкивающихся с трудностями, и дать дополнительные задания на проработку и усвоение тем.

 

 

Рис. 2. Результаты тестов по группам

Выводы и обсуждение

Таким образом, можно сделать следующие выводы:

• входное и выходное тестирование показало себя как инструмент оценки изменения знаний по читаемой дисциплине;
• 
  сравнение результатов входного и выходного тестирования говорят о положительной и статистически значимой динамике усвоения знаний в течении семестра у студентов всего потока;
• 
  стандартизация сбора данных по итогам тестирования уменьшит количество ошибок в наборах данных;
• визуализированная статистика промежуточных тестов способствует выявлению наиболее сложных тем для освоения у студентов, персонализировать дополнительные задания и помогает понять качество подготовленных тестов.

По результатам выходного тестирования можно судить не только о успеваемости студентов, но и о качестве работы преподавателя курса. По мнению автора, важным моментом оценки качества работы преподавателя является отслеживание динамики изменения результатов входного и выходного тестирования студентов, а также величины эффекта, поскольку эти показатели не привязаны к экзаменационной оценке, а отражают динамику знаний конкретного студента.

Влияние методики обучения на финальные результаты тестирования является дискуссионным, поскольку нет данных об альтернативной методике подразумевающей формирование экзаменационной оценки без учета работы в семестре.

В заключении можно говорить о том, что подобная практика оценки усвоения знаний студентами может быть использована не только в этом курсе, но и распространена на все преподаваемые дисциплины в УВО. Однако такая работа требует дополнительных ресурсов как людских, так и инфраструктурных, что является отдельной темой для исследования. Результатом такого исследования должна стать оценка готовности УВО к внедрению аналитических инструментов и принятия на основе аналитики данных педагогических и управленческих решений. Основополагающие элементы для проведения такого исследования изложены в работах [1; 4; 5]. 

1. Аналитика обучения: о чем молчат данные? [Электронный ресурс]  EduTech №1, 2022 // URL: https://sberuniversity.ru/edutech-club/journals/21023/ (дата обращения: 13.08.2024)
2. Грамотность работы с данными [Электронный ресурс]  // URL: https://dataliteracy.ru/ (дата обращения: 13.08.2024)
3. 
   Концепция цифровой трансформации процессов в системе образования Республики Беларусь на 2019–2025 годы [Электронный ресурс]  // URL: https://drive.google.com/file/d/1T0v7iQqQ9ZoxO2IIwR_OlhqZ3rjKVqY-/view (дата обращения: 13.08.2024)
4. Оськин Д.А. Образовательная аналитика как метод искусственного интеллекта для цифровой трансформации образования // Вестник Белорусского государственного экономического университета. 2023. № 5. C. 74-83.
5. Оськин Д.А. Готовность учреждений высшего образования к внедрению процесса образовательной аналитики // Управление информационным ресурсами: Материалы XVII Международной научно-практической конференции, Минск, 12 марта 2021 года. Минск: Академия управления при Президенте Республики Беларусь, 2021. С. 177-179.
6. Фролова С.В., Есина С.В. Вызовы современности: специфика общения студентов с преподавателями в дистанционной форме // Развитие современного общества: вызовы и возможности: Материалы XVII международной научной конференции, в 4 ч., Москва, 02 апреля 2021 года. Том 1. Москва: Московский университет им. С.Ю. Витте, 2021. С. 754-763.
7. Lenhard, A. Psychometrica [Электронный ресурс]  // URL: https://www.psychometrica.de/effect_size.html (дата обращения: 13.08.2024)