Тестирование, как инструмент измерения усвоения знаний и персонализации обучения
Аннотация
В рамках статьи описывается опыт оценки приращения знаний студентов, усвоения пройденного материала на примере изучения дисциплины «Анализ данных», а также вопросы, связанные с качеством полученных наборов данных. Основной целью исследования является оценка уровня изменения знаний студентов, обучающихся в рамках академического курса, на основе входного и выходного тестирования. Для достижения цели решаются следующие задачи: разработка и подбор тестов для оценки исходного и итогового уровня знаний, разработка тестов по темам, рассматриваемым в процессе изучения курса; сбор, трансформация и подготовка данных для исследования; подбор статистических методов и инструментов для проведения исследования и представления результатов. Описан процесс обучения студентов и сделаны выводы о его эффективности на основе проведенных статистических тестов. В статье рассмотрено применение образовательных web-сервисов, инструментов предварительной подготовки данных для последующего анализа. Делаются выводы о возможном распространении изложенных методов в масштабе учреждения высшего образования.
Общая информация
Ключевые слова: тестирование, статистика, аналитика данных, качество
Рубрика издания: Моделирование и анализ данных для цифрового образования
Тип материала: материалы конференции
Для цитаты: Оськин Д.А. Тестирование, как инструмент измерения усвоения знаний и персонализации обучения // Цифровая гуманитаристика и технологии в образовании (DHTE 2024): сб. статей V международной научно-практической конференции. 14—15 ноября 2024 г. / Под ред. В.В. Рубцова, М.Г. Сороковой, Н.П. Радчиковой М.: Издательство ФГБОУ ВО МГППУ, 2024. С. 543–553.
Полный текст
Введение
Одним из итогов реализации Концепции цифровой трансформации процессов в образовании Республики Беларусь на 2019-2025 годы должно стать цифровое документирование и аналитика результатов образовательного процесса [3]. Направление аналитики образовательных данных с целью понимания происходящего на академическом курсе и поиска путей его улучшения является востребованным не только в академических, но и корпоративных университетах [1, 6]. В связи с этим исследования с использованием методов описательной аналитики – на основе данных достижений студентов в конкретном курсе – оценка качества данных для аналитики и подготовка данных являются актуальными и востребованными. В рамках статьи описывается опыт применения статистических методов для оценки приращения знаний студентов, усвоения пройденного материала и оценки качества тестовых заданий, а также вопросы, связанные с качеством полученных наборов данных. Исследования проводились на основе данных, полученных в процессе обучения студентов третьего курса специальности «Информационные системы и технологии» УО «БГУИР» (профилизация «Информационные системы и технологии в бизнес-менеджменте») по курсу «Аналитика данных» весеннего семестра 2024 года. Основной целью исследования является оценка уровня изменения знаний студентов по курсу на основе входного и выходного тестирования. Для достижения поставленной цели были поставлены следующие задачи: разработка или подбор тестов для оценки исходного и итогового уровня знаний, разработка тестов по темам, рассматриваемым в процессе изучения курса; сбор, трансформация и подготовка данных для исследования; подбор статистических методов и инструментов для проведения исследования и представления результатов.
Метод
Программа курса «Аналитика данных» включала в себя как практические, так и лекционные занятия. Форма финальной аттестации по курсу - экзамен. Оценка за экзамен формировалась по формуле 1:
где E - итоговая оценка,
SSc - оценка за работу в семестре,
ESc - оценка, полученная на экзамене.
Оценка за работу в семестре ОС, рассчитывалась по формуле 2:
В качестве инструмента поддержки образовательной среды курса использовались сервисы Google: Google Classroom, где располагались теоретико-методические материалы курса, а также задания для контрольных и тестов; Google Forms как тестовая среда. Анализируемые наборы данных относятся к результатам тестов, проводимых на лекционных занятиях. При этом, каждый тест состоял из 20 вопросов по предыдущей теме и имел ограничение 20 минут. Всего в течение семестра проведено 6 тестов. На основе рекомендаций Министерства образования РБ для пересчета результатов в оценки за тест использовалась следующая шкала по 10 балльной системе оценок Табл. 1:
Таблица 1. Шкала пересчета % верных ответов в баллы
Процент верных ответов, % |
<35 |
<65 |
<70 |
<75 |
<80 |
<85 |
<90 |
<95 |
>95 |
Оценка |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
Оценки, полученные в результате прохождения теста, влияли на оценку, полученную за работу студента в семестре.
В качестве теста для оценки исходного и итогового уровня знаний был выбран тест «Грамотная работа с данными», разработанный российским сообществом глобального проекта Data Literacy Project [2] и оценивал знания не только по курсу «Аналитика данных», но и курсу «Многомерный анализ данных», изучение которого шло параллельно. Тест состоял из 40 вопросов охватывающие темы, связанные с аналитикой данных, многомерным анализом данных. Максимальное количество баллов, набранное по тесту – 40. Время, отведенное на ответы, ограничивалось 60 минутами, тест проводился дважды: на первой и завершающей лекции курса «Аналитика данных». Число вопросов в тесте, относящееся к курсу «Анализ данных» TestAD = 21, соответственно количество вопросов по курсу «Многомерный анализ данных» TestMAD = 19. Тест не влиял как на оценку, полученную в течении семестра, так и на экзамен, однако был рекомендован для предварительной подготовки к экзамену.
Общее число студентов на курсе N=57. Общее количество студентов прошедшее тест n=53, при этом на входе прошли 44 студентов, а на выходе 34 студента, количество прошедших как входное, так и выходное тестирование равно 25 студентов. На основе рекомендаций проекта Data Literacy Project критерием успешного прохождения теста считается не менее 75% верных ответов на тест, для контроля успешности тем тоже вводится критерий не менее 75%. Для проведения теста «Грамотная работа с данными» также использовался инструмент Google Forms.
Результаты
Измерение усвоения знаний
В табл. 2 приведены данные с результатами теста «Грамотная работа с данными».
Таблица 2. Описательная статистика по разделам и всему тесту «Грамотная работа с данными»
Показатель |
|
|
|
|
|
|
|
|
||||||||
Входное тестирование |
||||||||||||||||
|
44 |
47,32 |
48,00 |
24,00 |
76,00 |
38,00 |
54,50 |
12,71 |
||||||||
|
44 |
50,27 |
53,00 |
26,00 |
79,00 |
42,00 |
58,00 |
12,13 |
||||||||
|
44 |
48,98 |
48,00 |
28,00 |
73,00 |
43,00 |
53,00 |
9,50 |
||||||||
Выходное тестирование |
||||||||||||||||
|
34 |
67,68 |
71,00 |
19,00 |
81,00 |
62,00 |
76,00 |
13,97 |
||||||||
|
34 |
68,38 |
74,00 |
37,00 |
89,00 |
58,00 |
79,00 |
14,62 |
||||||||
|
34 |
68,38 |
73,00 |
28,00 |
83,00 |
63,00 |
78,00 |
12,14 |
При первом прохождении теста ни один из студентов не преодолел барьер 75% по всему тесту и лишь один студент сдал тест по разделу «Анализ данных» и еще один по разделу «Многомерный анализ данных». В конце семестра студенты повторно сдавали тот же тест и показали следующие результаты: Успешно сдали тест 14 студентов из 34 (41%), из них 4 сдали общий тест за счет высокого результата по разделу «Анализ данных», 4 за счет высокого результата по разделу «Многомерный анализ данных», оставшиеся 6 за счет знаний по обоим разделам. При этом 5 студентам для успешного завершения не хватило знаний в разделе «Многомерный анализ данных» и 6 студентам в разделе «Анализ данных». Однако, если взглянуть на общее изменение знаний на конец семестра, то можно говорить о положительной динамике, т.к. средний процент правильных ответов на вопросы теста на входе был 49%, а на выходе 68%.
Из 25 студентов, сдавших тест дважды вначале и в конце – успешно 11 (44%), из них 2 сдали общий тест за счет высокого результата по разделу «Анализ данных», 4 за счет высокого результата по разделу «Многомерный анализ данных», оставшиеся 5 за счет знаний по обоим разделам. При этом 2-м студентам для успешного завершения не хватило знаний в разделе «Многомерный анализ данных» и 2-м студентам в разделе «Анализ данных». Однако, если взглянуть на общее изменение знаний на конец семестра, то можно говорить о положительной динамике, т.к. средний процент правильных ответов на вопросы теста на входе был 50%, а на выходе 69%. В табл. 3 представлена динамика приращения правильных ответов в конце семестра к началу семестра.
Результаты выходного тестирования не соответствуют нормальному распределению и выборка невелика, поэтому для выявления статистически значимых отличий в результатах входного и выходного тестирования использовался критерий Вилкоксона для парных значений, поскольку мы имеем дело с одной и той же группой студентов. Величина эффекта оценивалась с помощью частичного эта-квадрат [7]. Результаты статистического анализа приведены в табл. 3.
Таблица 3. Описательная статистика по разделам и всему тесту «Грамотная работа с данными»
Показатель |
N |
Среднее |
Т Вилкоксона |
р, уровень статистической значимости |
2 |
||
Входное тестирование |
Выходное тестирование |
||||||
|
20 |
47,32 |
67,68 |
0,0 |
<0,0001 |
12,3 |
|
|
23 |
50,27 |
68,38 |
6,5 |
<0,0001 |
12,0 |
|
|
23 |
48,98 |
68,38 |
0,0 |
<0,0001 |
12,3 |
Статистический анализ показал, что существует статистически значимая разница в результатах в начале и в конце семестра, что позволяет сделать вывод о эффективном обучении студентов на курсе. При этом величина эффекта высокая (2 > 0,14).
Оценка качества наборов данных и тестов
Как уже упоминалось выше, в процессе обучения проводились тесты контроля усвоения знаний по теоретическим темам. Далее рассматриваются вопросы, связанные с подготовкой данных для описательной статистики результатов каждого теста и сами описательные статистики.
В процессе подготовки данных к анализу возникли две ошибки в данных, приводящие к загрязнению и, следовательно, неточностям в результатах анализа данных. Первая ошибка - ручной ввод фамилии, имени и отчества студента, а также вход с различных аккаунтов, принадлежащих одному и тому же студенту. Поскольку тесты были созданы в Google Forms, а Google Classroom использовался в бесплатной версии, то возможность аутентификации студента по домену отсутствовала. В связи с этим наиболее частой ошибкой было разное написание фамилий и инициалов одним и тем же студентом. Вторая ошибка - некорректное заполнение полей. Поскольку на потоке училось две группы, то в тестах содержалось поле выбора номера группы, что иногда приводило к тому, что студент выбирал не свою группу. Очистка данных в первом и во втором случае проводилась путем подключения к набору данных списков студентов из деканата, в качестве идентификатора было выбрано поле с фамилией, т.к. в очищаемой выборке поле содержало уникальные значения. Инструментом для очистки данных выбрана российская аналитическая low-code платформа Loginom, позволяющая создавать сценарии обработки данных, не прибегая к написанию программного кода.
Для оценки тестов был выбран график бокс-плот, позволяющий визуально оценить распределение ответов выявить различия в результатах тестов между двумя группами и определить наиболее сложную для освоения тему. На рис. 1 представлен график по всем тестам и по обеим группам, в разбивке по группам показан на рис. 2.
На основе визуального анализа можно сделать вывод, что наиболее трудными темами для освоения стали: «Аналитика данных как процесс», а также «Инструменты аналитики данных», а наиболее легкой для освоения является тема «Качество данных». Такой анализ помог дать осмысленные рекомендации проработки тем при подготовке к экзамену, а также скорректировать учебный план дисциплины, увеличив время, отводимое на изучение тем, вызвавших затруднение за счет сокращения времени обучения по наиболее простым темам. Как видно из рис. 1 распределение ответов данных близко к нормальному, и поэтому можно утверждать, что тесты отвечают критерию качественной оценки знаний студентов.
Визуальная оценка различий в ответах между студентами двух групп выявила значимую разницу в ответах по темам «Аналитика данных как процесс», «Инструменты аналитики данных», а также «Технологии аналитики». Анализ позволил персонализировать студентов, сталкивающихся с трудностями, и дать дополнительные задания на проработку и усвоение тем.
Рис. 2. Результаты тестов по группам
Выводы и обсуждение
Таким образом, можно сделать следующие выводы:
- входное и выходное тестирование показало себя как инструмент оценки изменения знаний по читаемой дисциплине;
сравнение результатов входного и выходного тестирования говорят о положительной и статистически значимой динамике усвоения знаний в течении семестра у студентов всего потока;
стандартизация сбора данных по итогам тестирования уменьшит количество ошибок в наборах данных;- визуализированная статистика промежуточных тестов способствует выявлению наиболее сложных тем для освоения у студентов, персонализировать дополнительные задания и помогает понять качество подготовленных тестов.
По результатам выходного тестирования можно судить не только о успеваемости студентов, но и о качестве работы преподавателя курса. По мнению автора, важным моментом оценки качества работы преподавателя является отслеживание динамики изменения результатов входного и выходного тестирования студентов, а также величины эффекта, поскольку эти показатели не привязаны к экзаменационной оценке, а отражают динамику знаний конкретного студента.
Влияние методики обучения на финальные результаты тестирования является дискуссионным, поскольку нет данных об альтернативной методике подразумевающей формирование экзаменационной оценки без учета работы в семестре.
В заключении можно говорить о том, что подобная практика оценки усвоения знаний студентами может быть использована не только в этом курсе, но и распространена на все преподаваемые дисциплины в УВО. Однако такая работа требует дополнительных ресурсов как людских, так и инфраструктурных, что является отдельной темой для исследования. Результатом такого исследования должна стать оценка готовности УВО к внедрению аналитических инструментов и принятия на основе аналитики данных педагогических и управленческих решений. Основополагающие элементы для проведения такого исследования изложены в работах [1; 4; 5].
Литература
- Аналитика обучения: о чем молчат данные? [Электронный ресурс] EduTech №1, 2022 // URL: https://sberuniversity.ru/edutech-club/journals/21023/ (дата обращения: 13.08.2024)
- Грамотность работы с данными [Электронный ресурс] // URL: https://dataliteracy.ru/ (дата обращения: 13.08.2024)
Концепция цифровой трансформации процессов в системе образования Республики Беларусь на 2019–2025 годы [Электронный ресурс] // URL: https://drive.google.com/file/d/1T0v7iQqQ9ZoxO2IIwR_OlhqZ3rjKVqY-/view (дата обращения: 13.08.2024)- Оськин Д.А. Образовательная аналитика как метод искусственного интеллекта для цифровой трансформации образования // Вестник Белорусского государственного экономического университета. 2023. № 5. C. 74-83.
- Оськин Д.А. Готовность учреждений высшего образования к внедрению процесса образовательной аналитики // Управление информационным ресурсами: Материалы XVII Международной научно-практической конференции, Минск, 12 марта 2021 года. Минск: Академия управления при Президенте Республики Беларусь, 2021. С. 177-179.
- Фролова С.В., Есина С.В. Вызовы современности: специфика общения студентов с преподавателями в дистанционной форме // Развитие современного общества: вызовы и возможности: Материалы XVII международной научной конференции, в 4 ч., Москва, 02 апреля 2021 года. Том 1. Москва: Московский университет им. С.Ю. Витте, 2021. С. 754-763.
- Lenhard, A. Psychometrica [Электронный ресурс] // URL: https://www.psychometrica.de/effect_size.html (дата обращения: 13.08.2024)
Информация об авторах
Метрики
Просмотров
Всего: 4
В прошлом месяце: 4
В текущем месяце: 0
Скачиваний
Всего: 1
В прошлом месяце: 1
В текущем месяце: 0