Тестирование, как инструмент измерения усвоения знаний и персонализации обучения

1

Аннотация

В рамках статьи описывается опыт оценки приращения знаний студентов, усвоения пройденного материала на примере изучения дисциплины «Анализ данных», а также вопросы, связанные с качеством полученных наборов данных. Основной целью исследования является оценка уровня изменения знаний студентов, обучающихся в рамках академического курса, на основе входного и выходного тестирования. Для достижения цели решаются следующие задачи: разработка и подбор тестов для оценки исходного и итогового уровня знаний, разработка тестов по темам, рассматриваемым в процессе изучения курса; сбор, трансформация и подготовка данных для исследования; подбор статистических методов и инструментов для проведения исследования и представления результатов. Описан процесс обучения студентов и сделаны выводы о его эффективности на основе проведенных статистических тестов. В статье рассмотрено применение образовательных web-сервисов, инструментов предварительной подготовки данных для последующего анализа. Делаются выводы о возможном распространении изложенных методов в масштабе учреждения высшего образования.

Общая информация

Ключевые слова: тестирование, статистика, аналитика данных, качество

Рубрика издания: Моделирование и анализ данных для цифрового образования

Тип материала: материалы конференции

Для цитаты: Оськин Д.А. Тестирование, как инструмент измерения усвоения знаний и персонализации обучения // Цифровая гуманитаристика и технологии в образовании (DHTE 2024): сб. статей V международной научно-практической конференции. 14—15 ноября 2024 г. / Под ред. В.В. Рубцова, М.Г. Сороковой, Н.П. Радчиковой М.: Издательство ФГБОУ ВО МГППУ, 2024. С. 543–553.

Полный текст

Введение

Одним из итогов реализации Концепции цифровой трансформации процессов в образовании Республики Беларусь на 2019-2025 годы должно стать цифровое документирование и аналитика результатов образовательного процесса [3]. Направление аналитики образовательных данных с целью понимания происходящего на академическом курсе и поиска путей его улучшения является востребованным не только в академических, но и корпоративных университетах [1, 6]. В связи с этим исследования с использованием методов описательной аналитики – на основе данных достижений студентов в конкретном курсе – оценка качества данных для аналитики и подготовка данных являются актуальными и востребованными. В рамках статьи описывается опыт применения статистических методов для оценки приращения знаний студентов, усвоения пройденного материала и оценки качества тестовых заданий, а также вопросы, связанные с качеством полученных наборов данных. Исследования проводились на основе данных, полученных в процессе обучения студентов третьего курса специальности «Информационные системы и технологии» УО «БГУИР» (профилизация «Информационные системы и технологии в бизнес-менеджменте») по курсу «Аналитика данных» весеннего семестра 2024 года. Основной целью исследования является оценка уровня изменения знаний студентов по курсу на основе входного и выходного тестирования. Для достижения поставленной цели были поставлены следующие задачи: разработка или подбор тестов для оценки исходного и итогового уровня знаний, разработка тестов по темам, рассматриваемым в процессе изучения курса; сбор, трансформация и подготовка данных для исследования; подбор статистических методов и инструментов для проведения исследования и представления результатов.

Метод

Программа курса «Аналитика данных» включала в себя как практические, так и лекционные занятия. Форма финальной аттестации по курсу - экзамен. Оценка за экзамен формировалась по формуле 1:

E = AVERAGE ( SSc + ESc ) ( 1 ) ,

где E - итоговая оценка,

SSc - оценка за работу в семестре,

ESc - оценка, полученная на экзамене.

Оценка за работу в семестре ОС, рассчитывалась по формуле 2:

SSc = ( AVERAGE ( i = 1 n C i + i = 1 n i ) ) 0 ,6 + ( AVERAGE ( i = 1 n LR i ) ) 0 ,4 ( 2 )
где C - оценка за контрольную работу,
- оценка за тест по лекции,
LR - оценка за лабораторную работу.

В качестве инструмента поддержки образовательной среды курса использовались сервисы Google: Google Classroom, где располагались теоретико-методические материалы курса, а также задания для контрольных и тестов; Google Forms как тестовая среда. Анализируемые наборы данных относятся к результатам тестов, проводимых на лекционных занятиях. При этом, каждый тест состоял из 20 вопросов по предыдущей теме и имел ограничение 20 минут. Всего в течение семестра проведено 6 тестов. На основе рекомендаций Министерства образования РБ для пересчета результатов в оценки за тест использовалась следующая шкала по 10 балльной системе оценок Табл. 1:

Таблица 1. Шкала пересчета % верных ответов в баллы

Процент верных ответов, %

<35

<65

<70

<75

<80

<85

<90

<95

>95

Оценка

2

3

4

5

6

7

8

9

10

Оценки, полученные в результате прохождения теста, влияли на оценку, полученную за работу студента в семестре.

В качестве теста для оценки исходного и итогового уровня знаний был выбран тест «Грамотная работа с данными», разработанный российским сообществом глобального проекта Data Literacy Project [2] и оценивал знания не только по курсу «Аналитика данных», но и курсу «Многомерный анализ данных», изучение которого шло параллельно. Тест состоял из 40 вопросов охватывающие темы, связанные с аналитикой данных, многомерным анализом данных. Максимальное количество баллов, набранное по тесту – 40. Время, отведенное на ответы, ограничивалось 60 минутами, тест проводился дважды: на первой и завершающей лекции курса «Аналитика данных». Число вопросов в тесте, относящееся к курсу «Анализ данных» TestAD = 21, соответственно количество вопросов по курсу «Многомерный анализ данных» TestMAD = 19. Тест не влиял как на оценку, полученную в течении семестра, так и на экзамен, однако был рекомендован для предварительной подготовки к экзамену.

Общее число студентов на курсе N=57. Общее количество студентов прошедшее тест n=53, при этом на входе прошли 44 студентов, а на выходе 34 студента, количество прошедших как входное, так и выходное тестирование равно 25 студентов. На основе рекомендаций проекта Data Literacy Project критерием успешного прохождения теста считается не менее 75% верных ответов на тест, для контроля успешности тем тоже вводится критерий не менее 75%. Для проведения теста «Грамотная работа с данными» также использовался инструмент Google Forms.

Результаты

Измерение усвоения знаний

В табл. 2 приведены данные с результатами теста «Грамотная работа с данными».

Таблица 2. Описательная статистика по разделам и всему тесту «Грамотная работа с данными»

Показатель

N

 

Среднее

 

Медиана

 

Минимум

 

Максимум

 

Нижний

квартиль

 

Верхний квартиль

 

Стандартное отклонение

 

Входное тестирование

TestAD

 

44

47,32

48,00

24,00

76,00

38,00

54,50

12,71

TestMAD

 

44

50,27

53,00

26,00

79,00

42,00

58,00

12,13

Test

 

44

48,98

48,00

28,00

73,00

43,00

53,00

9,50

Выходное тестирование

TestAD

 

34

67,68

71,00

19,00

81,00

62,00

76,00

13,97

TestMAD

 

34

68,38

74,00

37,00

89,00

58,00

79,00

14,62

Test

 

34

68,38

73,00

28,00

83,00

63,00

78,00

12,14

При первом прохождении теста ни один из студентов не преодолел барьер 75% по всему тесту и лишь один студент сдал тест по разделу «Анализ данных» и еще один по разделу «Многомерный анализ данных».  В конце семестра студенты повторно сдавали тот же тест и показали следующие результаты: Успешно сдали тест 14 студентов из 34 (41%), из них 4 сдали общий тест за счет высокого результата по разделу «Анализ данных», 4 за счет высокого результата по разделу «Многомерный анализ данных», оставшиеся 6 за счет знаний по обоим разделам. При этом 5 студентам для успешного завершения не хватило знаний в разделе «Многомерный анализ данных» и 6 студентам в разделе «Анализ данных». Однако, если взглянуть на общее изменение знаний на конец семестра, то можно говорить о положительной динамике, т.к. средний процент правильных ответов на вопросы теста на входе был 49%, а на выходе 68%.

Из 25 студентов, сдавших тест дважды вначале и в конце – успешно 11 (44%), из них 2 сдали общий тест за счет высокого результата по разделу «Анализ данных», 4 за счет высокого результата по разделу «Многомерный анализ данных», оставшиеся 5 за счет знаний по обоим разделам. При этом 2-м студентам для успешного завершения не хватило знаний в разделе «Многомерный анализ данных» и 2-м студентам в разделе «Анализ данных». Однако, если взглянуть на общее изменение знаний на конец семестра, то можно говорить о положительной динамике, т.к. средний процент правильных ответов на вопросы теста на входе был 50%, а на выходе 69%. В табл. 3 представлена динамика приращения правильных ответов в конце семестра к началу семестра.

Результаты выходного тестирования не соответствуют нормальному распределению и выборка невелика, поэтому для выявления статистически значимых отличий в результатах входного и выходного тестирования использовался критерий Вилкоксона для парных значений, поскольку мы имеем дело с одной и той же группой студентов. Величина эффекта оценивалась с помощью частичного эта-квадрат [7]. Результаты статистического анализа приведены в табл. 3.

Таблица 3. Описательная статистика по разделам и всему тесту «Грамотная работа с данными»

Показатель

N

Среднее

Т

Вилкоксона

р, уровень статистической значимости

2

Входное

тестирование

Выходное

тестирование

TestAD

 

20

47,32

67,68

0,0

<0,0001

12,3

TestMAD

 

23

50,27

68,38

6,5

<0,0001

12,0

Test

 

23

48,98

68,38

0,0

<0,0001

12,3

 

Статистический анализ показал, что существует статистически значимая разница в результатах в начале и в конце семестра, что позволяет сделать вывод о эффективном обучении студентов на курсе. При этом величина эффекта высокая (2 > 0,14).

Оценка качества наборов данных и тестов

Как уже упоминалось выше, в процессе обучения проводились тесты контроля усвоения знаний по теоретическим темам. Далее рассматриваются вопросы, связанные с подготовкой данных для описательной статистики результатов каждого теста и сами описательные статистики.

В процессе подготовки данных к анализу возникли две ошибки в данных, приводящие к загрязнению и, следовательно, неточностям в результатах анализа данных. Первая ошибка - ручной ввод фамилии, имени и отчества студента, а также вход с различных аккаунтов, принадлежащих одному и тому же студенту. Поскольку тесты были созданы в Google Forms, а Google Classroom использовался в бесплатной версии, то возможность аутентификации студента по домену отсутствовала. В связи с этим наиболее частой ошибкой было разное написание фамилий и инициалов одним и тем же студентом. Вторая ошибка - некорректное заполнение полей. Поскольку на потоке училось две группы, то в тестах содержалось поле выбора номера группы, что иногда приводило к тому, что студент выбирал не свою группу. Очистка данных в первом и во втором случае проводилась путем подключения к набору данных списков студентов из деканата, в качестве идентификатора было выбрано поле с фамилией, т.к. в очищаемой выборке поле содержало уникальные значения. Инструментом для очистки данных выбрана российская аналитическая low-code платформа Loginom, позволяющая создавать сценарии обработки данных, не прибегая к написанию программного кода.

Для оценки тестов был выбран график бокс-плот, позволяющий визуально оценить распределение ответов выявить различия в результатах тестов между двумя группами и определить наиболее сложную для освоения тему. На рис. 1 представлен график по всем тестам и по обеим группам, в разбивке по группам показан на рис. 2.

На основе визуального анализа можно сделать вывод, что наиболее трудными темами для освоения стали: «Аналитика данных как процесс», а также «Инструменты аналитики данных», а наиболее легкой для освоения является тема «Качество данных». Такой анализ помог дать осмысленные рекомендации проработки тем при подготовке к экзамену, а также скорректировать учебный план дисциплины, увеличив время, отводимое на изучение тем, вызвавших затруднение за счет сокращения времени обучения по наиболее простым темам. Как видно из рис. 1 распределение ответов данных близко к нормальному, и поэтому можно утверждать, что тесты отвечают критерию качественной оценки знаний студентов.

Визуальная оценка различий в ответах между студентами двух групп выявила значимую разницу в ответах по темам «Аналитика данных как процесс», «Инструменты аналитики данных», а также «Технологии аналитики». Анализ позволил персонализировать студентов, сталкивающихся с трудностями, и дать дополнительные задания на проработку и усвоение тем.

 
 
 
 
Рис. 1. Общие результаты тестов
 

Рис. 2. Результаты тестов по группам

Выводы и обсуждение

Таким образом, можно сделать следующие выводы:

  • входное и выходное тестирование показало себя как инструмент оценки изменения знаний по читаемой дисциплине;

  • сравнение результатов входного и выходного тестирования говорят о положительной и статистически значимой динамике усвоения знаний в течении семестра у студентов всего потока;

  • стандартизация сбора данных по итогам тестирования уменьшит количество ошибок в наборах данных;
  • визуализированная статистика промежуточных тестов способствует выявлению наиболее сложных тем для освоения у студентов, персонализировать дополнительные задания и помогает понять качество подготовленных тестов.

По результатам выходного тестирования можно судить не только о успеваемости студентов, но и о качестве работы преподавателя курса. По мнению автора, важным моментом оценки качества работы преподавателя является отслеживание динамики изменения результатов входного и выходного тестирования студентов, а также величины эффекта, поскольку эти показатели не привязаны к экзаменационной оценке, а отражают динамику знаний конкретного студента.

Влияние методики обучения на финальные результаты тестирования является дискуссионным, поскольку нет данных об альтернативной методике подразумевающей формирование экзаменационной оценки без учета работы в семестре.

В заключении можно говорить о том, что подобная практика оценки усвоения знаний студентами может быть использована не только в этом курсе, но и распространена на все преподаваемые дисциплины в УВО. Однако такая работа требует дополнительных ресурсов как людских, так и инфраструктурных, что является отдельной темой для исследования. Результатом такого исследования должна стать оценка готовности УВО к внедрению аналитических инструментов и принятия на основе аналитики данных педагогических и управленческих решений. Основополагающие элементы для проведения такого исследования изложены в работах [1; 4; 5]. 

Литература

  1. Аналитика обучения: о чем молчат данные? [Электронный ресурс]  EduTech №1, 2022 // URL: https://sberuniversity.ru/edutech-club/journals/21023/ (дата обращения: 13.08.2024)
  2. Грамотность работы с данными [Электронный ресурс]  // URL: https://dataliteracy.ru/ (дата обращения: 13.08.2024)

  3. Концепция цифровой трансформации процессов в системе образования Республики Беларусь на 2019–2025 годы [Электронный ресурс]  // URL: https://drive.google.com/file/d/1T0v7iQqQ9ZoxO2IIwR_OlhqZ3rjKVqY-/view (дата обращения: 13.08.2024)
  4. Оськин Д.А. Образовательная аналитика как метод искусственного интеллекта для цифровой трансформации образования // Вестник Белорусского государственного экономического университета. 2023. № 5. C. 74-83.
  5. Оськин Д.А. Готовность учреждений высшего образования к внедрению процесса образовательной аналитики // Управление информационным ресурсами: Материалы XVII Международной научно-практической конференции, Минск, 12 марта 2021 года. Минск: Академия управления при Президенте Республики Беларусь, 2021. С. 177-179.
  6. Фролова С.В., Есина С.В. Вызовы современности: специфика общения студентов с преподавателями в дистанционной форме // Развитие современного общества: вызовы и возможности: Материалы XVII международной научной конференции, в 4 ч., Москва, 02 апреля 2021 года. Том 1. Москва: Московский университет им. С.Ю. Витте, 2021. С. 754-763.
  7. Lenhard, A. Psychometrica [Электронный ресурс]  // URL: https://www.psychometrica.de/effect_size.html (дата обращения: 13.08.2024)

Информация об авторах

Оськин Дмитрий Аркадьевич, старший преподаватель кафедры управления и экономики высшей школы, Республиканский институт высшей школы (ГУО РИВШ), Минск, Беларусь, ORCID: https://orcid.org/0000-0002-9783-9042, e-mail: d_oskin@mail.ru

Метрики

Просмотров

Всего: 4
В прошлом месяце: 4
В текущем месяце: 0

Скачиваний

Всего: 1
В прошлом месяце: 1
В текущем месяце: 0