Предметные результаты студентов в цифровой среде университета на разных уровнях высшего образования: так кто же более успешен?

Введение

В настоящее время процессы цифрови­зации образования приобрели глобальный характер. Благодаря современным цифровым технологиям университеты всего мира взаимодействуют по сетевой форме, разрабатывают собственные электронные курсы и используют онлайн-курсы других вузов,повышая доступность и качество образования.

Характеризуя современные тенденции в образовании, английский исследователь Б. Уи­льямсон [Williamson] говорит о влиянии «цифрового капитализма» или «капитализма наблюдения», представленного платформами онлайн-управления образовательными программами, платформами цифрового обучения и интенсивно использующего аналитику данных для реализации своих стратегических                      бизнес-приоритетов, на ландшафт высшего образования. По его мнению, эти формы цифрового капитализма согласуются с существующими политическими требованиями, предъявляемыми к университетам, чтобы они стали более способными к управлению на основе больших данных (more data-driven), конкурентоспособными и ориентированными на рынок. П. Принслоо [Prinsloo] в рецензии на книгу Уильямсона приводит его точку зрения на роль больших данных в образовании: они показывают, как «программное обеспечение и цифровые данные становятся неотъемлемой частью способов управления образовательными учреждениями, как осуществляется практика преподавателей, как формируются образовательные политики, как реализуются преподавание и обучение и как проводятся исследования в образовании» [17, с. 183].

В России онлайн-образование — одно из приоритетных направлений государственной политики. Государственная программа Российской Федерации «Развитие образования» на 2018—2025 годы включает реализацию федерального проекта «Цифровая образовательная среда». Проект нацелен на «создание условий для внедрения к 2024 году современной и безопасной цифровой образовательной среды, обеспечивающей формирование ценности к саморазвитию и самообразованию у обучающихся образовательных организаций всех видов и уровней, путем обновления информационно-коммуникационной инфраструктуры, подготовки кадров, создания федеральной цифровой платформы» [Государственная программа Российской].

Университеты, которые хотят быть мощными образовательными кластерами, должны готовить интерактивные курсы с элементами дистанционного обучения [Чхутиашвили, 2018]. Современная парадигма образования предполагает создание смарт-университетов с целью предоставления возможности каждому студенту построить индивидуальный профиль компетенций, с которыми он выйдет на рынок труда в условиях цифровой экономики и будет там востребован [Дмитриевская, 2018]. И даже внешние условия, связанные с форс-мажорными обстоятельствами распространения пандемий вирусных инфекций, вынуждают университеты в кратчайшие сроки полностью переходить на дистанционные форматы обучения. Таким образом, проблема эмпирической оценки различных аспектов обучения в цифровом образовательном пространстве приобретает особую актуальность.

Обзор предшествующих исследований

В зарубежных исследованиях активно обсуждаются различные аспекты цифровизации образования. Одним из важнейших вопросов является оценка влияния смешанного обучения и модели «перевернутый класс» на образовательные результаты студентов. В статье А.А. Марголиса [Марголис] охарактеризованы различные модели смешанного обучения и представлен обзор зарубежных исследований его эффективности в общем образовании по сравнению с традиционно-очным и дистанционным. Результаты неоднозначны: ряд исследований подтверждают его преимущества, другие — не подтверждают, дизайн исследований также подвергается критике. При этом под смешанным обучением понимается сочетание очного обучения с цифровыми и онлайн-форматами.

В настоящее время одним из наиболее популярных подходов в смешанном обучении является модель «перевернутый класс», предполагающая сочетание внеклассной самостоятельной подготовки студентов с помощью видеозаписей лекций и разнообразных онлайн учебных материалов с очными сессиями, направленными на актуализацию самостоятельно изученного контента и развитие желаемых компетенций с помощью интерактивных видов деятельности [Марголис]. Целый ряд эмпирических исследований, главным образом зарубежных, посвящены оценке эффективности ее применения в высшем образовании в различных аспектах при изучении разнообразных курсов, например, английского языка [Arıf], физиотерапии [Røe], менеджмента [Rajaram].

В работе [Bouwmeestera] исследовались самоэффек­тивность, автономия и учебная нагрузка, а также отдаленные образовательные результаты студентов, изучавших курс гематологии и онкологии по модели «перевернутый класс», по сравнению с традиционно-очным обучением. Различий в учебной нагрузке и в показателях автономии не выявлено, самоэффективность студентов в «перевернутых классах» была достоверно выше, а время на подготовку к экзамену значимо меньше. Через 10 месяцев после курса отдаленные результаты и самоэф­фективность не показали различий.

В исследовании [Morton] подчеркивается важность категоризации оценочных заданий в соответствии с таксономией Блума для оценки эффекта «перевернутого класса». Было показано, что образовательные результаты студентов, изучающих анатомию в «перевернутом классе», достоверно лучше, чем учащихся в традиционно-очном подходе, при выполнении заданий, требующих более высокого уровня познания — анализа, и нет различий в результатах заданий, требующих более низкого уровня познания — знания или их применения.

В структуру электронных курсов входят разные виды оценивания, и с этой точки зрения интересны результаты исследования [De Kleijn] мотивов использования студентами формирующих оценочных онлайн-материалов (ФОМ) для подготовки к итоговому оцениванию. Формирующие оценки предназначены для предоставления обратной связи об успеваемости обучающихся для улучшения и ускорения обучения. Выявленные мотивы использования ФОМ — это сбор информации, получение обратной или прямой связи. Основными причинами отказа от использования ФОМ были нехватка времени и выполнение заданий ранее, но они также могут быть связаны с самими студентами, преподавателями или модой.

В аналитическом обзоре преимуществ и недостатков модели «перевернутый класс» [Akcayır] показано, что наиболее часто сообщаемым преимуществом этой модели является улучшение успеваемости учащихся. Большинство проблем этой модели связано с внеаудитор­ной деятельностью, например, неадекватной подготовкой учащихся к очным занятиям.

Весьма интересное исследование эффективности модели «перевернутого обучения» на основе массовых открытых онлайн-курсов (МООК) [Wang] показывает, что студенты в «перевернутом классе» на основе МООК в среднем показали лучшие образовательные результаты по курсу неорганической химии, чем в традиционном классе. Кроме того, большинство студентов «перевернутого класса» получили благоприятный опыт с точки зрения взаимодействия со студентами группы, доступности учебных материалов и результатов активного обучения. Авторы обсуждают возможности использования общих МООК в традиционном университетском обучении.

В нашем пилотном эмпирическом исследовании [Сорокова, а] возможностей электронного учебного курса «Математические методы в психологии» как цифрового образовательного ресурса смешанного обучения по модели «перевернутый класс» подтверждена достоверная связь между положительной оценкой студентами своих образовательных достижений и их позитивным отношением к новому формату. Образовательные результаты студентов после прохождения электронного курса статистически значимо улучшились. Результаты студентов в группе смешанного обучения в формате электронного курса на выходе в среднем достоверно выше, чем в группе традиционно-очного обучения. Сравнительный анализ мнений об опыте обучения в электронном курсе студентов магистратуры и программ второго высшего образования, с одной стороны, и студентов программ первого высшего образования, с другой, проведен нами в [Сорокова].

Особый интерес и ценность представляют результаты метаанализа, проведенного авторами статей [Chen; Chen, а; Hew], так как в них анализировались не только научные источники, но также электронные базы данных, предоставленные их авторами или хранящиеся в репо­зиториях данных.

В метаанализе [Chen], направленном на проверку эффективности модели «перевернутый класс» по сравнению с традиционным подходом в медицинском образовании, эта модель оценена как многообещающий подход к обучению для повышения мотивации и заинтересованности учащихся. Однако влияние «перевернутого класса» на изменения в знаниях и навыках было менее убедительным, поскольку размеры эффекта варьировались от d=-0,27 до 1,21 с медианой 0,08. Различное направление и модуль размера эффекта свидетельствовали об отсутствии убедительных доказательств эффективности «перевернутого класса» в отношении приобретенных знаний сверх традиционных методов обучения. Подчеркивается необходимость дальнейших исследований долгосрочного влияния этой модели в отношении сохранения знаний и передачи знаний в профессиональную практику и уход за пациентами. Другой метаанализ сравнительных исследований, проведенный в [Hew], показал общий статистически значимый эффект в пользу модели «перевернутый класс» по сравнению с традиционным подходом для обучения профессиям из области медицины и здравоохранения. Акцент был сделан на исследованиях, где студентам предоставлялись видеолекции перед очными сессиями. При этом также рассчитывались размеры эффекта, анализировались возможные модераторы и систематические ошибки публикации.

Метаанализ [Chen, а] исследований на выборках студентов, изучающих как науки из области медицины и здравоохранения, так и науки из других областей, показал, что результаты учащихся в «перевернутых классах» были значимо лучше, чем при традиционно-очном подходе, в баллах экзаменов (после вмешательства между группами и как изменения показателей до и после вмешательства) и в оценках курса, но не в объективно структурированных баллах клинических исследований. Анализ подгрупп показал, что преимущество «перевернутых классов» не наблюдалось в рандомизированных контролируемых исследованиях, в странах за пределами США, а также в более ранние годы публикации (2013 и 2014 годы). Кумулятивный анализ и метаре­грессия показали тенденцию к постепенному улучшению результатов по годам.

Мы не нашли ни одного сравнительного исследования образовательных результатов студентов на разных уровнях высшего образования, завершивших электронные курсы.

Дизайн исследования

Исследование с квазиэкспериментальным дизайном проведено в Московском государственном психолого-педагогическом университете (ФГБОУ ВО МГППУ) в осеннем семестре 2019 и в весеннем семестре 2020 года в рамках проекта «Цифровые технологии в высшем образовании: разработка технологии индивидуализации обучения средствами электронных учебных курсов», сайт проекта https:// dthe.mgppu.ru. Выборка составила N=424 студента психолого-педагогических и психологических направлений и специальностей, из них N1=234 студентов магистратуры и программ второго высшего образования (ЭГ1, «Магистратура и ВВ») и N2=190 студентов 3-го курса бакалавриата и специалитета (ЭГ2, «Первое высшее»), всего 23 академических группы 6-ти факультетов университета. Все студенты прошли обучения в разработанных нами электронных учебных курсах (ЭУК): студенты магистратуры завершили курс «Статистические и математические методы в психолого­педагогических исследованиях», а студенты бакалавриата и специалитета — курс «Математические методы в психологии». Оба курса реализованы на платформе LMS Moodle и размещены на сайте https://e-learning.mgppu.ru.

Контекстные данные о выборке мы собирали с помощью анкеты обратной связи, доступ к которой открывался после завершения курса. 28 студентов не заполнили эту анкету, поэтому социо-демографические характеристики испытуемых мы приводим по выборке объема N=396 студентов, из них N1=213 студентов ЭГ1 и N2=183 студента ЭГ2. Гендерных различий между группами нет (p=0,613): в ЭГ1 21,1% мужчин и 78,9% женщин, в ЭГ2 18,6% юношей и 81,4% девушек. Обе группы достоверно различаются по возрасту (критерий Хи-квадрат, р<0,001). Группа ЭГ1 — это, в основном, взрослые люди: 16,0% в ней составляют студенты 20—24 лет, 12,2% — 25—29 лет, 29,1% — 30—34 года и 42,7% — 35 лет и старше, в то время как в ЭГ2 преобладает молодежь — 16,9% в возрасте до 20 лет, 81,4% — 20-24 года и лишь 1,6% — это респонденты 25 лет и старше. Обе группы также достоверно различаются по характеру занятости (Хи-квадрат, р<0,001). В ЭГ1 по сравнению с ЭГ2 работа связана со специальностью, на которой они обучаются у 51,2% vs 5,5%, не связана — у 32,9% vs 41,5%, а 16,0% vs 53,0% в настоящее время вообще не работают.

Оба электронных курса нацелены на развитие компетенций и базовых навыков количественного анализа эмпирических данных в научно-исследовательской и научно-практической деятельности в SPSS и включают 3 одинаковых модуля, посвященных основным методам математической статистики, а курс для магистратуры — еще и 4-й дополнительный модуль «Многомерные статистические методы», предназначенный для продвинутых студентов. Мы сравнивали мнения и образовательные результаты студентов, завершивших 3 обязательных модуля. Образовательные результаты оценивались с помощью 5 тестов внутри ЭУК — входного теста, 3-х обучающих тестов к модулям, итогового теста и индивидуального кейс-задания (ИКЗ) по вариантам, включающего 6 кейс-задач. Задачи в разных вариантах отличались наборами данных. Студенты выполняли кейс-задания в SPSS, мы оценивали и комментировали их. Студенты, завершившие курс, заполняли анонимную анкету обратной связи. Через 1,5—4 месяца студенты повторно проходили очное тестирование в Отделе мониторинга качества профессионального образования (ОМКПО) в МГППУ для оценки отдаленных результатов. Входной тест, итоговый тест и тест в ОМКПО одинаковы.

Изучение обоих курсов происходило в смешанном формате по модели «перевернутый класс», предполагающем переход от обучения с акцентом на преподавание к акценту на управление обучением с помощью ресурсов платформы LMS Moodle. Лекции преподавателя были записаны на видео и предлагались студентам для самостоятельного просмотра при подготовке к семинарам наряду с презентациями, роликами с демонстрацией работы в SPSS, файлами данных и вывода SPSS, ссылками на литературу в электронной библиотеке МГППУ и статьями из научных журналов портала PsyJournals https://psyjournals. ru/, иллюстрирующими применение изученных методов в реальных исследованиях, а семинары проходили очно в полном объеме. На семинарах студенты, индивидуально работая с презентациями как с ориентиром, актуализировали информацию: отвечали на вопросы преподавателя, участвовали в коллективном обсуждении наиболее сложных вопросов, но, самое главное, решали в SPSS аутентичные кейс-задания из области психолого-педагогических исследований, учились выбирать методы анализа данных и интерпретировать результаты. Мы поддерживали взаимодействие
и взаимопомощь студентов: если студент на семинаре испытывал затруднения при работе с SPSS, он поднимал руку и ему помогали однокурсники. При парной работе за компьютером студенты выполняли кейс-задания по очереди, ассистируя друг другу.

Предмет исследования: непосредственные и отдаленные образовательные результаты студентов двух уровней высшего образования, завершивших электронные курсы.

Цель исследования: оценить различия в образовательных результатах студентов магистратуры и программ второго высшего образования, с одной стороны, и студентов бакалавриата и специалитета программ первого высшего образования — с другой.

Задачи: 1. Сравнить непосредственные результаты входного теста, итогового теста и общей оценки за курс у студентов обеих категорий и выявить их сходство и различия; 2. оценить различия между отдаленными результатами студентов обеих категорий; 3. оценить размеры эффекта и индексы улучшения для измеренных параметров; 4. проверить психометрические характеристики теста достижений.

Исследовательский вопрос: как соотносятся образовательные результаты изучения электронных курсов количественного анализа эмпирических данных по модели «перевернутый класс» у студентов психологических и психолого-педагогических направлений и специальностей, имеющих и не имеющих бэк­граунда в виде первого высшего образования? Студенты какой категории более успешны?

База данных исследования размещена в открытом доступе в репозитории Mendeley Data [Sorokova] и доступна для скачивания. Анализ данных выполнен в SPSS V23 с использованием методов описательной статистики, критерия Манна-Уитни, критерия Уилкоксона, биномиального критерия, коэффициента ранговой корреляции Спирмена [Сорокова, 2020]. Расчет размеров эффекта и индексов улучшения производился по методике WWC Version 4.1 Procedures Handbook, представленной на портале IES What Works Clearinghouse [IES What Works].

Результаты

Сначала мы сравнили образовательные результаты студентов магистратуры и программ второго высшего образования (ЭГ1, «Магистратура и ВВ», N1=234) и студентов 3-го курса бакалавриата и специалитета (ЭГ2, «Первое высшее», N2=190) по 3-м параметрам — по входному тесту, по итоговому тесту и общей оценке за ЭУК. Результаты сравнения по критерию Манна—Уитни приведены в табл. 1.

Таблица 1

Сравнение образовательных результатов студентов 2-х категорий по входному тесту, итоговому тесту и общей оценке за ЭУК по критерию Манна—Уитни (N=424)

Табл. 1 показывает, что ни на входе, ни на выходе между студентами обеих групп по тестам различий не выявлено. Студенты магистратуры и программ второго высшего показали достоверно лучшие результаты по общей оценке за ЭУК (p<0,05), однако по абсолютной величине разница в средних невелика (M1=84,12 vs M2=82,93). Стандартные отклонения (SD1 vs SD2) по каждому из 3-х параметров в обеих группах примерно одинаковы, следовательно, рассеяние тестовых баллов вокруг групповых средних также не различается. Заметим, что в ЭГ1 восемь студентов не проходили входной тест, а четыре студента завершили ЭУК без прохождения итогового теста, поэтому объемы выборки студентов ЭГ1 по этим параметрам составляют 226, 230 и 234 студента соответственно, в то время как объем выборки ЭГ2 не менялся и составил 190 студентов.

Чтобы оценить влияние вмешательства — обучения в ЭУК — в обеих группах на предметные результаты, мы также сопоставили показатели по входному и итоговому тестам друг с другом по критерию Уилкоксона (табл. 2).

Как видно из табл. 2, различия между показателями итогового теста и входного теста высоко достоверны (p<0,001) в обеих группах, причем показатели итогового теста в среднем достоверно выше на 50,95 процентных пунктов в ЭГ1 и на 48,66 в ЭГ2. Стандартное отклонение в ЭГ1 не изменилось, а в ЭГ2 увеличилось лишь немного, что говорит о примерно одинаковом рассеянии тестовых баллов вокруг групповых средних и сопоставимой однородности результатов на входе и на выходе. Объем выборки ЭГ1 сократился до N1=222 (ср. табл. 1) за счет тех 12-ти студентов, которые не проходили какой-либо из этих 2-х тестов.

Однако самым интересным для нас было сравнить отдаленные результаты по прошествии 1,5—4-х месяцев после завершения ЭУК. Если входной и итоговый тесты студенты выполняли самостоятельно внутри ЭУК без внешнего контроля, то тестирование отдаленных результатов проводилось в Отделе мониторинга качества профессионального образования (ОМКПО) очно в присутствии сотрудника этого отдела, поэтому результаты этого теста можно считать независимой оценкой. Тестирование в ОМКПО проходили не все студенты, завершившие ЭУК, поэтому при анализе отдаленных результатов они отсеялись, а объемы выборок сократились до N1=149 (ЭГ1, «Магистратура и ВВ») и N2=139 (ЭГ2, «Первое высшее»). Поскольку из-за отсева могли появиться различия на входе, мы снова сравнили обе группы между собой по 3-м параметрам (табл. 3), а также показатели входного теста, итогового теста и теста в ОМКПО в каждой группе (табл. 4).

В табл. 3 отражено отсутствие различий между студентами ЭГ1 и ЭГ2 по всем 3-м исследуемым параметрам.

Табл. 4 демонстрирует одну и ту же тенденцию в обеих группах: показатели входного теста низкие, на выходе они достоверно повышаются в среднем примерно на 50 процентных пунктов, а отдаленные результаты в ОМКПО в среднем достоверно ниже примерно на 30 процентных пунктов, чем по итоговому тесту, но все же достоверно выше, чем по входному. При всех 3-х сравнениях различия достоверны на уровне значимости p<0,001. Заметим, что отдаленные образовательные результаты сильно рассеяны вокруг групповых средних: стандартное отклонение для теста в ОМКПО почти вдвое выше, чем для результатов входного и итогового тестов.

Размеры эффекта и индексы улучшения

В зарубежных исследованиях для оценки результативности вмешательства принято использовать индексы размера эффекта, коэффициенты улучшения и определять их статистическую значимость.

Таблица 2

Сравнение образовательных результатов по входному тесту и итоговому тесту в каждой из 2-х групп студентов по критерию Уилкоксона (N=412)

 Таблица 3

Сравнение образовательных результатов студентов 2-х категорий по входному тесту, итоговому тесту и тесту в ОМКПО по критерию Манна—Уитни (N=288)

Таблица 4

Сравнение непосредственных и отдаленных образовательных результатов
в каждой из 2-х групп студентов по критерию Уилкоксона (N=288

По сравнению с другими статистическими критериями эти индексы имеют следующие преимущества. Во-первых, они выражены в стандартных единицах, что позволяет сравнивать эффект вмешательств для разных тестов. Во-вторых, они позволяют рассчитать размер эффекта как без учета входного среза в 2-х сравниваемых группах, так и с учетом входных данных, т.е. «размер эффекта для оценки усиления». В-третьих, методика позволяет рассчитать эффект воздействия с учетом квазиэкспериментального дизайна, или «размер эффекта на уровне кластера», т.е. с учетом того, что выборка составлена из нескольких подвы­борок — студенческих групп, результаты внутри которых могут быть более однородны. Наконец, перевод размеров эффекта в коэффициенты или индексы улучшения позволяет их ясно интерпретировать. Расчет размеров эффекта и индексов улучшения мы выполнили по методике WWC Version 4.1 Procedures Handbook, представленной на портале IES What Works Clearinghouse [IES What Works].

Размер эффекта рассчитывался по формуле g Хеджеса, где в качестве условной «группы вмешательства» рассматривалась ЭГ1 («Магистратура и ВВ»), а в качестве «группы сравнения» — ЭГ2 («Первое высшее»). Результаты расчета размеров эффекта и индексов улучшения для данных входного теста (претеста), итогового теста (посттеста) и общей оценки за ЭУК для ЭГ1 и ЭГ2 по всей выборке представлены в табл. 5.

Как показывает табл. 5, сначала были рассчитаны размеры эффекта для ЭГ1 по сравнению с ЭГ2 по входному тесту (g=-0,085), итоговому тесту (g=0,132) и общей оценке за ЭУК (g=0,128). Они отражают тот факт, что на входе студенты магистратуры и программ второго высшего в среднем имели более низкие баллы, но на выходе — уже более высокие баллы, чем студенты программ первого высшего, однако эффект не значим даже без учета кластеризации (p=0,164 и p=0,178 для выходных показателей).

Далее мы рассчитали размер эффекта и его уровень значимости для итогового теста с учетом результатов входного (g1=0,214, p=0,030) без поправки на кластеризацию, т.е. игнорируя тот факт, что объединенная выборка состоит из нескольких подвыборок — студенческих групп.

Таблица 5

Размеры эффекта и индексы улучшения для данных входного теста, итогового теста и общей оценки за ЭУК в ЭГ1 и ЭГ2 по всей выборке (N=424)

Поскольку эффект достоверен, для лучшей интерпретации мы рассчитали для него индекс улучшения: 8,47%. Индекс улучшения представляет собой разность в процентильном ранге между средним членом «группы вмешательства» и средним членом «группы сравнения» в распределении «группы сравнения». В нашем случае индекс улучшения означает, что медианный студент «Магистратуры и ВВ» оказался бы на 8,47 процентных пункта правее медианного студента «Первого высшего» (который, по определению, имеет 50-й процентиль), т.е. он имел бы в этой группе ранг 58,47, отражающий более высокий результат. Так как эффект достоверен, согласно методике WWC далее мы рассчитали размер эффекта с кор­
рекцией на кластеризацию, который называется «размер эффекта на уровне кластера», и его p-значение (p=0,307), и он оказался в этом случае статистически не значим. Размер эффекта для общей оценки за ЭУК с учетом входного теста также оказался статистически не значимым (g2=0,143, p=0,146).

Таблица 6

Размеры эффекта и индексы улучшения для данных входного теста, итогового теста и теста в ОМКПО в ЭГ1 и ЭГ2 с отсевом (N=288)

После этих комментариев становится достаточно понятно содержание табл. 6, в которой представлены размеры эффекта и индексы улучшения для данных входного, выходного тестов и теста в ОМКПО с отсевом тех студентов, кто не проходил тестирования отдаленных результатов.

Как видно из табл. 6, студенты «Магистратуры и ВВ» показывают достоверно лучшие результаты по сравнению с группой «Первое высшее» по итоговому тесту с учетом входного теста (размер эффекта g1=0,332, p=0,006). Индекс улучшения равен 13%. Величина эффекта, равная 0,332, означает, что ранг среднего учащегося группы «Магистратуры и ВВ» будет соответствовать 63-му процентилю в группе «Первое высшее», или, эквивалентно, медианный студент магистратуры и программ второго высшего образования имел бы ранг на 13 процентных пунктов выше, чем средний учащийся программ первого высшего образования, которому, по определению, соответствует 50-й процентиль. Однако коррекция на кластеризацию дает p=0,150, и эффект становится недостоверным. Размер эффекта для группы «Магистратура и ВВ» по сравнению с группой «Первое высшее» по тесту в ОМКПО с учетом результатов итогового теста не значим (g2=-0,057, p=0,629), как и по тесту в ОМКПО с учетом входного теста (g3=0,132, p=0,264). Таким образом, отдаленные результаты обеих категорий студентов не различаются.

Психометрические характеристики теста достижений, разработанного нами, были проверены при тестировании в ОМКПО и рассчитаны с помощью программного обеспечения лаборатории HT-Line. Тест состоял из 32-х вопросов с 4-мя вариантами ответов, один из которых правильный. Согласно биномиальному критерию для серии из 32 испытаний с вероятностью успеха P=0,25, если студент набирал 40,6 и более процентных пунктов, то с вероятностью 95% можно считать, что это не случайный выбор ответов, а если 46,8 и более, то вероятность увеличивается до 99%.

Коэффициенты дискриминативности у 31 вопроса теста превышают 3, что благоприятно. Эмпирически рассчитанная трудность вопросов теста дает 3% легких, 60% средних и 37% трудных вопросов. Для проверки конструктной валидности в группе «Магистратура и ВВ» рассчитан коэффициент ранговой корреляции Спирмена с результатами теста по предмету «Исследования и прогнозирование в образовании» (p=0,273, p<0,01) и общей оценкой за ЭУК (р=0,507, p<0,01), а в группе «Первое высшее» — с оценками по тесту по английскому языку (р=0,283, p<0,01) и также с общей оценкой за ЭУК (р=0,346, p<0,01). Во всех случаях получена слабая или средняя прямая связь: лучшие показатели по одним тестам ассоциированы с лучшими показателями по другим. Вероятно, это объясняется тем, что успешные студенты имеют тенденцию показывать высокие академические достижения по разным предметам независимо от их специфики.

Обсуждение

Полученные результаты сравнения академических достижений студентов магистратуры и программ второго высшего образования, с одной стороны, и студентов программ первого высшего образования, с другой, представляют интерес по нескольким причинам.

Во-первых, это представители 2-х разных поколений. Считается, что «поколение милле­ниум» лучше адаптируется к обучению в цифровой среде, и можно было бы ожидать, что студенты 3-го курса бакалавриата и специа­литета покажут более высокие образовательные результаты, но эксперимент не выявил различий: размеры эффекта во всех случаях недостоверны. Более взрослые и зрелые люди, занятые профессиональной деятельностью и имеющие семейные обязанности, по окончании изучения электронного курса показывают такие же высокие образовательные результаты, как и студенческая молодежь. Возможно, это объясняется их более осознанным отношением к обучению и более высокой мотивацией к развитию компетенций по выбранному профилю. Возможно также, им помогают навыки самоорганизации и умения учиться, приобретенные ранее в бакалавриате и специалитете. Определенную роль могли сыграть также чувство ответственности или же тревожность некоторых студентов более зрелого возраста. Кроме того, профессиональная деятельность и повседневная жизнь большинства людей непосредственно связана с компьютером и интернетом, поэтому трудности овладения цифровыми компетен­циями у зрелых людей могут быть преувеличены, и это всего лишь стереотип.

Во-вторых, мы констатировали у студентов обеих категорий одну и ту же тенденцию: на входе результаты по тесту достижений низкие, на выходе они достоверно и сильно возрастают, а затем через 1,5—4 месяца достоверно снижаются, оставаясь при этом достоверно выше входных результатов. При этом отдаленные результаты сильно рассеяны по сравнению с непосредственными: стандартное отклонение возрастает почти вдвое. Как это можно интерпретировать? Причин может быть несколько, и одна из них — использование нечестных стратегий при тестировании и выполнении кейс-заданий. В статье [Сорокова] мы уже писали, что более 70% студентов магистратуры и второго высшего образования и более 85% студентов первого высшего образования считают, что неизбежно будут студенты, использующие нечестные стратегии при тестировании, хотя это и не означает, что все они сами их используют. Заметим, что итоговый тест входил в структуру электронного курса и, в принципе, допускал возможность использования нечестных стратегий, в то время как отдаленные результаты тестировались очно при внешнем контроле, поэтому оценка может считаться независимой, а результаты — достаточно объективными и надежными.

Другими причинами снижения отдаленных результатов по сравнению с непосредственными могли быть отсутствие планомерности изучения курса и привычка к штурмовщине некоторых студентов, а также их недостаточная мотивация. Еще одна важнейшая причина — недостаточная сформированность ком­петенций и практических навыков решения кейсов в SPSS: из-за этого информация лишь ненадолго остается в памяти, а компетенции, необходимые для самостоятельной научно­исследовательской и научно-практической деятельности, не развиваются. Кроме того, навыки количественного анализа данных должны поддерживаться, прежде всего, при обработке данных собственного эмпирического исследования. Все это определяет направления дальнейшей деятельности преподавателя по мотивированию студентов, совершенствованию электронных курсов с использованием интерактивных компонентов и индивидуализации методики обучения.

Выводы

Различий между студентами обеих категорий в образовательных результатах входного теста, итогового теста и общей оценке за ЭУК не выявлено. На входе студенты магистратуры и программ второго высшего в среднем имели более низкие баллы, но на выходе — уже более высокие баллы, чем студенты программ первого высшего образования, однако размер эффекта без учета входных результатов не значим.

Выявлена одна и та же тенденция у студентов обеих категорий: на входе результаты по тесту достижений низкие, на выходе они достоверно и сильно возрастают, а затем через 1,5—4 месяца достоверно снижаются, оставаясь при этом достоверно выше входных результатов. При этом отдаленные результаты сильно рассеяны по сравнению с непосредственными: стандартное отклонение возрастает почти вдвое.

Размер эффекта достоверен для итогового теста с учетом результатов входного теста без поправки на кластеризацию, т.е. игнорируя тот факт, что объединенная выборка состоит из нескольких подвыборок — студенческих групп. Индекс улучшения означает, что медианный студент программ магистратуры и второго высшего образования оказался бы на 8,47 процентных пункта правее медианного студента первого высшего образования, т.е. он имел бы в этой группе более высокий результат. Размер эффекта с коррекцией на кластеризацию статистически не значим. Размер эффекта для общей оценки за электронный курс с учетом входного теста также статистически не значим.

После отсева студентов, не проходивших тестирование отдаленных результатов, получены достоверные размер эффекта и индекс улучшения по итоговому тесту с учетом входного теста только без коррекции на кластеризацию. Студенты магистратуры и второго высшего образования показывают значимо лучшие результаты по сравнению с группой первого высшего образования. Однако при коррекции на кластеризацию эффект становится недостоверным. Размер эффекта по отдаленным результатам с учетом как итогового теста, так и с учетом входного теста тоже недостоверен. Таким образом, отдаленные результаты обеих категорий студентов не различаются.

Психометрические характеристики теста достижений в области количественного анализа эмпирических данных можно считать удовлетворительными. В обеих группах получена слабая и средняя прямая связь между результатами этого теста, общей оценкой за электронный курс и двумя тестами по немате­матическим предметам: лучшие показатели по одним тестам ассоциированы с лучшими показателями по другим тестам.

Дальнейшие исследования предполагают совершенствование электронных курсов в плане мотивирования студентов, использования активных и интерактивных компонентов, а также индивидуализации методики обучения. Весьма интересно было бы сравнить различные аспекты смешанного и онлайн высшего образования.