Шкала оценки цифровой образовательной среды (ЦОС) университета

Введение

Образовательная среда университетов на сегодняшний день невозможна без цифровых технологий. Количество онлайн-курсов непрерывно растет во всем мире. Несмотря на риски, связанные с непринятием дистанционных технологий [Maroof], недостаточной цифровой компетентностью студентов и педагогов [Spante], стресснапряженностью [Garris], недостатком мотивации и настойчивости [Heilporn], цифровые технологии открывают новый подход в обучении, основанный на гибкости [Houlden], интерактивно­сти [Beyene], открытости [Gourley], расширении физического пространства [Duvivier], доступности [Yang].

Вводится понятие «цифровая педагогика» [Anderson V.A], которое понимается не столько как инструмент, но и как процесс расширения педагогических возможностей для совместной деятельности со студентами, реализуемых посредством активных, гибких стратегий обучения, основанных на принципах подготовки к жизни за счет развития интеллектуальных, индивидуальных и социальных ресурсов; развития ответственности, самостоятельности; интеллектуальной, социальной и эмоциональной поддержки в обучении. Главным фокусом внимания в цифровой педагогике становится вовлеченность обучающихся, развитие у них ответственности за свое образование [Anderson V.A].

Для достижения максимальной эффективности цифровой образовательной среды (далее — ЦОС) университета необходимо ее постоянное усовершенствование, а это, в свою очередь, требует комплексной оценки: 1) удовлетворения информационных потребностей субъектов образования, поддержания мотивации; 2) условий для всестороннего развития индивидуально-личностных особенностей обучающихся [Слепухин]; 3) психологической защищенности, стабильности [Баева]; 4) условий, при которых студенты ощущают себя равноправными партнерами образовательного процесса [Matthews]; 5) использования честных стратегий при контроле знаний [Сорокова М.Г]; 6) доступности [Duvivier; Yang].

Таким образом, быстрое развитие ЦОС университетов требует ее постоянной оценки, пересмотра педагогических технологий для обеспечения их соответствия ожиданиям всех участников образования. Недооценка такого опыта в новой цифровой реальности является большим упущением и может препятствовать усовершенствованию образовательной среды.

За рубежом для оценки удовлетворенности образовательной средой, сравнения наличного опыта с ожидаемым создан ряд методик: 1) методика Dundee Ready Education Environment Measure (DREEM) для изучения восприятия студентами обучения, педагогов, самовосприятия, восприятия атмосферы и социального восприятия [Miles]; 2) методика оценки психосоциальной среды университетов (ULEQ), позволяющая выявить уровни академической свободы, поддержки студентов в их достижениях, возможностей, стресс-напряженности [Dorman J.P]; 3) методика Learn, отражающая мотивацию студентов к обучению и восприятие учебной среды [Herrmann]; 4) методика оценки образовательной среды колледжей и университетов (CUCEI) для оценки восприятия учащимися или преподавателями реальной и идеальной среды [Fraser]; 5) шкала оценки поддержки социальных, эмоциональных и поведенческих потребностей обучающихся (URP-NEEDS) [Briesch]. Данный диагностический инструментарий, предназначенный для изучения традиционной среды обучения, одновременно становится хорошим ориентиром для новых разработок оценивания ЦОС. Так, сделаны попытки определить эффективность обучения в ЦОС на основе результатов работы студентов с тестовыми системами [Зайчикова Н.А]; оценить пространственно-предметные, коммуникативные и технологические компоненты ЦОС [Капцов]; определены критерии оценки ЦОС: согласованность, мобильность, открытость, неформальность, полнота, свобода, доступность, безопасность, однако сама методика находится все еще в стадии разработки [Добудько]. За рубежом разработана биполярная шкала оценки цифрового обучения [Acker]. Часто для более полной оценки ЦОС используются дополнительные методики, позволяющие изучить самоэффективность при цифровом обучении, воспринимаемую поддержку; пользу цифрового обучения и ряд открытых вопросов [Börnert-Ringleb]; разработана шкала содействия и/или преград, связанных с упорством и мотивацией студентов на онлайн-курсах [Heilporn]; создан опросник Questionnaire Measuring E-Learning Systems Success [Ouajdouni] для оценки качества системы электронного обучения (преподавания, социального влияния, беспокойства обучающихся, полезности, удовлетворенности электронным обучением и успешности системы).

Как видим, стремительный и массовый переход учебных заведений в цифровую образовательную среду требует надежного и валид­ного диагностического инструментария, позволяющего дать такой среде комплексную оценку на основании выделения ряда индикаторов, определенных в научной литературе и описанных выше: 1) удовлетворенность учебным процессом и практическая польза; 2) удовлетворенность коммуникативным взаимодействием; 3) безопасность/стресснапряженность; 4) необходимость поддержки; 5) нечестные стратегии при контроле знаний; 6) доступность.

Разработка Шкалы оценки ЦОС университета проходила в 2 этапа. Первый вариант (2019 г.) использовался в форме анкеты [Сорокова М.Г; Sorokova, 2020], база данных доступна в репозитории Mendeley Data [Sorokova M.G]. На втором этапе (2020 г.) методика была существенно доработана на основании экспертных оценок и предварительного расчета отдельных психометрических характеристик.

Выборка и использованные методики

В исследовании приняли участие 406 обучающихся Московского государственного психолого-педагогического университета (МГППУ), завершивших электронные курсы по математическим методам в психологии в онлайн-формате, из них 90,1% (N=366) женщин, 9,9% (N=40) мужчин; возраст 28,7±9,6 лет (медиана 24 года, мода 20 лет, минимум 19 лет, максимум 72 года). База данных собрана в сентябре-декабре 2020 года, когда университет работал в дистанционном режиме, и доступна в репозитории RusPsyDATA.

В исследовании были использованы следующие методики:

1.    Шкала ЦОС университета.

2.    Опросник переживания в деятельности [Леонтьев] для изучения субъективной репрезентации соотнесения текущей учебной деятельности с усилиями, удовольствием, смыслом/пустотой.

3.    Шкалы академической мотивации для изучения внутренней и внешней мотивации учебной деятельности [Гордеева].

Последние две методики были использованы для проверки критериальной валидности разработанного инструмента.

Статистический анализ данных производился в SPSS V.23 и AMOS V.21.

Результаты и обсуждение

Первоначальный вариант методики включал 56 пунктов. Эксплораторный факторный анализ (ЭФА) с извлечением факторов методом главных компонент и Варимакс-вращением позволил выделить 11 факторов, объясняющих 59,79% общей дисперсии, однако последние 4 фактора объясняли не более 4% дисперсии каждый и содержали лишь отдельные пункты опросника с малыми нагрузками.

Для сокращения количества факторов и их лучшей интерпретируемости были последовательно удалены 18 пунктов. Удаление одного пункта, образующего фактор, снизило количество факторов до 10-ти, объясняющих 58,62% общей дисперсии, однако последние 3 фактора объясняли менее 4% дисперсии каждый, причем коэффициенты альфа Кронбаха для двух последних были около 0,5, что говорит о слабой согласованности пунктов с соответствующими шкалами. Далее были удалены сначала 10, потом 5 и еще 2 пункта с соответствующим проведением ЭФА, что снизило количество факторов сначала до 8-ми (59,07% общей дисперсии), затем до 7-ми (58,44% общей дисперсии) и, наконец, до 6-ти (56,90% общей дисперсии). Удаление пунктов производилось по следующим причинам: пункт слабо коррелировал с итоговой шкалой (0,3 и менее), имел неясное содержание или дублировал другие пункты. Окончательный вариант методики включил 38 пунктов (см. Приложение). Далее представлены результаты проверки надежности и валидности шкалы ЦОС.

Конструктная валидность и внутренняя согласованность субшкал

Критерий Кайзера-Майера-Олкина (КМО=0,946) и критерий сферичности Барт­летта (х²=7780,28, df=703, p<0,001) свидетельствуют об адекватности выборки и факторизуемости корреляционной матрицы. ЭФА был выполнен методом главных компонент с Варимакс-вращением, критерий отбора факторов — собственные значения больше 1. Выделенные шесть факторов объясняют 56,91% общей дисперсии: F1 — 16,06%, F2 — 10,89%, F3 — 9,21%, F4 — 7,49%, F5 — 6,85%, F6 — 6,39%. Субшкалы методики по составу соответствуют выделенным факторам, однако 6 пунктов отнесены к двум субшкалам одновременно (см. Приложение), так как они имеют достаточно высокие факторные нагрузки на какие-либо два фактора из шести и поясняют интерпретацию обеих субшкал соответственно. Для лучшей интерпретируемо­сти субшкал также один пункт при почти одинаковых по модулю факторных нагрузках на факторы F1 (0,52) и F4 (-0,52) был отнесен к субшкале 4, еще один пункт с почти равными нагрузками на факторы F2 (0,43) и F3 (0,44) был отнесен к субшкале 2.

Субшкала 1 «Удовлетворенность учебным процессом и практическая польза ЦОС» включает 12 прямых пунктов, отражающих степень полезности электронных курсов для подготовки к будущей профессиональной деятельности и степень удовлетворенности от учебного процесса (см. Приложение), что по смыслу соответствует итоговой шкале.

В субшкалу 2 «Удовлетворенность коммуникативным взаимодействием и мотивация к учению в ЦОС» входят 7 пунктов, 3 из которых прямые, 4 — обратные, отражающих степень нехватки личных контактов с однокурсниками и преподавателями, интенсивность занятий, оценку качества образования и учет индивидуально-личностных особенностей студентов (см. Приложение). Субшкала 2 по смыслу соответствует итоговой шкале, поэтому все прямые и обратные пункты этой субшкалы сохраняют «направление» по отношению к итоговой.

Субшкала 3 «Стресснапряженность в ЦОС» включает 8 прямых пунктов, отражающих оценку трудности приобретения компе­тенций в практической деятельности, глубоких и прочных знаний, доступность образования и поддержки мотивации к обучению (см. Приложение). Субшкала 3 противоположна по смыслу к итоговой, поэтому все вопросы являются по отношению к ней обратными, что учтено при описании ключа.

Субшкала 4 «Необходимость поддержки в учебной деятельности в ЦОС» состоит из 6 пунктов (5 прямых и 1 — обратный), отражающих сложность планирования времени для занятий, оценку технических сложностей и непривычность формата обучения (см. Приложение). Данная субшкала противоположна по смыслу итоговой шкале, поэтому все вопросы «меняют знак» по отношению к ней, и это учтено при описании ключа.

Субшкала 5 «Нечестные стратегии в ЦОС» состоит из 6 пунктов (5 прямых и 1 — обратный), отражающих мнение респондентов о возможностях и частоте использования нечестных стратегий в ЦОС (см. Приложение). Субшкала 5, как и две предыдущие, по смыслу противоположна итоговой, поэтому все вопросы «меняют знак» по отношению к ней, и это учтено при описании ключа.

В субшкалу 6 «Доступность ЦОС» входят 5 пунктов (3 прямых и 2 обратных), отражающих доступность учебного материала для студентов в ЦОС (см. Приложение). Субшкала 6 соответствует по смыслу итоговой шкале, поэтому все прямые и обратные вопросы по отношению к этой субшкале сохраняют «направление» по отношению к итоговой шкале.

Коэффициенты альфа Кронбаха для всех 6-ти субшкал варьируют от 0,73 до 0,91, а коэффициенты альфа Гутмана — от 0,82 до 0,92, причем для всех субшкал альфа Кронбаха уменьшается при исключении любого пункта, что говорит о хорошей внутренней согласованности (см табл. 1). При расчете альфа Кронбаха баллы, полученные для обратных пунктов, были предварительно перекодированы.

Описательная статистика по шкалам методики представлена в табл. 1. Несмотря на то, что критерий Колмогорова-Смирнова показал отличные от нормального распределения по всем шкалам, кроме итогового балла (Колмогоров-Смирнов, p=0,157), видно, что средние значения практически не
отличаются от медиан, что говорит в пользу симметричности распределений. Об этом же говорят и значения асимметрии, практически не выходящие за интервал от -0,5 до 0,5. Если рассматривать в качестве критерия отличия распределения от нормального для больших выборок (>400) либо абсолютное значение асимметрии более 2, либо абсолютное значение эксцесса более 7 [West, 1995], можно заключить, что распределения всех субшкал, так же как и общего балла, мало отличаются от нормального, за исключением субшкалы 6.

Интеркорреляции субшкал и итоговой шкалы рассчитывались с помощью коэффициента корреляции Пирсона (табл. 2). Как видно, субшкалы 1, 2 и 6, отражающие положительное отношение к учению в ЦОС, и субшкалы 3, 4 и 5, отражающие отрицательное отношение, хорошо коррелируют между собой и с итоговой шкалой. Например, суб­шкала 1 прямо сильно и умеренно коррелирует с субшкалами 2 и 6, а с субшкалами 4 и 5 — обратно на среднем и слабом уровне соответственно. Итоговая Шкала оценки ЦОС имеет прямую выраженную корреляцию с субшкалами 1, 2 и 6, сильную обратную — с субшкалами 3 и 4, среднюю обратную — с субшкалой 5.

Конфирматорный факторный анализ. Полная структура шкалы ЦОС представлена на рисунке. Конфирматорный факторный анализ (КФА) в целом показал приемлемое соответствие модели полученным данным. Хотя результаты применения критерия хи-квадрат показывают несоответствие модели полученным данным, и некоторые индексы соответствия не превосходят 0,90 (GFI=0,82; AGFI=0,79; IFI=0,87; TLI=0,86), относительный (или нормированный) хи-квадрат x2/df оказался равен 2,6, что показывает хорошее соответствие (x2/df<3 для хорошего соответствия [22.    Hooper]). Показатель RMSEA оказался равен 0,06 с доверительным интервалом от 0,058 до 0,066, что также говорит о хорошем соответствии [Hu]. Об этом же свидетельствует и показатель SRMR=0,06, который оказался менее 0,08 [Hu]. Таким образом, индексы соответствия КФА, рассмотренные в совокупности, говорят об умеренном соответствии модели полученным данным. В пользу соответствия модели полученным данным говорят и весовые коэффициенты, которые воспроизводят факторные нагрузки ЭФА, а также соответствуют ключу методики. Связи между факторами в КФА также хорошо воспроизводят матрицу взаимосвязей между шкалами (табл. 2).

Описательная статистика и показатели внутренней согласованности
для субшкал Шкалы оценки ЦОС университета

Критериальная валидность, станайны. Для проверки критериальной валидности методики были рассчитаны корреляции ее суб­шкал с показателями: переживания в учебной деятельности (усилия, удовольствие, смысл); внешняя и внутренняя мотивация (познавательная, достижения, саморазвитие, интроецированная, экстернальная, амотивация) (табл. 3).

Результаты, представленные в табл. 3, свидетельствуют о критериальной валидности субшкал ЦОС. Показано, что удовлетворенность учебным процессом, коммуникативным взаимодействием и высокая мотивация в ЦОС положительно взаимосвязаны с ощущением удовольствия в учебной деятельности и включенностью в смысловой контекст (осмысленность). В свою очередь, стресснапряженность, необходимость поддержки и использование нечестных стратегий в ЦОС отрицательно связаны с удовольствием в учебной деятельности и ее осмысленностью. Удовлетворенность учебным процессом в ЦОС положительно связана с познавательной мотивацией, мотивацией достижения, саморазвития, самоуважения и отрицательно — с амотивацией.

Таблица 2

Рис. Структура Шкалы оценки ЦОС университета с весовыми коэффициентами КФА

Все это согласуется с содержанием шкал ЦОС и свидетельствует о ее достаточной критериальной валидности.

Так как различий по полу не обнаружено ни по субшкалам, ни по итоговой шкале методики, для расчета станайнов для субшкал и итоговой шкалы по всей выборке были вычислены про­центили рангов 4, 11, 23, 40, 60, 77, 89 и 96. Показатели, относящиеся к 4-му—6-му станайнам, относятся к среднему уровню и составляют 54% выборки стандартизации. Показатели, относящиеся к 2-му—3-му и 7-му—8-му ста- найнам, относятся к уровням ниже среднего и выше среднего соответственно, а к 1-му и 9-му станайнам — к очень низкому и очень высокому (табл. 4).

Заключение

Наряду с другими объективными характеристиками ЦОС (наполняемость учебных дисциплин, процент видеолекций, обеспеченность контрольно-измерительными материалами, образовательные достижения и т.д.) данная шкала отражает важную составляющую всесторонней оценки ЦОС. Разработанная шкала отвечает требованиям надежности, внутренней и критериальной валидности и позволяет дать комплексную оценку на основании ряда индикаторов: удовлетворенность и практическая польза; удовлетворенность коммуникативным взаимодействием; стресснапряженность; необходимость поддержки; нечестные стратегии; доступность. Шкала ЦОС университета является надежным и валидным инструментом, позволяет изучить факторы, влияющие на успешность внедрения электронного обучения в высшие учебные заведения, качество электронного обучения и удовлетворенность ЦОС всех участников учебного процесса. Шкала ЦОС позволяет в некоторой степени разрешить противоречия в оценках эффективности использования дистанционных технологий при разных моделях обучения на быстро изменяющемся этапе развития инноваций в образовании [Марголис А.А]. Использование шкалы ЦОС позволит изучить удовлетворенность цифровым обучением студентов разных курсов, разных специальностей, разных вузов, с учетом этого совершенствовать технологии «цифровой педагогики». Шкалу ЦОС можно адаптировать для оценки удовлетворенности электронной образовательной средой в средних и средне-специальных образовательных учреждениях. Таким образом, шкала ЦОС является полноценным инструментом для решения исследовательских и прикладных задач.

Станайны и нормы для субшкал Шкалы оценки ЦОС университета

Шкала оценки ЦОС университета (AUDEE Scale)

Инструкция: оцените, пожалуйста, насколько Вы согласны со следующими утверждениями по шкале от 1 до 5:

1     — не согласен

2      — скорее не согласен

3      — затрудняюсь ответить (как согласен, так и не согласен)

4      — скорее согласен

5      — согласен

1.     Удобно готовиться к занятиям с помощью электронного курса

2.     Учиться с помощью электронных курсов интереснее, чем в классическом формате

3.     Учение в электронных курсах способствует проявлению моей самостоятельности

4.     Трудно работать в электронных курсах без помощи преподавателя

5.     Использование электронных курсов — это потребность современной жизни

6.     Удобно, что можно не посещать лекции, а слушать их в аудио- или видеозаписи

7.     Использование электронных курсов снижает качество образования

8.     Сложно правильно распланировать время и вовремя делать задания по электронному курсу

9.     Тесты как форма контроля по электронному курсу ориентируют студентов исключительно на отметку, а не на компетенции

10.     В электронном курсе легко вернуться к тому, что было непонятно

11.     В электронном курсе на онлайн-занятиях с преподавателем я работаю гораздо интенсивнее, чем при традиционно-очном обучении

12.     Трудно привыкнуть к новой форме обучения в формате электронного курса

13.     Студенты часто используют нечестные стратегии при контроле знаний

14.     Учиться в формате электронного курса мне технически сложно

15.     Результаты онлайн-тестов часто фальсифицированы, так как нет контроля за тем, кто их выполняет

16.     В электронном курсе я всегда могу быстро узнать тему занятия и задание

17.     Электронные курсы бесполезны для развития моих профессиональных компетенций

18.     В электронном курсе мне недостает личных контактов с преподавателем

19.     Чтобы студенты не использовали нечестные стратегии при оценке образовательных результатов, нужен строгий контроль за студентами

20.     В электронном курсе стало проще наверстать пропущенный материал

21.     Электронные курсы помогают мне хорошо подготовиться к будущей профессиональной деятельности

22.     В электронном курсе мне недостает личных контактов с однокурсниками

23.     Обучение с использованием электронных курсов способствует развитию цифровых компетенций

24.     Все равно будут студенты, кто использует нечестные стратегии при контроле знаний

25.     Изучение электронных курсов доставляет мне удовольствие

26.     Обучение с использованием электронного курса препятствует приобретению глубоких и прочных знаний

27.     Большинство (более половины) моих сокурсников справляются с контрольными заданиями самостоятельно

28.     Я узнаю много нового и полезного из электронного курса

29.     Хочу и другие предметы изучать в формате электронного курса

30.     Освоение электронного курса дает мне ощущение удовлетворенности учебным процессом

31.     Возможность использовать интернет-ресурсы при контроле компетенций снижает мотивацию к самостоятельной подготовке

32.     Мне некомфортно в цифровой образовательной среде

33.     Обучение с использованием электронных курсов препятствует приобретению компетенций в практической деятельности

34.     Цифровая образовательная среда повышает стрессовое напряжение

35.     Онлайн-обучение развивает способность быстро и эффективно ориентироваться в информационных потоках

36.     Электронные курсы и онлайн-обучение делают образование менее доступным

37.     Электронные курсы — это хорошее решение проблем тех студентов, кто не может посещать занятия

38.     Цифровая образовательная среда не учитывает индивидуально-личностные особенности студентов

Ключ

Шкала 1. Удовлетворенность учебным процессом в ЦОС: пункты 3+, 5+, 6+, 16+, 20+, 21+, 23+, 25+, 28+, 29+, 30+, 35+

Шкала 2. Удовлетворенность коммуникативным взаимодействием и мотивация к учению в ЦОС: пункты 2+, 7-, 11+, 18-, 22-, 29+, 38-

Шкала 3. Стресснапряженность при обучении в ЦОС: пункты 9+, 17+, 26+, 31+, 32+, 33+, 34+, 36+

Шкала 4. Необходимость поддержки в учебной деятельности в ЦОС: пункты 1-, 4+, 8+, 12+, 14+, 31+

Шкала 5. Нечестные стратегии в ЦОС: 9+, 13+, 15+, 19+, 24+, 27-

Шкала 6. Доступность ЦОС: пункты 10+, 14-, 20+, 36-, 37+

Общий балл: пункты 1+, 2+, 3+, 4-, 5+, 6+, 7-, 8-, 9-, 10+, 11+, 12-, 13-, 14-, 15-, 16+, 17-, 18-, 19-, 20+, 21+, 22-, 23+, 24-, 25+, 26-, 27+, 28+, 29+, 30+, 31-, 32-, 33-, 34-, 35+, 36-, 37+, 38-.