Шкала оценки цифровой образовательной среды университета для преподавателей (AUDEE-Tch Scale): стандартизация для преподавателей вузов

В статье представлены результаты проверки психометрических свойств опросника «Шкала оценки ЦОС университета» (Scale for Assessing University Digital Educational Environment for Teachers, AUDEE-Tch Scale) для преподавателей вузов Российской Федерации и Республики Беларусь. Выборка составила N1=308 (71% женщины) респондентов — преподавателей вузов РФ (72 города) и N2=265 (76% женщины) преподавателей вузов РБ (12 городов). Возраст респондентов из РФ в среднем 46±11 лет (медиана = 45,5 лет). Возраст респондентов из РБ 45,0±11,5 лет (медиана = 45 лет). Группы преподавателей эквивалентны по возрасту и полу. Статистически доказано, что опросник обладает достаточно хорошими психометрическими свойствами. Подтверждена конструктная валидность, внутренняя согласованность шкал, дифференциальная валидность. Результаты конфирматорного факторного анализа говорят о сходстве структуры опросника для обеих выборок. Рассчитаны нормативные значения. Опросник может быть использован для определения отношения преподавателей вузов к цифровой образовательной среде, в которой они занимаются профессиональной деятельностью.

Введение

В настоящее время цифровая трансформация высшего образования стала реальностью, является международной тенденцией и открывает новые перспективы в обеспечении доступности, непрерывности и качества образования. Вместе с тем, большинство публикаций, отражающих различные аспекты вузовского обучения, посвящено исследованию проблем, отношений и процессов, происходящих в среде студентов [17]. В то же время в ходе обучения самое активное участие принимают преподаватели. А значит без:

• принятия ими новой ситуации,
• инновационной готовности педагогических коллективов вузов [1],
• усилий по созданию цифровой образовательной среды (далее — ЦОС) и овладению ее ресурсами [19],
• разработки новых методов обучения и принятия экзаменов в дистанционном формате [4],

становится невозможным:

• внедрение современных цифровых технологий, инструментов и сервисов в образование,
• связанные с этим разработка, освоение и применение новых педагогических методов,
• развитие цифровых компетенций профессорско-преподавательского состава (далее — ППС).

Как правило, исследования показывают, что преподаватели являются более консервативными участниками образовательных отношений, чем студенты, медленнее и более скептически принимают цифровую реальность, часто являются приверженцами старого, привычного им способа преподавания [2, 6, 17]. При этом консерватизм в отношении новых информационных технологий может усиливаться с возрастом [20].

Трудности при изучении особенностей восприятия и оценки ЦОС преподавателями вузов связаны еще и с тем, что не всегда четко определены критерии эффективности работы ППС в таких системах. Если для студентов принят подход, в котором эффективность оценивается с двух сторон: оценка качества обучения (примером которой может служить академическая успеваемость, участие в олимпиадах и т. д.) и оценка отношения к цифровой образовательной среде, отражающая удовлетворенность самим процессом обучения [11], — то для преподавателей предпочтительно последнее.

Академическая успеваемость студентов также важна, но она во многом определяется как отношением преподавателей к обучению с помощью ресурсов ЦОС, так и их цифровыми компетенциями и умением работать с современными системами электронного обучения, цифровыми платформами, инструментами и сервисами. В статье [21] показано, что эффективность профессионального и личностного развития преподавателя вуза во многом зависит от оптимального взаимодействия студентов и преподавателей с привлечением ресурсов ЦОС.

В современных публикациях предложены критериальные методы оценки как качества ЦОС организации в целом [5], так и ее отдельных аспектов. Среди инструментов измерения отношения преподавателей вузов к ЦОС можно выделить:

• Шкалу отношения преподавателей вузов к информационно-компьютерным технологиям (University Teacher Attitude Scale towards the Use of ICT) [16],
• Тест отношения к электронному обучению (Test of e-Learning Related Attitudes — TeLRA scale) [13],
• Шкалу отношения к онлайн-преподаванию и обучению для преподавателей высших учебных заведений (Attitude Scale towards Online Teaching and Learning for Higher Education Teachers) [18],
• Шкалу для измерения отношения преподавателей университетов к этичному использованию информационных технологий для устойчивого образования (Scale to Measure University Teachers’ Attitude towards Ethical Use of Information Technology for a Sustainable Education) [15] и т. д.

Отношение преподавателей к работе в цифровой образовательной среде (ЦОС) университета можно изучать с помощью методики «Шкала оценки ЦОС университета» (Scale for Assessing University Digital Educational Environment, AUDEE Scale), апробированной для студентов российских [8, 10] и белорусских [3] вузов.

Данная методика включает шесть субшкал, позволяющих оценить различные аспекты отношения к ЦОС:

• шкала 1: «Удовлетворенность учебным процессом и практическая польза в ЦОС» (12 пунктов),
• шкала 2: «Удовлетворенность коммуникативным взаимодействием и мотивация к учению в ЦОС» (7 пунктов),
• шкала 3: «Стрессонапряженность при обучении в ЦОС» (8 пунктов),
• шкала 4: «Необходимость поддержки в учебной деятельности в ЦОС» (6 пунктов),
• шкала 5: «Нечестные стратегии в ЦОС» (6 пунктов),
• шкала 6: «Доступность ЦОС» (5 пунктов)

и общий балл, отражающий позитивное отношение и принятие ЦОС (40 пунктов).

Вопросы шкалы были скорректированы с учетом ответов преподавателей. Полный текст методики с ключом представлен в приложении.

Апробации этой методики для преподавателей вузов не проводилось, поэтому целью данного исследования была стандартизация «Шкалы оценки ЦОС университета» для контингента российских и белорусских преподавателей. В этой версии опросник называется Scale for Assessing University Digital Educational Environment for Teachers, AUDEE-Tch Scale.

Метод

Участники исследования. Отбор преподавателей вузов для участия в исследовании проводился с помощью анкеты, размещенной на сайте III Всероссийской научно-практической конференции с международным участием «Цифровая гуманитаристика и технологии в образовании» DHTE 2022, организованной ФГБОУ ВО «Московский государственный психолого-педагогический университет», рассылки писем по электронной почте с просьбой принять участие в анонимном исследовании, которое займет от 15 до 20 минут, и ссылкой на google-форму.

Электронные адреса отбирались из сведений об авторах, указанных в трудах конференций за 2020–2022 гг., выложенных в открытом доступе в eLibrary. После удаления ответов студентов, преподавателей средних учебных заведений и респондентов из других стран в выборке осталось N1 = 308 человек (71% женского пола), представляющих различные вузы Российской Федерации (72 города), и N2 = 265 человек (76% женского пола), представляющих различные вузы Республики Беларусь (12 городов). Возраст респондентов из РФ колебался от 23 до 77 лет и в среднем составил 46±11 лет (медиана = 45,5 лет, межквартильный размах = 14 лет). Возраст респондентов из РБ 45,0±11,5 лет (медиана = 45 лет, межквартильный размах = 15 лет). Группы преподавателей оказались эквивалентны по возрасту (t(571)=1,2; p=0,22) и полу (χ2=1,69; df=1; p=0,19). Более подробное описание выборки преподавателей в РФ представлено в [7].

Методики. Для определения отношения к обучению в ЦОС использовалась методика «Шкала оценки ЦОС университета» [8; 10]. Некоторые пункты этого опросника, первоначально разработанного и стандартизированного для студенческой аудитории, были отредактированы с учетом специфики целевой группы — преподавателей вузов.

Статистический анализ. Для сравнения отношения к ЦОС преподавателей РФ и РБ использовался t-критерий Стьюдента; внутренняя согласованность методики проверялась с помощью расчетов альфы Кронбаха, коэффициентов половинного расщепления Гутмана и корреляций пункта шкалы с общим баллом по шкале без данного пункта, а также с помощью конфирматорного факторного анализа.

Данные исследования представлены в репозитории психологических исследований и инструментов Московского государственного психолого-педагогического университета RusPsyData: для белорусской (https://ruspsydata.mgppu.ru/items/134f5fdc-305b-4e35-9e9a-fbf0868fe068) и российской (https://ruspsydata.mgppu.ru/items/aa21c15f-2ecf-4a64-93db-ab23d0519ae7) выборок отдельно.

Результаты и обсуждение

Описательная статистика по обеим выборкам (РФ и РБ) и результаты сравнения (t-критерий Стьюдента) представлены в табл. 1. Сравнительный анализ показывает, что оценки цифровой образовательной среды преподавателями РФ и РБ мало различаются: различия не достигают уровня статистической значимости по всем шкалам методики, а оценка величины эффекта (d Коэна) указывает на маленький эффект (<0,30) практически для всех шкал, кроме шкалы 2 (удовлетворенность коммуникативным взаимодействием и мотивация к учению). При этом даже самый большой эффект различия (в среднем 2 балла) по шкале 2 менее среднего (<0,5). Таким образом, результаты сравнения показывают, что преподаватели белорусских вузов позитивнее оценивают свой опыт работы в ЦОС, но эти различия невелики и скорее могут объясняться размером выборки.

Статистический анализ показал, что в целом методика обладает достаточно хорошей внутренней согласованностью (табл. 2): альфа Кронбаха и коэффициент половинного расщепления Гутмана не ниже 0,73 для белорусской выборки и 0,63 — для российской выборки. Самые низкие показатели получены для российской выборки для шкалы 4 и шкалы 6, обладающих минимальным количеством пунктов (6 и 5 пунктов, соответственно). При этом средняя корреляция пункта шкалы с общим баллом по шкале без этого пункта достаточна высока: не менее 0,65 и 0,59 для шкал методики и 0,53 и 0,50 для общего балла (белорусская и российская выборка, соответственно).

Табл. 1. Описательная статистика по Шкале оценки ЦОС университета  для преподавателей вузов РБ (N2 = 265) и РФ (N1 = 308)

Примечание: M — среднее арифметическое, SD — стандартное отклонение, Me — медиана, LQ — нижний квартиль, UQ — верхний квартиль; p — уровень статистической значимости t-критерия Стьюдента; d — d Коэна.

Табл. 2. Показатели внутренней согласованности субшкал Шкалы оценки ЦОС университета для преподавателей вузов РБ (N2 = 265) и РФ (N1 = 308)

Примечание: α Кронбаха — стандартизированная альфа Кронбаха; Гутман — коэффициент половинного расщепления Гутмана.

Табл. 3. Корреляции между субшкалами Шкалы оценки ЦОС университета для преподавателей РБ / РФ

Результаты конфирматорного факторного анализа (КФА) также показывают приемлемое соответствие внутренней структуры опросника данным: CMIN/df=2,58; GFI=0,74; CFI=0,77; RMSEA =0,077 [0,073; 0,082]; SRMR=0,09 для белорусской выборки и CMIN/df=2,57; GFI=0,75; CFI=0,78; RMSEA = 0,072 [0,067; 0,076]; SRMR=0,09 для российской выборки. Результаты оказываются сходными и для одной, и для другой выборки, что говорит о сходстве структур опросника для обеих выборок.

Корреляции между шкалами (табл. 3) сходны с корреляциями, полученными на студенческих выборках [8; 10].

Таким образом, можно заключить, что методика «Шкала оценки ЦОС университета» обладает достаточно хорошими психометрическими свойствами и может использоваться для определения отношения преподавателей вузов к цифровой образовательной среде, в которой они работают.

Дифференциальная валидность. Для общего балла по Шкале оценки ЦОС университета были проверены различия по возрасту и полу. Результаты двухфакторного дисперсионного анализа, в котором в качестве факторов выступали страна и пол, показали, что взаимодействие факторов статистически незначимо (F(1,569)=0,80; p=0,37). При этом главный эффект фактора «Пол» достигает уровня статистической значимости (F(1,569)=8,44; p=0,004; η2=0,01), хотя и является небольшим: женщины немного выше оценивают работу в цифровой образовательной среде (в среднем, на 6 баллов). Для испанской выборки, наоборот, были получены немного более высокие оценки отношения к обучению с использованием информационно-компьютерных технологий [12]. Для проверки влияния возраста респонденты были разделены на две группы, как в исследовании [20]: до 43 лет (поколение Y) и от 43 лет и старше (поколение X). Двухфакторный дисперсионный анализ, в котором факторами выступали возраст и страна, показал, что нет ни статистически значимого взаимодействия (F(1,569)=2,27; p=0,13), ни главного эффекта фактора «Возраст» (F(1,569)=3,21; p=0,07). Полученные результаты не подтверждают гипотезу Р. Явич и Н. Давидович [20], но согласуются с результатами исследований [9; 14]. Оценивая статистическую значимость эффектов и их размер, можно заключить, что для российских и белорусских преподавателей вузов не наблюдается существенных различий по полу и возрасту, следовательно, нормативные значения могут быть рассчитаны без учета этих характеристик.

Нормативные значения по всем шкалам методики и общему баллу для выборок преподавателей вузов РБ и РФ представлены в табл. 4.

Табл. 4. Нормативные значения (станайны) Шкалы оценки ЦОС университета для преподавателей РБ / РФ

Заключение

В исследовании проведена проверка психометрических свойств опросника «Шкала оценки ЦОС университета» для преподавателей вузов РФ и РБ (Scale for Assessing University Digital Educational Environment for Teachers, AUDEE-Tch Scale). Статистически доказано, что предлагаемый опросник обладает достаточно хорошими психометрическими свойствами. Подтверждена конструктная валидность, внутренняя согласованность шкал, дифференциальная валидность. Результаты КФА говорят о сходстве структур опросника для обеих выборок — респондентов РФ и РБ. Диагностическая методика может быть использована для определения отношения преподавателей вузов к цифровой образовательной среде, в которой они работают. Существенных различий по полу и возрасту в отношении к цифровой образовательной среде не обнаружено, рассчитаны нормативные значения.

Приложение

Шкала оценки ЦОС университета (AUDEE-Tch Scale)

Инструкция: оцените, пожалуйста, насколько Вы согласны со следующими утверждениями по шкале от 1 до 5:

1 — не согласен

2 — скорее не согласен

3 — затрудняюсь ответить (как согласен, так и не согласен)

4 — скорее согласен

5 — согласен

1. Обучающимся удобно готовиться к занятиям с помощью электронного курса
2. Обучающимся учиться с помощью электронных курсов интереснее, чем в классическом формате
3. Учение в электронных курсах способствует проявлению самостоятельности обучающихся
4. Обучающимся трудно работать в электронных курсах без помощи преподавателя
5. Использование электронных курсов — это потребность современной жизни
6. Обучающимся удобно, что можно не посещать лекции, а слушать их в аудио- или видеозаписи
7. Использование электронных курсов снижает качество образования
8. Обучающимся сложно правильно распланировать время и вовремя делать задания по электронному курсу
9. Тесты как форма контроля по электронному курсу ориентируют обучающихся исключительно на отметку, а не на компетенции
10. В электронном курсе обучающимся легко вернуться к тому, что было непонятно
11. В электронном курсе на онлайн-занятиях с преподавателем обучающиеся работают гораздо интенсивнее, чем при традиционно-очном обучении
12. Обучающимся трудно привыкнуть к новой форме обучения в формате электронного курса
13. Обучающиеся часто используют нечестные стратегии при контроле знаний
14. Учиться в формате электронного курса обучающимся технически сложно
15. Результаты онлайн-тестов часто фальсифицированы, так как нет контроля за тем, кто их выполняет
16. В электронном курсе обучающиеся всегда могут быстро узнать тему занятия и задание
17. Электронные курсы бесполезны для развития профессиональных компетенций обучающихся
18. В электронном курсе обучающимся недостает личных контактов с преподавателем
19. Чтобы обучающиеся не использовали нечестные стратегии при оценке образовательных результатов, нужен строгий контроль за студентами
20. В электронном курсе обучающимся стало проще наверстать пропущенный материал
21. Электронные курсы помогают обучающимся хорошо подготовиться к будущей профессиональной деятельности
22. В электронном курсе обучающимся недостает личных контактов с однокурсниками
23. Обучение с использованием электронных курсов способствует развитию цифровых компетенций обучающихся
24. Все равно будут обучающиеся, кто использует нечестные стратегии при контроле знаний
25. Изучение электронных курсов доставляет удовольствие обучающимся
26. Обучение с использованием электронного курса препятствует приобретению глубоких и прочных знаний обучающимися
27. Большинство (более половины) обучающихся справляются с контрольными заданиями самостоятельно
28. Обучающиеся узнают много нового и полезного из электронного курса
29. Обучающиеся хотят и другие предметы изучать в формате электронного курса
30. Освоение электронного курса дает обучающимся ощущение удовлетворенности учебным процессом
31. Возможность использовать интернет-ресурсы при контроле компетенций снижает мотивацию к самостоятельной подготовке обучающихся
32. Обучающимся некомфортно в цифровой образовательной среде
33. Обучение с использованием электронных курсов препятствует приобретению компетенций в практической деятельности обучающихся
34. Цифровая образовательная среда повышает стрессовое напряжение обучающихся
35. Онлайн-обучение развивает способность обучающихся быстро и эффективно ориентироваться в информационных потоках
36. Электронные курсы и онлайн-обучение делают образование менее доступным
37. Электронные курсы — это хорошее решение проблем тех обучающихся, кто не может посещать занятия
38. Цифровая образовательная среда не учитывает индивидуально-личностные особенности обучающихся

Ключ

Шкала 1. Удовлетворенность учебным процессом в ЦОС: пункты 3+, 5+, 6+, 16+, 20+, 21+, 23+, 25+, 28+, 29+, 30+, 35+

Шкала 2. Удовлетворенность коммуникативным взаимодействием и мотивация к учению в ЦОС: пункты 2+, 7-, 11+, 18-, 22-, 29+, 38-

Шкала 3. Стрессонапряженность при обучении в ЦОС: пункты 9+, 17+, 26+, 31+, 32+, 33+, 34+, 36+

Шкала 4. Необходимость поддержки в учебной деятельности в ЦОС: пункты 1-, 4+, 8+, 12+, 14+, 31+

Шкала 5. Нечестные стратегии в ЦОС: 9+, 13+, 15+, 19+, 24+, 27-

Шкала 6. Доступность ЦОС: пункты 10+, 14-, 20+, 36-, 37+

Общий балл: пункты 1+, 2+, 3+, 4-, 5+, 6+, 7-, 8-, 9-, 10+, 11+, 12-, 13-, 14-, 15-, 16+, 17-, 18-, 19-, 20+, 21+, 22-, 23+, 24-, 25+, 26-, 27+, 28+, 29+, 30+, 31-, 32-, 33-, 34-, 35+, 36-, 37+, 38-

1. Авакян И.Б., Виноградова Г.А. Оценка инновационной готовности педагогических коллективов вузов [Электронный ресурс] // Психолого-педагогические исследования. 2020. Том 12. № 1. C. 16–30. doi:10.17759/psyedu.2020120102.
2. Козырева Н.В., Лобанов А.П., Радчиков А.П. Отношение к цифровой образовательной среде у студентов и преподавателей вузов РБ [Электронный ресурс] // Цифровая гуманитаристика и технологии в образовании (DHTE 2023): Сборник статей IV международной научно-практической конференции. 16–17 ноября 2023 г. / Под ред. В.В. Рубцова, М.Г. Сороковой, Н.П. Радчиковой. М.: Издательство ФГБОУ ВО МГППУ, 2023. С. 731–742. URL: https://psyjournals.ru/nonserialpublications/dhte2023/contents/dhte2023_Kozyreva_et_al.pdf (дата обращения: 22.11.2023).
3. Козырева Н.В., Лобанов А.П., Радчикова Н.П. Шкала оценки цифровой образовательной среды университета: апробация на белорусской выборке [Электронный ресурс] // Цифровая гуманитаристика и технологии в образовании (DHTE 2022): Сборник статей III Всероссийской научно-практической конференции с международным участием. 17–18 ноября 2022 г. / Под ред. В.В. Рубцова, М.Г. Сороковой, Н.П. Радчиковой. М.: Издательство ФГБОУ ВО МГППУ, 2022. С. 46–59. URL: https://psyjournals.ru/nonserialpublications/dhte2022/contents/dhte2022_Kozyreva_et_al.pdf (дата обращения: 22.11.2023).
4. Мальшакова И.Л., Портнов Ю.А. Экзамен в условиях дистанционного обучения [Электронный ресурс] // Психолого-педагогические исследования. 2022. Том 14. № 1. C. 63–76. doi:10.17759/pse.2022140105.
5. Пак Н.И., Сыромятников А.А. Вопросно-критериальный способ оценки качества цифровой образовательной среды организации [Электронный ресурс] // Вестник Российского университета дружбы народов. Серия: Информатизация образования. 2022. Том 19. № 4. С. 312–327. doi:10.22363/2312-8631-2022-19-4-312-327
6. Радчикова Н.П., Одинцова М.А., Сорокова М.Г. Отношение к цифровой образовательной среде у студентов и преподавателей вузов РФ // Труды III Международной научной конференции «Новые коммуникативные технологии и современное белорусское общество», 27–28 апреля 2023 года. Полоцк, 2023.
7. Радчикова Н.П., Одинцова М.А., Сорокова М.Г. Отношение преподавателей российских вузов к цифровой образовательной среде [Электронный ресурс] // Вестник Российского университета дружбы народов. Серия: Психология и педагогика. 2023. Том 20. № 2. C. 311–330. doi:10.22363/2313-1683-2023-20-2-311-330
8. Радчикова Н.П., Сорокова М.Г., Одинцова М.А., Гусарова Е.С. Применение современной теории тестов (IRT) для анализа методики «Шкала оценки цифровой образовательной среды (ЦОС)» [Электронный ресурс] // Цифровая гуманитаристика и технологии в образовании (DHTE 2021): Сборник статей II Всероссийской научно-практической конференции с международным участием. 11–12 ноября 2021 г. / Под ред. В.В. Рубцова, М.Г. Сороковой, Н.П. Радчиковой. М.: Издательство ФГБОУ ВО МГППУ, 2021. С. 557–570. URL: https://psyjournals.ru/nonserialpublications/dhte2021/contents/Radchikova_et_al (дата обращения: 22.11.2023).
9. Сорокова М.Г., Одинцова М.А., Радчикова Н.П. Оценка цифровых образовательных технологий преподавателями вузов [Электронный ресурс] // Психологическая наука и образование. 2023. Том 28. № 1. С. 25–39. doi:10.17759/pse.2023280101
10. Сорокова М.Г., Одинцова М.А., Радчикова Н.П. Шкала оценки цифровой образовательной среды (ЦОС) университета [Электронный ресурс] // Психологическая наука и образование. 2021. Том 26. № 2. С. 52–65. doi:10.17759/pse.2021260205
11. Castro M.D.B., Tumibay G.M. A literature review: efficacy of online learning courses for higher education institution using meta-analysis // Education and Information Technologies. 2021. Vol. 26(2). P. 1367–1385 doi:10.1007/s10639-019-10027-z
12. Guillen-Gamez F., Colomo Magaña E., Sánchez-Rivas E., Pérez R. Attitude towards ICT: a statistical analysis of gender differences in Spanish higher education teachers // Proceedings of ‏The 3rd International Conference on Advanced Research in Education, Teaching and Learning. Oxford, UK, 2020. doi:10.33422/3rd.aretl.2020.12.110
13. Kisanga D.H., Ireson G. Test of e-Learning Related Attitudes (TeLRA) scale: Development, reliability and validity study // International Journal of Education and Development using Information and Communication Technology (IJEDICT). 2016. Vol. 12(1). P. 20–36.
14. Mahdi H., Al-Dera A. The Impact of Teachers’ Age, Gender and Experience on the Use of Information and Communication Technology in EFL Teaching // English Language Teaching. 2013. Vol. 6(6). P. 57–67. doi:10.5539/elt.v6n6p57
15. Mâță L., Clipa O., Tzafilkou K. The Development and Validation of a Scale to Measure University Teachers’ Attitude towards Ethical Use of Information Technology for a Sustainable Education // Sustainability. 2020. Vol. 12(15). doi:10.3390/su12156268
16. Ramos J., Martínez Abad F., García-Peñalvo F., Herrera García M., Conde M.J. Teachers’ attitude regarding the use of ICT. A factor reliability and validity study // Computers in Human Behavior. 2014. Vol. 31(1). P. 509–516. doi:10.1016/j.chb.2013.04.039
17. Rogozin D., Solodovnikova O., Ipatova A. How University Teachers View the Digital Transformation of Higher Education // Educational Studies Moscow. 2022. Vol. 1 (Eng). P. 271–300. doi:10.17323/1814-9545-2022-1-271-300
18. Sangwan A., Sangwan A., Punia P. Development and Validation of an Attitude Scale towards Online Teaching and Learning for Higher Education Teachers // TechTrends. 2021. Vol. 65(2). P. 187–195. doi:10.1007/s11528-020-00561-w
19. Smirnova E.A., Stolyarova A.N., Surnina K.S., Denenberg Y.M.., Dikova T.V. Impact of the COVID-19 pandemic on the development of digital technologies in academic education // Journal of Advanced Pharmacy Education & Research. 2021. Vol. 11(1). P. 207–213. doi:10.51847/NOMIOs9nAQ
20. Yavich R., Davidovitch N. Teachers’ Attitudes to Use of Advanced Technological Tools as Teaching and Learning Aids: From an Inter-Generational Perspective // The European Educational Researcher. 2021. Vol. 4(3). P. 329–354. doi:10.31757/euer.434
21. Zakharova M.A., Mezinov V.N., Mironova E.L. The University digital educational environment potential in the future teacher professional and personal development // Journal of Physics: Conference Series. 2020. Vol. 1691(1). doi:10.1088/1742-6596/1691/1/012208