Перейти к основному содержанию

Современная зарубежная психология
2024. Том 13. № 1. С. 58–68
doi:10.17759/jmfp.2024130105
ISSN: 2304-4977 (online)

Исследование взаимосвязи данных о результате и процессе выполнения заданий при оценке цифровой грамотности

14

Ткаченко И.О., Тарасова К.В., Грачева Д.А.

PDF (ENG)
Подкаст
GS
Информация
в Google Scholar

Аннотация

Измерение комплексных латентных конструктов является непростой задачей. В этом контексте цифровые инструменты оценивания становятся все более популярными благодаря их способности обрабатывать большие и разнообразные данные. Целью исследования является изучение взаимосвязи между результатами тестирования, продолжительностью времени ответа и количеством предпринятых действий во время оценивания уровня цифровой грамотности. Участниками исследования стали более 400 восьмиклассников из московских школ. Для анализа были отобраны данные, отражающие навыки анализа данных, информации и цифрового контента, что является частью информационной грамотности в теоретической рамке цифровой грамотности. Применение моделирования структурными уравнениями позволило построить латентные модели, включая однофакторную модель «Результат тестирования» с высокими показателями соответствия и трехфакторную модель, демонстрирующую взаимосвязь между изучаемыми переменными. Результаты подчеркивают значимость интеграции этих взаимосвязей в цифровые инструменты оценивания цифровой грамотности и анализ поведенческих стратегий при работе с информацией в цифровом пространстве.

Общая информация

Ключевые слова: цифровые инструменты оценивания, цифровая грамотность, метод доказательной аргументации, моделирование структурными уравнениями, конфирматорный факторный анализ, данные о процессе ответа, время ответа, клики

Рубрика издания: Психология образования и педагогическая психология

Тип материала: научная статья

DOI: https://doi.org/10.17759/jmfp.2024130105

Финансирование. Работа выполнена при поддержке Министерства науки и высшего образования Российской Федерации (Соглашение № 075-10-2021-093, Проект COG-RND-2104).

Получена: 31.03.2024

Принята в печать:

Для цитаты: Ткаченко И.О., Тарасова К.В., Грачева Д.А. Исследование взаимосвязи данных о результате и процессе выполнения заданий при оценке цифровой грамотности [Электронный ресурс] // Современная зарубежная психология. 2024. Том 13. № 1. С. 58–68. DOI: 10.17759/jmfp.2024130105

Подкаст

Полный текст

Краткое изложение содержания статьи на русском языке

Введение

Измерение комплексных латентных конструктов, таких как цифровая грамотность, является непростой задачей для исследователей. В этом контексте цифровые инструменты оценивания выглядят как многообещающее решение, поскольку предоставляют возможности для сбора и анализа обширных мультимодальных данных, собранных в процессе тестирования. Изучение взаимодействия тестируемых с цифровыми инструментами оценивания способствует более глубокому пониманию когнитивных процессов и стратегий, влияющих на получаемые результаты. Анализ затраченного времени и количества кликов для прохождения тестирования может указывать как на потенциальные несоответствия в данных [26], так и на скорость и точность ответов тестируемых [17]. Интеграция дополнительной информации о тестируемых, такой как пол, уровень дохода или среднегодовая оценка, с данными о взаимодействии с цифровыми инструментами оценки улучшает прогнозирование учебных достижений [16; 19]. Однако в России такой подход к анализу данных не применялся. Целью представленного исследования является анализ взаимосвязи между результатом тестирования, затраченным временем и объемом совершенных действий во время оценки цифровой грамотности школьников.

Методы

В исследовании приняли участие 440 учащихся 8-го класса (14—15 лет) из 15 московских школ. Тестирование проводилось в форме индивидуального онлайн-теста на школьных компьютерах. Участники работали в малых группах под наблюдением сотрудников, прошедших специальное обучение. Используемый цифровой инструмент для оценки цифровой грамотности состоит из десяти интерактивных сценарных заданий, имитирующих ситуации из реальной жизни, что повышает мотивацию к выполнению. Каждое задание направлено на оценку конкретных аспектов цифровой грамотности. Для дальнейшего анализа были отобраны данные, отражающие навыки анализа данных, информации и цифрового контента, что является частью информационной грамотности в теоретической рамке цифровой грамотности.

Результаты

Для проведения статистического анализа были использованы программы R и RStudio и пакет «lavaan». На этапе предварительной обработки данных были исключены записи тестируемых, содержащие нулевые или отсутствующие значения по параметрам времени и количества кликов, а также отсутствующие значения полученного балла. Итоговый анализ проводился на основе данных 426 тестируемых. Была использована модель структурного уравнения (structural equation model), основанная на подходе П. Де Бока (P. De Boek) и К. Скэлиса (K. Scalise) [7]. Она включает в себя три основных фактора: «Результат тестирования» (основан на шести политомических показателях правильности ответов), «Время» (логарифмически преобразованное время выполнения модулей) и «Действие» (логарифмически преобразованное количество кликов по модулям). Дополнительно модель включала остаточные ковариации между факторами «Действие» и «Результат тестирования», а также прямое влияние факторов «Действие» на «Время» и «Результат тестирования» на «Время».
Сначала была построена однофакторная модель «Результат тестирования». После этого создана трехфакторная модель, для которой первоначально не предполагались взаимосвязи между факторами. Однако далее такие зависимости были добавлены. Для оценки параметров моделей использовался робастный алгоритм максимального правдоподобия (robust maximum likelihood estimation, MLR), что позволило учесть ненормальность распределения данных. Для оценки качества моделей использовались сравнительный индекс соответствия (comparative fit index, CFI) и индекс Такера-Льюиса (Tucker Lewis index, TLI).
Результаты анализа однофакторной модели «Результат тестирования» показали отличное соответствие с данными (CFI=1, TLI=1, RMSEA=0), при этом факторные нагрузки варьировались от 0,196 до 0,595. Дальнейший анализ показал, что трехфакторная модель без учета взаимосвязей между факторами демонстрирует недостаточное соответствие данным (CFI=0,548; TLI=0,476; RMSEA=0,096). При этом модель, включающая зависимости между факторами, показывает значительно лучшие результаты (CFI=0,966; TLI=0,954; RMSEA=0,028). Сравнение соответствия двух последних моделей данным подтвердило статистически значимое улучшение в модели, учитывающей взаимосвязи (χ2(18)=510,65; p<0,05). Факторные нагрузки модели, учитывающей взаимосвязи варьировались от 0,189 до 0,743 и были статистически значимыми (p<0,05).
Выявлена значительная положительная корреляция между факторами «Результат тестирования» и «Время» (r=0,775; p<0,05). Подобные результаты могут быть связаны с особенностями самого инструмента, содержащего большое количество текста для анализа. Кроме того, обнаружены отрицательные корреляции между факторами «Результат тестирования» и «Действие» (r=–0,403, p<0,05), а также между факторами «Время» и «Действие» (r=–0,410; p<0,05), что приводит к интересной закономерности: увеличение числа кликов не способствует повышению результативности или увеличению времени, необходимого для выполнения задач. Напротив, большое количество кликов может отражать более хаотичное или менее целенаправленное взаимодействие с цифровыми ресурсами, что в итоге не приводит к повышению качества выполнения заданий.

Обсуждение результатов

Результаты подчеркивают важность баланса между качеством и количеством взаимодействий с цифровыми ресурсами в контексте оценки цифровой грамотности. Более высокие достижения коррелируют с умением эффективно распоряжаться временем и минимизировать количество ненужных действий, что может отражать более глубокое понимание проанализированной информации и лучшую стратегию решения задач. Результаты исследования позволяют отметить значимость интегрированного подхода к оценке цифровой грамотности, который учитывает не только точность ответов, но и эффективность использования времени и количества действий.

Литература

  1. Авдеева С., Тарасова К. Об оценке цифровой грамотности: методология, концептуальная модель и инструмент измерения // Вопросы образования. 2023. № 2. С. 8—32. DOI:10.17323/1814-9545-2023-2-8-32
  2. Accurate assessment via process data / S. Zhang, Z. Wang, J. Qi, J. Liu, Z. Ying // Psychometrika. 2023. Vol. 88. № 1. P. 76—97. DOI:10.1007/s11336-022-09880-8
  3. Bartolomé J., Garaizar P., Bastida L. Validating item response processes in digital competence assessment through eye-tracking techniques // In Eighth International Conference on Technological Ecosystems for Enhancing Multiculturality. 2020. Р. 738—746. DOI:10.1145/3434780.3436641
  4. Bergner Y., von Davier A.A. Process data in NAEP: Past, present, and future // Journal of Educational and Behavioral Statistics. 2019. Vol. 44. № 6. P. 706—732. DOI:10.3102/1076998618784700
  5. Challenging games help students learn: An empirical study on engagement, flow and immersion in game-based learning / J. Hamari, D.J. Shernoff, E. Rowe, B. Coller, J. Asbell-Clarke, T. Edwards // Computers in human behavior. 2016. Vol. 54. P. 170—179. DOI:10.1016/j.chb.2015.07.045
  6. Data literacy assessments: A systematic literature review / Y. Cui, F. Chen, A. Lutsyk, J.P. Leighton, M. Cutumisu // Assessment in Education: Principles, Policy & Practice. 2023. Vol. 30. № 1. P. 76—96. DOI: 10.1080/0969594x.2023.2182737
  7. De Boeck P., Scalise K. Collaborative problem solving: Processing actions, time, and performance // Frontiers in psychology. 2019. Vol. 10. Article ID 1280. 9 p. DOI:10.3389/fpsyg.2019.01280
  8. Design and discovery in educational assessment: Evidence-centered design, psychometrics, and educational data mining / R.J. Mislevy, J.T. Behrens, K.E. Dicerbo, R. Levy // Journal of educational data mining. 2012. Vol. 4. № 1. P. 11—48. DOI:10.5281/zenodo.3554641
  9. Game-Based Assessment of Students’ Digital Literacy Using Evidence-Centered Game Design / J. Li, J. Bai, S. Zhu, H. H. Yang // Electronics. 2024. Vol. 13(2). Article ID 385. 19 p. DOI: 10.3390/electronics13020385
  10. Hu L., Bentler P.M. Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives // Structural equation modeling: a multidisciplinary journal. 1999. Vol. 6. № 1. P. 1—55. DOI:10.1080/10705519909540118
  11. Nichols S.L., Dawson H.S. Assessment as a context for student engagement // Handbook of research on student engagement / Eds. S.L. Christenson, A.L. Reschly, C. Wylie. Boston: Springer Science+Business Media, 2012. P. 457—477. DOI:10.1007/978-1-4614-2018-7_22
  12. Oliveri M.E., Mislevy R.J. Introduction to “Challenges and opportunities in the design of ‘next-generation assessments of 21st century skills’” special issue // International Journal of Testing. 2019. Vol. 19. № 2. P. 97—102. DOI:10.1080/15305058.2019.1608551
  13. Peng D., Yu Z. A literature review of digital literacy over two decades // Education Research International. 2022. Vol. 2022. Article ID 2533413. 8 p. DOI:10.1155/2022/2533413
  14. Recommendation of the Council on Children in the Digital Environment [Электронный ресурс] / OECD. Paris: OECD, 2022. 14 p. URL: https://legalinstruments.oecd.org/public/doc/272/272.en.pdf (дата обращения: 26.02.2024).
  15. Recommendations on assessment tools for monitoring digital literacy within unesco’s digital literacy global framework / M. Laanpere, UNESCO, UNESCO Institute for Statistics. Montreal: UNESCO Institute for Statistics, 2019. 23 p. DOI:10.15220/2019-56-en
  16. Speed—Accuracy Trade-Off? Not So Fast: Marginal Changes in Speed Have Inconsistent Relationships with Accuracy in Real-World Settings / B.W. Domingue, K. Kanopka, B. Stenhaug [et al.] // Journal of Educational and Behavioral Statistics. 2022. Vol. 47. № 5. P. 576—602. DOI:10.3102/10769986221099906
  17. Teig N., Scherer R., Kjærnsli M. Identifying patterns of students' performance on simulated inquiry tasks using PISA 2015 log‐file data // Journal of Research in Science Teaching. 2020. Vol. 57. № 9. P. 1400—1429. DOI:10.1002/tea.21657
  18. Test-taking behaviors in a neurocognitive assessment: Associations with school-age outcomes in a Finnish longitudinal follow-up / J. Heinonen, T. Aro, T. Ahonen, A.-M. Poikkeus // Psychological assessment. 2011. Vol. 23. № 1. P. 184—192. DOI:10.1037/a0021291
  19. Towards Accurate and Fair Prediction of College Success: Evaluating Different Sources of Student Data [Электронный ресурс] / R. Yu, Q. Li, C. Fischer, S. Doroudi, D. Xu // Proceedings of the 13th International Conference on Educational Data Mining, EDM 2020, Fully virtual conference (July 10—13, 2020) / Eds. A.N. Rafferty, J. Whitehill, C. Romero, V. Cavalli-Sforza. Montreal: International educational data mining society, 2020. P. 292—301. URL: https://files.eric.ed.gov/fulltext/ED608066.pdf (дата обращения: 26.02.2024).
  20. Understanding and investigating response processes in validation research / Eds. B.D. Zumbo, A.M. Hubley. Cham: Springer International Publishing, 2017. 383 p. DOI:10.1007/978-3-319-56129-5
  21. Validation of score meaning for the next generation of assessments: The use of response processes / Eds. K. Ercikan, J.W. Pellegrino. N.Y.; London: Taylor & Francis, 2017. 165 p.
  22. Virtual performance-based assessments / J. Andrews-Todd, R.J. Mislevy, M. LaMar, S. de Klerk // Computational Psychometrics: New Methodologies for a New Generation of Digital Learning and Assessment: With Examples in R and Python // Eds. A.A. von Davier, R.J. Mislevy, J. Hao. Berlin: Springer, 2021. P. 45—60.
  23. Vuorikari R., Stefano K., Yves P. DigComp 2.2: The Digital Competence Framework for Citizens-With new examples of knowledge, skills and attitudes. Luxembourg: Publications Office of the European Union, 2022. 133 p. DOI:10.2760/115376
  24. Wang J., Wang X. Structural equation modeling: Applications using Mplus. New Jersey: John Wiley & Sons, 2019. 536 p. DOI:10.1002/9781119422730
  25. Wirth J. Computer-based tests: Alternatives for test and item design // Assessment of competencies in educational contexts / Eds. J. Hartig, E. Klieme, D. Leutner. Göttingen: Hogrefe & Huber Publishers, 2008. P. 235—252.
  26. Yamamoto K., Lennon M.L. Understanding and detecting data fabrication in large-scale assessments // Quality Assurance in Education. 2018. Vol. 26. № 2. P. 196—212. DOI:10.1108/QAE-07-2017-0038
  27. Zumbo B.D., Maddox B., Care N.M. Process and product in computer-based assessments: Clearing the ground for a holistic validity framework // European Journal of Psychological Assessment. 2023. Vol. 39. № 4. P. 252—262. DOI: 10.1027/1015-5759/a000748

Информация об авторах

Ткаченко Ирина Олеговна, младший научный сотрудник, Научно-технологический университет «Сириус» (АНОО ВО «Университет “Сириус”»), пгт. Сириус, Россия, ORCID: https://orcid.org/0000-0002-0406-7400, e-mail: tkachenko.io@talantiuspeh.ru

Тарасова Ксения Вадимовна, кандидат педагогических наук, директор Центра психометрики и измерений в образовании, Национальный исследовательский университет «Высшая школа экономики» (ФГАОУ ВО «НИУ ВШЭ»), Москва, Россия, ORCID: https://orcid.org/0000-0002-3915-3165, e-mail: ktarasova@hse.ru

Грачева Дарья Александровна, младший научный сотрудник, Национальный исследовательский университет «Высшая школа экономики», Москва, Россия, ORCID: https://orcid.org/0000-0002-4646-7349, e-mail: dgracheva@hse.ru

Метрики

Просмотров

Всего: 43
В прошлом месяце: 21
В текущем месяце: 22

Скачиваний

Всего: 14
В прошлом месяце: 5
В текущем месяце: 9