Современная зарубежная психология
2024. Том 13. № 1. С. 58–68
doi:10.17759/jmfp.2024130105
ISSN: 2304-4977 (online)
Исследование взаимосвязи данных о результате и процессе выполнения заданий при оценке цифровой грамотности
Аннотация
Измерение комплексных латентных конструктов является непростой задачей. В этом контексте цифровые инструменты оценивания становятся все более популярными благодаря их способности обрабатывать большие и разнообразные данные. Целью исследования является изучение взаимосвязи между результатами тестирования, продолжительностью времени ответа и количеством предпринятых действий во время оценивания уровня цифровой грамотности. Участниками исследования стали более 400 восьмиклассников из московских школ. Для анализа были отобраны данные, отражающие навыки анализа данных, информации и цифрового контента, что является частью информационной грамотности в теоретической рамке цифровой грамотности. Применение моделирования структурными уравнениями позволило построить латентные модели, включая однофакторную модель «Результат тестирования» с высокими показателями соответствия и трехфакторную модель, демонстрирующую взаимосвязь между изучаемыми переменными. Результаты подчеркивают значимость интеграции этих взаимосвязей в цифровые инструменты оценивания цифровой грамотности и анализ поведенческих стратегий при работе с информацией в цифровом пространстве.
Общая информация
Ключевые слова: цифровые инструменты оценивания, цифровая грамотность, метод доказательной аргументации, моделирование структурными уравнениями, конфирматорный факторный анализ, данные о процессе ответа, время ответа, клики
Рубрика издания: Психология образования и педагогическая психология
Тип материала: научная статья
DOI: https://doi.org/10.17759/jmfp.2024130105
Финансирование. Работа выполнена при поддержке Министерства науки и высшего образования Российской Федерации (Соглашение № 075-10-2021-093, Проект COG-RND-2104).
Получена: 31.03.2024
Принята в печать:
Для цитаты: Ткаченко И.О., Тарасова К.В., Грачева Д.А. Исследование взаимосвязи данных о результате и процессе выполнения заданий при оценке цифровой грамотности [Электронный ресурс] // Современная зарубежная психология. 2024. Том 13. № 1. С. 58–68. DOI: 10.17759/jmfp.2024130105
Подкаст
Полный текст
Введение
Методы
Результаты
Обсуждение результатов
Литература
- Авдеева С., Тарасова К. Об оценке цифровой грамотности: методология, концептуальная модель и инструмент измерения // Вопросы образования. 2023. № 2. С. 8—32. DOI:10.17323/1814-9545-2023-2-8-32
- Accurate assessment via process data / S. Zhang, Z. Wang, J. Qi, J. Liu, Z. Ying // Psychometrika. 2023. Vol. 88. № 1. P. 76—97. DOI:10.1007/s11336-022-09880-8
- Bartolomé J., Garaizar P., Bastida L. Validating item response processes in digital competence assessment through eye-tracking techniques // In Eighth International Conference on Technological Ecosystems for Enhancing Multiculturality. 2020. Р. 738—746. DOI:10.1145/3434780.3436641
- Bergner Y., von Davier A.A. Process data in NAEP: Past, present, and future // Journal of Educational and Behavioral Statistics. 2019. Vol. 44. № 6. P. 706—732. DOI:10.3102/1076998618784700
- Challenging games help students learn: An empirical study on engagement, flow and immersion in game-based learning / J. Hamari, D.J. Shernoff, E. Rowe, B. Coller, J. Asbell-Clarke, T. Edwards // Computers in human behavior. 2016. Vol. 54. P. 170—179. DOI:10.1016/j.chb.2015.07.045
- Data literacy assessments: A systematic literature review / Y. Cui, F. Chen, A. Lutsyk, J.P. Leighton, M. Cutumisu // Assessment in Education: Principles, Policy & Practice. 2023. Vol. 30. № 1. P. 76—96. DOI: 10.1080/0969594x.2023.2182737
- De Boeck P., Scalise K. Collaborative problem solving: Processing actions, time, and performance // Frontiers in psychology. 2019. Vol. 10. Article ID 1280. 9 p. DOI:10.3389/fpsyg.2019.01280
- Design and discovery in educational assessment: Evidence-centered design, psychometrics, and educational data mining / R.J. Mislevy, J.T. Behrens, K.E. Dicerbo, R. Levy // Journal of educational data mining. 2012. Vol. 4. № 1. P. 11—48. DOI:10.5281/zenodo.3554641
- Game-Based Assessment of Students’ Digital Literacy Using Evidence-Centered Game Design / J. Li, J. Bai, S. Zhu, H. H. Yang // Electronics. 2024. Vol. 13(2). Article ID 385. 19 p. DOI: 10.3390/electronics13020385
- Hu L., Bentler P.M. Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives // Structural equation modeling: a multidisciplinary journal. 1999. Vol. 6. № 1. P. 1—55. DOI:10.1080/10705519909540118
- Nichols S.L., Dawson H.S. Assessment as a context for student engagement // Handbook of research on student engagement / Eds. S.L. Christenson, A.L. Reschly, C. Wylie. Boston: Springer Science+Business Media, 2012. P. 457—477. DOI:10.1007/978-1-4614-2018-7_22
- Oliveri M.E., Mislevy R.J. Introduction to “Challenges and opportunities in the design of ‘next-generation assessments of 21st century skills’” special issue // International Journal of Testing. 2019. Vol. 19. № 2. P. 97—102. DOI:10.1080/15305058.2019.1608551
- Peng D., Yu Z. A literature review of digital literacy over two decades // Education Research International. 2022. Vol. 2022. Article ID 2533413. 8 p. DOI:10.1155/2022/2533413
- Recommendation of the Council on Children in the Digital Environment [Электронный ресурс] / OECD. Paris: OECD, 2022. 14 p. URL: https://legalinstruments.oecd.org/public/doc/272/272.en.pdf (дата обращения: 26.02.2024).
- Recommendations on assessment tools for monitoring digital literacy within unesco’s digital literacy global framework / M. Laanpere, UNESCO, UNESCO Institute for Statistics. Montreal: UNESCO Institute for Statistics, 2019. 23 p. DOI:10.15220/2019-56-en
- Speed—Accuracy Trade-Off? Not So Fast: Marginal Changes in Speed Have Inconsistent Relationships with Accuracy in Real-World Settings / B.W. Domingue, K. Kanopka, B. Stenhaug [et al.] // Journal of Educational and Behavioral Statistics. 2022. Vol. 47. № 5. P. 576—602. DOI:10.3102/10769986221099906
- Teig N., Scherer R., Kjærnsli M. Identifying patterns of students' performance on simulated inquiry tasks using PISA 2015 log‐file data // Journal of Research in Science Teaching. 2020. Vol. 57. № 9. P. 1400—1429. DOI:10.1002/tea.21657
- Test-taking behaviors in a neurocognitive assessment: Associations with school-age outcomes in a Finnish longitudinal follow-up / J. Heinonen, T. Aro, T. Ahonen, A.-M. Poikkeus // Psychological assessment. 2011. Vol. 23. № 1. P. 184—192. DOI:10.1037/a0021291
- Towards Accurate and Fair Prediction of College Success: Evaluating Different Sources of Student Data [Электронный ресурс] / R. Yu, Q. Li, C. Fischer, S. Doroudi, D. Xu // Proceedings of the 13th International Conference on Educational Data Mining, EDM 2020, Fully virtual conference (July 10—13, 2020) / Eds. A.N. Rafferty, J. Whitehill, C. Romero, V. Cavalli-Sforza. Montreal: International educational data mining society, 2020. P. 292—301. URL: https://files.eric.ed.gov/fulltext/ED608066.pdf (дата обращения: 26.02.2024).
- Understanding and investigating response processes in validation research / Eds. B.D. Zumbo, A.M. Hubley. Cham: Springer International Publishing, 2017. 383 p. DOI:10.1007/978-3-319-56129-5
- Validation of score meaning for the next generation of assessments: The use of response processes / Eds. K. Ercikan, J.W. Pellegrino. N.Y.; London: Taylor & Francis, 2017. 165 p.
- Virtual performance-based assessments / J. Andrews-Todd, R.J. Mislevy, M. LaMar, S. de Klerk // Computational Psychometrics: New Methodologies for a New Generation of Digital Learning and Assessment: With Examples in R and Python // Eds. A.A. von Davier, R.J. Mislevy, J. Hao. Berlin: Springer, 2021. P. 45—60.
- Vuorikari R., Stefano K., Yves P. DigComp 2.2: The Digital Competence Framework for Citizens-With new examples of knowledge, skills and attitudes. Luxembourg: Publications Office of the European Union, 2022. 133 p. DOI:10.2760/115376
- Wang J., Wang X. Structural equation modeling: Applications using Mplus. New Jersey: John Wiley & Sons, 2019. 536 p. DOI:10.1002/9781119422730
- Wirth J. Computer-based tests: Alternatives for test and item design // Assessment of competencies in educational contexts / Eds. J. Hartig, E. Klieme, D. Leutner. Göttingen: Hogrefe & Huber Publishers, 2008. P. 235—252.
- Yamamoto K., Lennon M.L. Understanding and detecting data fabrication in large-scale assessments // Quality Assurance in Education. 2018. Vol. 26. № 2. P. 196—212. DOI:10.1108/QAE-07-2017-0038
- Zumbo B.D., Maddox B., Care N.M. Process and product in computer-based assessments: Clearing the ground for a holistic validity framework // European Journal of Psychological Assessment. 2023. Vol. 39. № 4. P. 252—262. DOI: 10.1027/1015-5759/a000748
Информация об авторах
Метрики
Просмотров
Всего: 187
В прошлом месяце: 43
В текущем месяце: 3
Скачиваний
Всего: 68
В прошлом месяце: 9
В текущем месяце: 2