Методология Evidence-Centered Design для измерения комплексных психологических конструктов

1785

Аннотация

В статье представлена новая методология создания инструментов измерения Evidence-Centered Design (ECD), в переводе – систематический подход к разработке тестов. ECD позволяет подойти к созданию инструмента с доказательной позиции: результаты тестирования рассматриваются как свидетельства выраженности определенной психологической черты, характеристики. Методология наиболее актуальна для измерения комплексных, многокомпонентных конструктов. Методологические положения иллюстрируются нашим опытом разработки инструмента измерения креативности и критического мышления в начальной школе.

Общая информация

Ключевые слова: Evidence-CenteredDesign, систематический подход к разработке тестов, критическое мышление, креативность

Рубрика издания: Отраслевая психология

Тип материала: научная статья

DOI: https://doi.org/10.17759/jmfp.2018070302

Для цитаты: Угланова И.Л., Брун И.В., Васин Г.М. Методология Evidence-Centered Design для измерения комплексных психологических конструктов [Электронный ресурс] // Современная зарубежная психология. 2018. Том 7. № 3. С. 18–27. DOI: 10.17759/jmfp.2018070302

Литература

  1. Бояцис Р. Компетентный менеджер. Модель эффективной работы. М.: ХИППО, 2008. 340 с.
  2. Оценка информационно-коммуникационной компетентности учащихся: подходы, инструмент, валидность и надежность результатов [Электронный ресурс] / С.М. Авдеева [и др.] // Вопросы образования. 2017. № 4. С. 104–132. URL: https://cyberleninka.ru/article/n/otsenka-informatsionno-kommunikatsionnoy-kompetentnosti-uchaschihsya-podhody-instrument-validnost-i-nadezhnost-rezultatov (дата обращения: 04.07.2018).
  3. Хлопотов М.В. Применение байесовской сети при построении моделей для оценки уровня сформированности компетенций [Электронный ресурс] // Интернет-журнал Науковедение. 2014. № 5(24). С. 1–28. URL: https://cyberleninka.ru/article/n/primenenie-bayesovskoy-seti-pri-postroenii-modeley-dlya-otsenki-urovnya-sformirovannosti-kompetentsiy (дата обращения: 26.08.2018).
  4. Almond R., Steinberg L., Mislevy R. Enhancing the design and delivery of assessment systems: A four-process architecture [Электронный ресурс] // The Journal of Technology, Learning and Assessment. 2002. Vol. 1. № 5. P. 1–64. URL: https://ejournals.bc.edu/ojs/index.php/jtla/article/view/1671/1509 (дата обращения: 26.08.2018).
  5. An evidence centered design for learning and assessment in the digital world [Электронный ресурс]: CRESST Report 778  / J.T. Behrens [et al.]. Los Angeles, CA: National Center for Research on Evaluation, Standards, and Student Testing (CRESST), 2010. 48 p. URL: https://files.eric.ed.gov/fulltext/ED520431.pdf (дата обращения: 26.08.2018).
  6. Bayesian networks in educational assessment / R.G. Almond [et al.]. New York: Springer, 2015. 662 p. doi:10.1007/978-1-4939-2125-6
  7. de Klerk S., Veldkamp B.P., Eggen T.J.H.M. Psychometric analysis of the performance data of simulation-based assessment: A systematic review and a Bayesian network example // Computers & education. 2015. Vol. 85. P. 23–34. doi:10.1016/j.compedu.2014.12.020
  8. Debugging the evidence chain [Электронный ресурс] / R.G. Almond [et al.] // 2013 Uai Application Workshops: Big data meet complex models and models for spatial, temporal and network data (uai2013aw / Eds. R.G. Almond, O. Mengshoel. Seattle, WA: Association For Uncertainty In Artificial Intelligence, 2013. P. 1–10. URL: http://ceur-ws.org/Vol-1024/paper-01.pdf (дата обращения: 26.08.2018).
  9. Ennis R.H. Critical thinking assessment // Theory into practice. 1993. Vol. 32. № 3. P. 179–186. doi:10.1080/00405849309543594
  10. Facione P. Critical thinking: A statement of expert consensus for purposes of educational assessment and instruction [Электронный ресурс]. Newark: California Academic Press, 1990. 112. p. URL: https://philarchive.org/archive/FACCTA (дата обращения: 26.08.2018).
  11. Griffin P., Care E., McGaw B. The changing role of education and schools // Assessment and teaching of 21st century skills / Eds. P. Griffin, E. Care. Dordrecht: Springer, 2012. P. 1–15. doi:10.1007/978-94-007-2324-5_1
  12. Grit: perseverance and passion for long-term goals / A.L. Duckworth [et al.] // Journal of personality and social psychology. 2007. Vol. 92. № 6. P. 1087–1101. doi:10.1037/0022-3514.92.6.1087
  13. Introduction to the biomass project: An illustration of evidence-centered assessment design and delivery capability. [Электронный ресурс]: CSE Report 609 / L.S. Steinberg [et al.]; National Center for Research on Evaluation, Standards, and Student Testing; California Universitet; Center for the Study of Evaluation. Los Angeles, CA, 2003. 57 p. URL: https://files.eric.ed.gov/fulltext/ED483027.pdf (дата обращения: 26.08.2018).
  14. Lai E.R. Critical thinking: A literature review [Электронный ресурс]: Research Report. Vol. 6. Pearson, 2011. 49 p. URL: http://images.pearsonassessments.com/images/tmrs/CriticalThinkingReviewFINAL.pdf (дата обращения: 26.08.2018).
  15. Lewis A., Smith D. Defining higher order thinking // Theory into practice. 1993. Vol. 32. № 3. P. 131–137. doi:10.1080/00405849309543588
  16. Liu O.L., Frankel L., Roohr K.C. Assessing Critical Thinking in Higher Education: Current State and Directions for Next Generation Assessment // ETS Research Report Series. 2014. Vol. 2014. № 1. P. 1–23. doi:10.1002/ets2.12009
  17. Melding the power of serious games and embedded assessment to monitor and foster learning / V.J. Shute [et al.] // Serious games: Mechanisms and effects / Eds. U. Ritterfeld, M. Cody, P. Vorderer. New York; London: Routledge; Taylor and Francis, 2009. P. 295–321.
  18. Messick S. Alternative modes of assessment, uniform standards of validity: Research Report. Princeton, N.J.: Educational Testing Service, 1994. 25 p. (ETS Research Report Series. № 2). doi:10.1002/j.2333-8504.1994.tb01634.x
  19. Mislevy R.J., Almond R.G., Lukas J.F. A brief introduction to evidence-centered design: Research Report. Princeton, N.J.: Educational Testing Service, 2003. 37 p. (ETS Research Report Series. Vol. 2003. № 1.). doi:10.1002/j.2333-8504.2003.tb01908.x
  20. Mislevy R.J., Haertel G.D. Implications of evidence-centered design for educational testing // Educational Measurement: Issues and Practice. 2006. Vol. 25. № 4. P. 6–20. doi:10.1111/j.1745-3992.2006.00075.x
  21. Modeling conditional probabilities in complex educational assessments [Электронный ресурс] / R.J. Mislevy [et al.]; Center for the Study of Evaluation, National Center for Research on Evaluation, Standards, and Student Testing, Graduate School of Education & Information Studies, University of California. Los Angeles, 2001. 56 p. URL: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.322.4516&rep=rep1&type=pdf (дата обращения: 26.08.2018).
  22. Paul R. Critical thinking: What, why, and how // New directions for community colleges. 1992. Vol. 1992. № 77. P. 3–24. doi:10.1002/cc.36819927703
  23. Polyak S.T., von Davier A.A., Peterschmidt K. Computational Psychometrics for the Measurement of Collaborative Problem Solving Skills // Frontiers in psychology. 2017. Vol. 8. P. 20–29. doi:10.3389/fpsyg.2017.02029
  24. Psychometric considerations in game-based assessment / R.J. Mislevy [et al.]. [Redwood City, CA]: GlassLab Report, 2014. 158 p.
  25. Shute V.J., Rahimi S. Review of computer-based assessment for learning in elementary and secondary education // Journal of Computer Assisted Learning. 2017. Vol. 33. № 1. P. 1–19. doi:10.1111/jcal.12172
  26. Toulmin S.E. The uses of argument. Cambridge: Cambridge University Press, 1958. 262 p.

Информация об авторах

Угланова Ирина Львовна, младший научный сотрудник, Центр психометрики и измерений в образовании, ФГАОУ ВО «Национальный исследовательский университет «Высшая школа экономики» (ФГАОУ ВО «НИУ ВШЭ»), Москва, Россия, ORCID: https://orcid.org/0000-0001-9117-5997, e-mail: iuglanova@hse.ru

Брун Ирина Викторовна, заместитель руководителя лабораторией измерения новых конструктов и дизайна тестов, Национальный исследовательский университет «Высшая школа экономики», Москва, Россия, e-mail: ibrun@hse.ru

Васин Георгий Михайлович, младший научный сотрудник лаборатории измерения новых конструктов и дизайна тестов, Национальный исследовательский университет «Высшая школа экономики», Москва, Россия, e-mail: gvasin@hse.ru

Метрики

Просмотров

Всего: 2216
В прошлом месяце: 12
В текущем месяце: 6

Скачиваний

Всего: 1785
В прошлом месяце: 13
В текущем месяце: 8