Измерение критического мышления взрослых: методология и опыт разработки

774

Аннотация

Критическое мышление (далее — КМ) является одной из ключевых компетенций в современном мире. Несмотря на разнообразие систем оценки образовательных результатов для средней школы и высшего образования, существует дефицит инструментов оценки данной компетенции для взрослых. Значимость оценки взрослых подчеркивается прежде всего потребностью работодателей в сотрудниках с развитым КМ в различных рабочих контекстах. В данной статье описываются процедура создания инструмента измерения применительно к слушателям учебного курса «Критическое мышление» платформы «Яндекс.Практикум» и результаты оценки его психометрического качества. При создании данного теста мы опирались на подход Evidence Centered Design (ECD). Тест выполнен в компьютерной форме и состоит из заданий, направленных на выявление релевантного наблюдаемого поведения испытуемого. Валидность разработанного инструмента, в том числе его соответствие теоретическим ожиданиям о факторной структуре, подтверждена доказательствами конструктной, критериальной, конвергентной и содержательной валидности. Рассмотрены ограничения данного исследования и возможные направления будущих разработок. Результатом работы выступает валидизированный инструмент измерения критического мышления для взрослых, качество заданий которого подтверждается психометрическим анализом в современной теории тестирования (IRT — Item Response Theory).

Общая информация

Ключевые слова: критическое мышление, разработка инструмента измерения, валидизация , психометрический анализ

Рубрика издания: Общая психология

Тип материала: обзорная статья

DOI: https://doi.org/10.17759/jmfp.2022110409

Получена: 01.07.2022

Принята в печать:

Для цитаты: Садова А.Р., Хиль Ю.С., Пащенко Т.В., Тарасова К.В. Измерение критического мышления взрослых: методология и опыт разработки [Электронный ресурс] // Современная зарубежная психология. 2022. Том 11. № 4. С. 105–116. DOI: 10.17759/jmfp.2022110409

Полный текст

Введение

Современные исследования подтверждают, что у работодателей существует запрос на специалистов, обладающих универсальными, т. е. не ограниченными какой-либо сферой деятельности, навыками и компетенциями XXI века [10; 32].

Критическое мышление является одной из компетенций, которую потенциальные работодатели ожидают от выпускников, а также отмечают как наиболее важную для построения успешной карьеры [29; 27].

Необходимость развития КМ в образовательной среде зафиксирована в федеральных государственных образовательных стандартах высшего образования в виде одной из универсальных компетенций, как для бакалавриата, так и для магистратуры [4].

Эта ситуация не является специфически российской. Совокупный анализ образовательных стандартов демонстрирует значимость данной компетенции как образовательного результата и за рубежом [6]. Однако, согласно исследованиям, значительное число студентов университетов демонстрируют недостаточно высокий уровень КМ [3; 9]. Такой дефицит провоцирует повышенный спрос на рынке дополнительного профессионального образования на программы повышения квалификации в области развития сложных когнитивных навыков.

На сегодняшний день в России реализуется несколько образовательных программ и курсов по развитию КМ. На открытом рынке существуют как очные программы (Школа критического мышления, тренинг Академии PWC), так и онлайн-курсы на таких платформах как «Открытое образование», «Нетология», «Синхронизация», «Викиум», «Stepik» и др. Ряд программ ДПО по КМ реализуют университеты и институты повышения квалификации.

Разработка отдельных образовательных продуктов по КМ для взрослых согласуется с существующими исследованиями. Исследователи отмечают, что КМ у взрослых поддается развитию [7; 15; 23]. Кроме того, есть данные, свидетельствующие о преимуществах отдельных стратегий обучения. Так, свою эффективность показывает прямое обучение, когда обучающиеся целенаправленно проходят отдельный курс по развитию КМ [16].

В связи с ростом популярности таких курсов на рынке образовательных продуктов возникает закономерный спрос на инструменты измерения. Однако на русском языке крайне мало валидизированных и надежных психометрических инструментов измерения [1]. Опубликованные данные о психометрических показателях были обнаружены только для следующих тестов на русском языке: «4К» [5], направленного на оценку уровня КМ у школьников, HEIghten Critical Thinking Assessment [33] для студентов. Использование зарубежных инструментов не представляется целесообразным, поскольку прямой перевод заданий, разработанных для англоязычной аудитории, может приводить к снижению психометрических показателей. В то же время адаптация зарубежных инструментов может быть не менее сложной, чем разработка нового инструмента, а также требует разрешения правообладателей и платы за использование.

Таким образом, сегодня исследователи сталкиваются с необходимостью разработки системы измерения, пригодной для установления уровня критического мышления у взрослых слушателей учебного курса. Для построения такой системы необходимо выполнить ряд задач, которые связаны с разработкой содержательного определения конструкта, выявлением его компонентов, разработкой инструмента измерения и исследованием качества инструмента.

В данной статье описаны особенности разработки инструмента измерения в рамках методологии доказательной аргументации ECD (Evidence-centered Design, ECD) [25] с использованием аутентичных заданий, в которых респонденту следует выполнить действия (performance tasks). Также приведены доказательства валидности результатов, полученных с помощью инструмента.

Критическое мышление: определение и составляющие

Описываемый инструмент разработан для оценки уровня КМ слушателей учебного курса «Критическое мышление» платформы «Яндекс.Практикум»[1]. Образовательные результаты данного курса были сформированы с опорой на теоретическую рамку «Универсальные компетентности и новая грамотность» [6], согласно которой КМ понимается как компетентность, т. е. совокупность знаний, навыков и диспозиций, позволяющих эффективно решать повседневные и профессиональные задачи в различных контекстах. Таким образом, КМ было определено как совокупность знаний, навыков и диспозиций, позволяющая рационально анализировать и оценивать информацию для аргументированного принятия решений. Составляющие конструкта КМ, на развитие которых направлен курс (образовательные результаты), был определен на основе анализа актуальной литературы [17; 31], матрицы образовательных результатов учебного курса «Критическое мышление» платформы «Яндекс.Практикум», а также экспертного интервью с руководителем группы разработчиков данного учебного курса.

Проведенный анализ позволил представить критическое мышление как совокупность групп составляющих, таких как: (а) работа с информацией, (б) логичность рассуждений и выводов, (в) аргументация.

Работа с информацией включает в себя умение выделить релевантную задаче информацию, отличать факты от мнения, а также понимание того, какая информация заслуживает доверия, а какая требует проверки.

Под логичностью рассуждений и выводов понимается умение рассуждать логически, а также умение отличать обоснованные идеи от тех, для обоснования которых недостаточно данных.

Аргументация включает в себя понимание, какой аргумент, с точки зрения структуры и свойств, является убедительным, умение отличать убедительные аргументы, а также находить уловки в аргументации.

Диспозиции, связанные с КМ, не были включены в данную теоретическую рамку, поскольку временные ограничения на прохождение теста не позволяли качественно их оценить. Оценка диспозиций КМ является направлением для дальнейших исследований.

Таблица 1

Теоретическая рамка теста

Работа с информацией

Логичность рассуждений

и выводов

Аргументация

 

знания

навыки

знания

навыки

знания

навыки

Оценка источников

Обнаружение ошибок мышления

Оценка и создание аргументов

Знает критерии достоверности источников

Оценивает степень достоверности источников информации

Знает виды когнитивных искажений

Распознает когнитивные искажения

Знает критерии убедительных аргументов

Находит убедительные аргументы для подкрепления позиции

Анализ информации

Знает типы логических ошибок в дедуктивных, индуктивных и вероятностных рассуждениях

 

 

Находит контраргументы для опровержения позиции

Определяет недостаточность информации для вывода

Оценка рассуждений

Находит в тексте тезис,

аргументы, иллюстрации

 

Отличает факт от фейка

 

Знает признаки правильных и убедительных рассуждений

 

Отличает логически корректные дедуктивные, правдоподобные, вероятностные рассуждения

 

Формулирует собственную позицию в виде ясного тезиса

 

Различает факт и мнение

 

Верно устанавливает причинно-следственные связи

 

Находит факты, подкрепляющие позицию

 

Анализирует графическую информацию

Формулирование выводов

 

Находит подкрепляющие аргументы иллюстрации

 

 

 

Корректно использует дедуктивные, правдоподобные, вероятностные рассуждения

Знает способы противостояния психологическим и логическим уловкам (при аргументации)

Распознает психологические и логические уловки

Методология Evidence-Centered Design

При формировании теоретической рамки критическое мышление рассматривалось как композитный латентный конструкт, что в последующем определило методологию создания инструмента — Evidence Centered Design (ECD) — метода доказательной аргументации [25]. Данный метод позволяет определить какие данные возможно получить из поведения испытуемого, которые, в свою очередь, являлись бы свидетельством того, что он (или она) обладает компетенцией, которую мы измеряем, а также в последующем смоделировать задание таким образом, чтобы испытуемый мог ее проявить [26]. Важным преимуществом выбранной методологии выступает высокая конструктная валидность, которая достигается благодаря особенностям поэтапного создания теста.

На этапах анализа области компетенций (domain analysis) и моделирования области компетенций (domain modeling) была получена и конкретизирована информация об измеряемом конструкте. Далее на этапе создания концептуальной рамки инструмента (conceptual assessment framework) выбраны элементы области компетенций, которые поддаются измерению в рамках компьютерного тестирования и соответствуют цели оценивания (табл. 1), определены свидетельства проявления КМ, подобраны аутентичные ситуации, в которых можно спровоцировать проявление конструкта, а также определено, какая математическая модель лучше всего подходит для анализа получаемых данных [24]. Свидетельства, помещенные в контекст заданий, превращаются в индикаторы. Индикаторы — это конкретные наблюдаемые действия, совершенные респондентом в процессе взаимодействия с заданием и потенциально отражающие конструкт. На последующих этапах (assembly model, delivery model) было проведено качественное исследование с целью проверки реализации заложенных в концептуальную рамку инструмента характеристик и описаны формальные требования к проведению тестирования и его администрированию.

Таким образом, данная методология дает возможность построения измерения явно ненаблюдаемых конструктов, благодаря непрерывной связи наблюдаемого поведения испытуемого во время выполнения заданий и измеряемого конструкта, что обеспечивает свидетельства валидности.

Разработка тестовых заданий

На начальном этапе был определен набор поведенческих проявлений, которые могут свидетельствовать о выраженности критического мышления у целевой аудитории онлайн-курса и теста соответственно — людей в возрасте 20—50 лет, с высшим образованием, уверенных интернет-пользователей, относящихся к двум основным категориям:

      представители из сферы бизнеса, посещающие курс для развития критического мышления с целью применения полученных знаний и навыков в работе;

      люди, преимущественно молодого возраста, занимающиеся саморазвитием, которые любят учиться.

Затем были отобраны темы, отвечающие строгим критериям (не должны быть четко привязаны к какой-то конкретной профессии или сфере; должны быть дискуссионными и давать возможность для отражения разных подходов, взглядов, фактов и мнений), позволяющим выстроить измерение, а также потенциально интересные и актуальные для слушателей учебного курса, чтобы в последующем испытуемые были мотивированы и вовлечены в процесс выполнения заданий.

Ограничением выступал временной фактор — длительность теста должна быть не более 60 минут, что обусловило выбор формата заданий.

В результате был разработан инструмент, который состоит из трех блоков. Первый блок представляет собой стимульный материал и 6 вопросов к нему. Стимульный материал представлен в виде списка из 12 утверждений на тему «Женщины-руководители», каждое из которых выполняет функцию варианта ответа. Утверждения подобраны таким образом, чтобы все они были задействованы при выполнении заданий в блоке — в роли правильных ответов для одних заданий или дистракторов для других.

Второй блок аналогичен по структуре, но состоит из 15 утверждений на тему «Четырехдневная рабочая неделя» и 8 вопросов.

Первые два блока представляют собой задания, в которых респонденту следует выполнить действия (performance tasks), свидетельствующие о проявлении КМ, чем отличаются от классического формата заданий с множественным выбором, который обычно используется в инструментах измерения критического мышления. Кроме того, задания были разработаны таким образом, чтобы все вопросы были представлены в определенной последовательности, исходя из особенностей применения КМ в реальных ситуациях. Например, первыми представлены задания на анализ информации, а в конце - задания на получение выводов. Такая последовательность комфортна для восприятия и дает возможность приблизить поставленную перед тестируемым задачу к ситуации реального применения КМ, когда для ответа на вопрос необходимо проанализировать некоторый объем информации, а затем сделать выводы.

В третьем блоке содержатся 5 заданий классического формата, с выбором одного или нескольких вариантов ответа, а также задания на соотнесение. В качестве стимульного материала в основном используются фрагменты текста, но при этом присутствует и задание, содержащее графики, отражающие статистические данные,  направленное на оценку навыка анализа графической информации. Таким образом, задания третьего блока разрабатывались с учетом возможности измерения тех свидетельств КМ, которые не удалось органично интегрировать в первый и второй блоки. Это позволило обеспечить более полный охват рамки.

Следуя выбранной методологии разработки инструмента, с целью проверки соответствия наблюдаемого поведения заложенным в концептуальную рамку инструмента характеристикам, было проведено качественное исследование — когнитивная лаборатория (интервью с представителем целевой группы для выявления проблемных зон) [20], а также пилотное исследование (N =104 человека).

В результате были выявлены неточности в формулировках заданий и инструкций, которые были устранены к началу проведения основного количественного исследования. Доработка заключалась в экспертной проверке правильности выбранных ответов в измененных заданиях, однозначности формулировок заданий и инструкций. После проведения необходимой корректировки заданий было проведено исследование, результаты которого представлены ниже.

Эмпирическое исследование валидности

Выборка и процедура сбора данных

Выборку исследования (версии теста, доработанной на основе когнитивных лабораторий и апробации) составили 117 человек: 67% женщин (n = 78) и 33% мужчин (n = 39), в возрасте от 18 лет до 71 года.

Средний возраст участников: 38 лет (SD — 12). Выборка была собрана путем интернет-рассылки методом «снежного кома». Для составления опроса использовался инструмент Alchemer. Уровень образования участников варьировался. Большинство участников имеют высшее образование (67%, n = 78) и не проходили ранее курсы по развитию КМ (96%, n = 112). Также в выборку вошли 18% (n = 21) участников, которые окончили аспирантуру, 11% (n = 13) — с неоконченным высшим образованием и 4% (n = 5) — со средним профессиональным образованием.

От каждого участника в онлайн-режиме было получено согласие на участие и обработку данных с помощью информационной страницы, на которой были указаны детали исследования, ориентировочное время тестирования, а также информация о конфиденциальности полученных данных.

Испытуемым перед выполнением заданий теста предлагалось заполнить анонимную анкету, которая включала вопросы о поле, возрасте, уровне образования, опыте обучения на курсах по развитию КМ и логики, вопросы, касающиеся самооценки составляющих КМ.

После выполнения заданий теста участники заполняли анкету негативных жизненных событий, опросник на склонность к конспирологическим убеждениям, а также отвечали на вопрос о самооценке КМ. Кроме того, у участников было поле для ввода обратной связи, вопросов и предложений по тесту.

Выгруженные из системы Alchemer данные теста и валидизационных опросников перекодировались при помощи программы Microsoft Excel, обрабатывались и анализировались при помощи программ Winsteps версии 4.1.0, SPSS и статистических пакетов RStudio.

Методология анализа данных

В данном исследовании, с опорой на рамку валидности, определенную стандартами разработки теста (The Standards for Educational and Psychological Testing, APA [30]), рассматривались свидетельства конструктной, критериальной, конвергентной и содержательной валидности инструмента.

Для сбора свидетельств конструктной валидности был проведен анализ размерности, проанализированы психометрические характеристики теста в современной теории тестирования (IRT - Item Response Theory). Для получения свидетельств критериальной валидности проверена статистическая связь баллов разработанного теста с другими переменными, в качестве которых выступали итоговые баллы по опроснику конспирологических убеждений и шкале негативных жизненных событий. Для оценки свидетельств конвергентной валидности была рассмотрена связь баллов за тест КМ и переменной, связанной с рассматриваемым конструктом - самооценкой уровня КМ. Также были собраны свидетельства содержательной валидности через получение от специалистов по КМ экспертной оценки о качестве теста.

Результаты анализа

Разработанный тест состоит из 20 заданий (6 заданий в первом блоке, 8 заданий во втором и 6 - в третьем), 13 из них дихотомические, а 7 - политомические.

Анализ размерности

В программе Winsteps методом главных компонент была проанализирована размерность инструмента измерения.

Собственное значение самого крупного контраста (1st contrast) составляет 1,8, что не превышает рекомендуемый показатель для одномерных тестов, равный 2 [28].

Также у контрастов однородная зависимость - на первый и второй контраст приходится близкое количество необъясненной дисперсии и их собственные значения близки. Эти данные указывают, что тест можно анализировать как существенно одномерный.

Психометрический анализ

В данном исследовании тест был проанализирован в рамках современной теории тестирования (IRT), модели частичного оценивания — Partial Credit Model [22]. Эта модель представляет собой расширение модели Раша на случай, когда в тесте есть задания, оцениваемые политомически, и в отличие от тестов, которым с большей вероятностью подойдет Rating Scale Model, в данном тесте у заданий разные ответные категории.

Таблица 2

Общие статистики по заданиям

 

Оценка трудности

Ошибка измерения

Статистики согласия

INFIT

OUTFIT

MNSQ

ZSTQ

MNSQ

ZSTD

Среднее значение

0,00

0,19

0,99

0,00

1,04

0,30

Стандартное отклонение

0,73

0,04

0,07

0,70

0,18

1,10

Максимальное значение

1,22

0,29

1,11

1,40

1,50

3,00

Минимальное значение

-1,85

0,13

0,86

-1,20

0,74

-1,10

Среднее значение ошибок измерения всех заданий — 0,19. Среднее значение INFIT ZSTD (взвешенной статистики согласия) составляет 0,00; OUTFIT ZSTD (невзвешенной статистики согласия) — 0,03. Значения близки к 0, что говорит о том, что в среднем задания соответствуют модели. Максимальное значение INTFIT ZSTD — 1,41, следовательно, по этому показателю все задания в хорошем согласии с данной моделью. Максимальное значение OUTFIT ZSTD — 3,00  (табл. 2), означает, что есть хотя бы 1 задание с показателями выше рекомендованных (>2,00), которые показывают, что в задании присутствуют экстремально неожиданные ответы. Надежность в IRT (Person separation reliability) — 0,76, что отражает отношение «истинной» дисперсии к наблюдаемой.

Значение SEPARATION указывает на то, что данную выборку можно разделить примерно на 3 группы по уровню способностей (или страт, то есть число статистически различных уровней мер испытуемых).

Анализ заданий. Согласие с моделью

Большинство заданий функционирует корректно (табл. 3). Наиболее простое задание в тесте — №9 (Блок 2 №3). Показатель его трудности равен (-1,85) логита. Самым сложным заданием является №20 (Блок 3 №6), его трудность составляет 1,22 логита. Взвешенные статистики согласия у заданий С5 и С6 выше рекомендуемых — это означает, что вопрос не в полной мере согласуется с ответами респондентов на краях распределения, в данных больше «шума», чем предсказывала модель. Однако надо заметить, что некоторые исследователи указывают, что критическим интервалом можно считать статистики от (-3) до 3 [21].

Таблица 3

Показатели заданий

Номер задания

Тип

задания

Оценка трудности

Ошибка измерения

Статистики согласия

(ZSTQ)

INFIT

OUTFIT

1

А1

0,37

0,13

-0,6

-0,2

2

А2

-0,06

0,13

0,3

0,0

3

А3

0,37

0,20

0,2

0,1

4

А4

0,21

0,20

-0,6

0,4

5

А5

-1,17

0,24

-0,4

-0,4

6

А6

-0,14

0,15

-0,5

-0,7

7

В1

0,53

0,13

1,1

1,1

8

В2

-0,47

0,21

-0,1

0,4

9

В3

-1,85

0,29

-0,7

-0,8

10

В4

1,12

0,21

0,2

0,4

11

В5

0,12

0,20

0,5

-0,2

12

В6

0,73

0,20

1,4

0,5

13

В7

-0,70

0,22

-0,1

0,3

14

В8

-0,12

0,20

-0,1

-0,3

15

С1

-0,33

0,21

-1,2

-1,1

16

С2

0,12

0,13

-0,7

-1,1

17

С3

0,86

0,21

-0,8

0,7

18

С4

-0,31

0,14

0,8

1,1

19

С5

-0,51

0,21

-0,2

3,0

20

С6

1,22

0,22

0,9

2,9

Проанализировав данные, мы можем сделать вывод, что большинство заданий имеют хорошие психометрические характеристики. Тест можно рассматривать как качественный и надежный инструмент измерения с точки зрения психометрических показателей в модели Partial Credit Model.

При разработке теоретической рамки предполагалась сильная связь выделенных компонентов КМ, что и подтвердилось при анализе размерности. Подобной одномерной факторной структурой обладают и другие инструменты измерения КМ, например, российская версия теста HEIghten Critical Thinking Assessment [33].

Конвергентная валидность

В качестве инструмента, измеряющего самооценку КМ, были выбраны:

       Самооценка КМ

       Опросник КМ [2]

Опросник на основании полученных данных подтвердил высокий уровень надежности (Альфа 0,91), надежность, указанная авторами опросника 0,92. Так же как и вопрос про самооценку уровня КМ, он показал значимую (р<0,01) положительную умеренную корреляцию с баллами по разработанному тесту (табл. 4) [8].

Таблица 4

Корреляционный анализ (Спирмен)

 

Опросник КМ

Самооценка КМ

Тест КМ

0,333**

0,384**

Примечание: «**» - р <0,01

Мы оценили свидетельства конвергентной валидности, рассмотрев связи между баллами по тесту и переменными, связанными с конструктом, такими как академические результаты, самооценка уровня КМ. Как показали результаты, только самооценка и опросник КМ значимо (р <0,01) коррелируют с баллами по данному тесту КМ.

Критериальная валидность

Исследования стилей мышления и необоснованных убеждений показали, что рациональные, аналитические стили мышления отрицательно коррелируют с конспирологическими убеждениями [34]. Учитывая теоретическую положительную связь между критическим и аналитическим мышлением, мы предполагали отрицательную связь между КМ и конспирологическими убеждениями.

В качестве инструмента измерения конспирологических убеждений был выбран опросник, выявляющий склонность к ним, — GCBS [19].

В табл. 5 представлены значения корреляционного анализа, из которых мы можем сделать вывод о том, что значения коэффициента корреляции статистически значимы и отрицательны, что выступает свидетельством критериальной валидности.

Таблица 5

Корреляционный анализ

 

Негативные события

Конспирологические убеждения

Тест КМ

-0,17*

-0,4**

Примечание: «**» - р< 0,01; «*» - p<0,05.

В роли критерия использовалась шкала негативных жизненных событий, разработанная в 2007 г. [11]. Она нацелена на измерение распространенности негативных жизненных событий. Проходя его, респонденты указывают, происходило ли с ними указанное негативное событие за последние полгода.

С помощью данного опросника проходила валидизация инструмента оценки КМ Halpern (HCTA) [12]. В ходе исследования были сделаны выводы о том, что у респондентов с высокими баллами КМ было меньше негативных событий (r = - 0,38).

Шкала не была адаптирована для использования на русском языке. Используя метод обратного перевода для обеспечения лингвистической эквивалентности, а также корректируя некоторые утверждения для обеспечения культурной валидации, был осуществлен перевод шкалы.

Как видно из табл. 5, коэффициент корреляции — значимый (p <0,05; р < 0,01) и отрицательный. Однако связь со шкалой негативных событий крайне слабая, тогда как связь с конспирологическими убеждениями умеренная.

Содержательная валидность

Для подтверждения содержательной валидности задания разработанного теста были отправлены на проверку пяти экспертам по КМ: кандидатам философских наук, доцентам, преподавателям курсов по развитию КМ на различных платформах, а также авторам научных публикаций по теме КМ. Стоит отметить, что в России тема развития КМ стала популярна только несколько лет назад, и на сегодняшний день есть ограниченное количество специалистов, которые занимаются изучением этой темы.

Экспертам были предоставлены все материалы теста — инструкции, задания с индикаторами и ключи. Каждому эксперту необходимо было оценить вопросы теста по следующим критериям: понятность задания, правильность ответа, соответствие задания заложенному индикатору, направленность задания на оценку КМ. Они отметили, что все вопросы теста и варианты ответа понятны, задания верно подобраны к индикаторам, ошибок в ключах к тесту зафиксировано не было. В ходе экспертизы заданий все эксперты подтвердили, что задания направлены на измерение КМ.

Заключение

В статье раскрыты результаты исследования измерения критического мышления для слушателей онлайн-курса. В соответствующих разделах представлены определение измеряемого конструкта, его модель; описаны основные этапы разработки инструмента измерения с использованием методологии ECD и performance tasks, а также приведены эмпирические доказательства валидности полученных результатов.

Результаты статистического и психометрического IRT-анализа доказывают правомерность использования данного теста для заявленной целевой аудитории. Анализ размерности инструмента измерения показал, что тест можно рассматривать как существенно одномерный. С точки зрения критериальной валидности теста подтвердились гипотезы об отрицательной связи внешними переменными с такими как вера в конспирологические убеждения, и шкалой негативных жизненных событий. Экспертная проверка показала, что задания направлены на измерение КМ. При этом следует отметить, что в исследовании была использована шкала негативных жизненных событий, которая требует процедуры адаптации с английского на русский язык с соблюдением стандартов. Стоит отметить, что в рамках первичной оценки качества инструмента измерения с применением IRT анализа размер используемой выборки респондентов можно считать достаточным. Однако планируется провести исследование на большем количестве испытуемых [18].

Таким образом, можно сделать вывод о том, что разработанный инструмент функционирует согласно поставленной цели, имеет хорошие психометрические характеристики, однако  в будущем желательно провести дополнительные исследования валидности.

Несмотря на преимущества performance tasks по сравнению с классическими заданиями с выбором единственного правильного ответа, более точно оценить критическое мышление можно в заданиях открытого типа со свободным изложением ответа. Разработка и включение в инструмент подобных заданий может быть направлением для дальнейших исследований.

В рамках развития данного инструмента  предполагается также создание блока вопросов, направленных на оценку диспозиционной составляющей КМ [13; 14].

Такое усовершенствование инструмента позволит делать более обоснованные выводы об уровне КМ для обозначенной целевой аудитории, а также стать основой построения измерения для других целевых групп.



[1] Яндекс.Практикум. Навыки критического мышления для менеджеров: анализ информации, аргументация и принятие решений [Электронный ресурс]. URL: https://practicum.yandex.ru/thinking/ (дата обращения: 24.06.2022).

Литература

  1. Волков Е.Н. Тесты критического мышления: вводный обзор [Электронный ресурс] // Психологическая диагностика. 2015. № 3. С. 5—23. URL: https://evolkov.net/critic.think/tests/Critic.Think.Tests.Volkov.E.2015.pdf (дата обращения: 01.11.2022)
  2. Корешникова Ю.Н., Фрумин И.Д. Профессиональные компетенции педагога как фактор сформированности критического мышления студентов // Психологическая наука и образование. 2020. Т. 25. № 6. С. 88—103. DOI:10.17759/pse.2020250608
  3. Корешникова Ю.Н., Фрумин И.Д., Пащенко Т.В. Организационные и педагогические условия формирования навыка критического мышления у студентов российских вузов // Университетское управление: практика и анализ. 2021. Том 25. № 1. C. 5—17. DOI:10.15826/umpa.2021.01.001
  4. Портал федеральных государственных образовательных стандартов высшего образования [Электронный ресурс] / НИТУ «МИСиС». 2022. URL: https://fgosvo.ru/fgosvo/index/24 (дата обращения: 01.11.2022).
  5. Угланова И.Л., Орел Е.А., Брун И.В. Измерение креативности и критического мышления в начальной школе // Психологический журнал. 2020. Том 41. № 6. С. 96—107. DOI:10.31857/S020595920011124-2
  6. Универсальные компетентности и новая грамотность: от лозунгов к реальности / М.С. Добрякова, И.Д. Фрумин, К.А. Баранников, И.М. Реморенко, Н. Зиил, Д. Мосс, Я. Хаутамяки. М.: Изд. дом Высшей школы экономики, 2020. 468 с. DOI:10.17323/978-5-7598-2177-9
  7. Ab Kadir M.A. What Teacher Knowledge Matters in Effectively Developing Critical Thinkers in the 21st Century Curriculum? // Thinking Skills and Creativity. 2017. Vol. 23. P. 79—90. DOI:10.1016/j.tsc.2016.10.011
  8. Akoglu H. User's guide to correlation coefficients // Turkish journal of emergency medicine. 2018. Vol. 18(3). P. 91—93. DOI:10.1016/j.tjem.2018.08.001
  9. Assessment of critical thinking: Next generation performance assessment / R.J. Shavelson, O. Zlatkin-Troitschanskaia, K. Beck, S. Schmidt, J.P. Marino // International Journal of Testing. 2019. Vol. 19(9). P. 337—362. DOI:10.1080/15305058.2018.1543309
  10. Bandyopadhyay S., Szostek J. Thinking critically about critical thinking: Assessing critical thinking of business students using multiple measures // Journal of Education for Business. 2019. Vol. 94(4). P. 259—270. DOI:10.1080/08832323.2018.1524355
  11. Bruine de Bruin W., Parker A.M., Fischhoff B. Individual differences in adult decision-making competence // Journal of personality and social psychology. 2007. Vol. 92. № 5. P. 938—956. DOI:10.1037/0022-3514.92.5.938
  12. Butler H.A. Halpern Critical Thinking Assessment predicts real world outcomes of critical thinking // Applied Cognitive Psychology. 2012. Vol. 26. № 5. P. 721—729. DOI:10.1002/acp.2851
  13. Calma A., Cotronei-Baird V. Assessing critical thinking in business education: Key issues and practical solutions // The International Journal of Management Education. 2021. Vol. 19. № 3. Article ID 100531. 14 p. DOI:10.1016/j.ijme.2021.100531
  14. Critical thinking education and assessment. 2nd ed. / Ed. J. Sobocan. Windsor: Windsor Studies in Argumentation, 2022. 324 p. DOI:10.22329/wsia.12.2022
  15. Dwyer C.P., Walsh A. An exploratory quantitative case study of critical thinking development through adult distance learning // Educational Technology Research and Development. 2020. Vol. 68. P. 17—35. DOI:10.1007/s11423-019-09659-2
  16. Enhancing Critical Thinking Skills through Decision-Based Learning / K.J. Plummer, M. Kebritchi, H.M. Leary, D.M. Halverson // Innovative Higher Education. 2022. Vol. 47(2). P. 711—734. DOI:10.1007/s10755-022-09595-9
  17. Hitchcock D. Critical Thinking [Электронный ресурс] // The Stanford Encyclopedia of Philosophy (Fall 2020 Edition) / Ed. Edward N. Zalta, Uri Nodelman. Stanford: The Metaphysics Research Lab, 2022. URL: https://plato.stanford.edu/entries/critical-thinking/ (дата обращения: 24.06.2022).
  18. Is Rasch model analysis applicable in small sample size pilot studies for assessing item characteristics? An example using PROMIS pain behavior item bank data / W.H. Chen, W. Lenderking, Y. Jin, K.W. Wyrwich, H. Gelhorn, D.A. Revicki // Quality of Life Research. 2014. Vol. 23. P. 485—493. DOI:10.1007/s11136-013-0487-5
  19. Kay C.S., Slovic P. The Generic Conspiracist Beliefs Scale — 5: A short-form measure of conspiracist ideation // PsyArXiv, 2022. 72 p. DOI:10.31234/osf.io/2uvr9
  20. Leighton J.P. Using think-aloud interviews and cognitive labs in educational research. Oxford: Oxford University Press, 2017. 216 p. DOI:10.1093/acprof:oso/9780199372904.001.0001
  21. Linacre J.M. Optimizing rating scale category effectiveness [Электронный ресурс] // Journal of applied measurement. 2002. Vol. 3(1). P. 85—106. URL: https://psycnet.apa.org/record/2002-01669-005 (дата обращения: 24.06.2022).
  22. Masters G.N. A Rasch model for partial credit scoring // Psychometrika. 1982. Vol. 47. № 2. P. 149—174. DOI:10.1007/BF02296272
  23. Mehmet Ş.A.H.I.N. Critical thinking and transformative learning [Электронный ресурс] // Journal of Innovation in Psychology, Education and Didactics. 2018. Vol. 22. № 1. P. 103—114. URL: https://files.eric.ed.gov/fulltext/ED593584.pdf (дата обращения: 08.11.22).
  24. Mislevy R.J. Sociocognitive Foundations of Educational Measurement. N.Y.: Routledge, 2018. 458 p. DOI:10.4324/9781315871691
  25. Mislevy R.J., Almond R.G., Lukas J.F. A brief introduction to evidence centered design // ETS Research Report Series. 2014. Vol. 2003. № 1. P. i-29. DOI:10.1002/j.2333-8504.2003.tb01908.x
  26. Oliveri M.E., Mislevy R.J. Introduction to «Challenges and Opportunities in the Design of ‘Next-Generation Assessments of 21st Century Skills’» Special Issue // International Journal of Testing. 2019. Vol. 19. № 2. P. 97—102. DOI:10.1080/15305058.2019.1608551
  27. Penkauskienė D., Railienė A., Cruz G. How is critical thinking valued by the labour market? Employer perspectives from different European countries // Studies in Higher Education. 2019. Vol. 44(5). P. 804—815. DOI:10.1080/03075079.2019.1586323
  28. Smith Jr E.V. Detecting and evaluating the impact of multidimensionality using item fit statistics and principal component analysis of residuals // Journal of applied measurement. 2002. Vol. 3(2). P. 205—231.
  29. Soft Skills Integration into Business Processes Based on the Requirements of Employers-Approach for Sustainable Education / E. Sujová, H. Čierna, Ľ. Simanová, P. Gejdoš, J. Štefková // Sustainability. 2021. Vol. 13(24). Article ID 13807. 13 p. DOI:10.3390/su132413807
  30. Standards for Educational and Psychological Testing / American Educational Research Association, American Psychological Association & National Council on Measurement in Education. Washington, D.C: American Educational Research Association, 2014. 230 p.
  31. Studies in Critical Thinking: 2nd Edition / J.A. Blair (ed.). Windsor, Ontario: Windsor Studies in Argumentation, 2019. 393 p. DOI:10.22329/wsia.08.2019
  32. The relation between 21st-century skills and digital skills: A systematic literature review / E. Van Laar, A.J. Van Deursen, J.A. Van Dijk, J. De Haan // Computers in human behavior. 2017. Vol. 72. P. 577—588. DOI:10.1016/j.chb.2017.03.010
  33. Thinking critically about critical thinking: validating the Russian HEIghten® critical thinking assessment / A. Shaw, O.L. Liu, L. Gu [et all.] // Studies in Higher Education. 2020. Vol. 45. № 9. P. 1933—1948. DOI:10.1080/03075079.2019.1672640
  34. West R.F., Toplak M.E., Stanovich K.E. Heuristics and biases as measures of critical thinking: associations with cognitive ability and thinking dispositions // Journal of Educational Psychology. 2008. Vol. 100(4). P. 930—941. DOI:10.1037/a0012842

Информация об авторах

Садова Анастасия Романовна, ведущий специалист отдела аналитики и разработки диагностических инструментов, Автономная некоммерческая организация «Россия — страна возможностей», Москва, Россия, ORCID: https://orcid.org/0000-0001-8472-5305, e-mail: anastasiya.sadova@rsv.ru

Хиль Юлия Сергеевна, магистр психологии, ведущий специалист отдела аналитики и разработки диагностических инструментов, Автономной некоммерческой организации «Россия — страна возможностей», Москва, Россия, ORCID: https://orcid.org/0000-0002-4758-5224, e-mail: yuskhil@edu.hse.ru

Пащенко Тарас Валерьевич, заведующий лабораторией проектирования содержания образования Института образования, Национального исследовательского университета «Высшая школа экономики» (НИУ ВШЭ), Москва, Россия, ORCID: https://orcid.org/0000-0002-8412-2077, e-mail: tpaschenko@hse.ru

Тарасова Ксения Вадимовна, кандидат педагогических наук, директор Центра психометрики и измерений в образовании, Национальный исследовательский университет «Высшая школа экономики» (ФГАОУ ВО «НИУ ВШЭ»), Москва, Россия, ORCID: https://orcid.org/0000-0002-3915-3165, e-mail: ktarasova@hse.ru

Метрики

Просмотров

Всего: 1215
В прошлом месяце: 61
В текущем месяце: 16

Скачиваний

Всего: 774
В прошлом месяце: 36
В текущем месяце: 7