Влияние количества правильных ответов в пункте теста знаний на мета-когнитивный мониторинг решения тестовых заданий^*

В статье изложены результаты эмпирического исследования влияния количества правильных ответов в пунктах теста знаний на уверенность в решении. Результаты исследования, проведенного на материале решения студентами филологического факультета КГУ им. К. Э. Циолковского профильных тестовых заданий, свидетельствуют о том, что уверенность в решении является наиболее высокой для тестовых заданий с тремя вариантами правильного ответа в том случае, если в вопросе к ним указывается количество правильных ответов, которые необходимо выбрать учащемуся. Обнаружено взаимодействие внешних (тип тестового задания) и внутренних (уверенность в себе) факторов в их влиянии на метакогнитивный мониторинг решения теста знаний. В связи с полученными в исследовании результатами обсуждается вопрос о разработке и использовании тестов знаний в практике образования.

Проблема исследования

В исследованиях метакогнитивных процессов наряду с изучением общепсихологических, возрастно-психологических, социально-психологических аспектов функционирования интеллекта значительное место занимает анализ взаимо-связи метапознания с успешностью учения. По мнению некоторых авторов, роль метапознания в обучении и учении является сегодня центральным направлением психолого-педагогических исследований (Zohar, Dori, 2012). В частности, предметом многообразных эмпирических работ являются механизмы отслеживания самим учащимся процесса решения тех или иных познавательных задач в учении. Эти психологические феномены фиксируются в понятии «метакогнитивный мониторинг». Исследования метакогнитивного мониторинга представляют собой оценку различного типа суждений (т. н. метакогнитивных суждений), которые формирует человек относительно успешности решения той или иной познавательной задачи. Одной из разновидностей  такого рода суждений являются суждения уверенности в правильности решения той или  иной задачи (confidence judgments). Например, испытуемый высказывает уверенность в том, что он правильно вспомнил материал, или решил мыслительную задачу, или выбрал правильный вариант ответа в тесте знаний и т.п. Затем эти показатели сопоставляются с объективной успешностью решения. Данная исследовательская процедура получила название парадигмы калибровки (реализма) уверенности (Скотникова, 2002; Hacker, Bol, Keener, 2008). Как связаны мониторинг и успешность учения? Приведем конкретный пример. Процесс отслеживания учащимся работы собственной памяти оказывает непосредственное влияние на распределение времени, затрачиваемого на изучение того или иного фрагмента материала. Так, если материал оценивается учащимся как более сложный для запоминания, то ему уделяется больше времени на изучение. Наоборот, запоминанию материала, который оценивается этим же учащимся как требующий меньших мнемических ресурсов, уделяется гораздо меньше времени. Согласно многочисленным экспериментальным данным, точность метакогнитивного мониторинга положительно связана с академической успешностью: учащиеся и студенты, которые более адекватно оценивают свои знания и познавательные возможности, обычно лучше учатся (Hacker, Bol, Keener, 2008). Однако метакогнитивный мониторинг далеко не всегда является хорошим инструментом получения информации о собственном познании. Не случайно Т. Нельсон и Л. Нарренс (Nelson, Narrens, 1996) сравнивают изучение метакогнитивных процессов с работой ученого-оптика, исследующего работу телескопа на предмет точности предоставляемых им наблюдений или возникновения возможных искажений, вносимых в наблюдаемые явления. Подобные искажения возможны и у человека, который учится. Причем иллюзии в отношении собственного познания имеют для обучающегося самые неблагоприятные последствия в отношении организации им своего обучения. Так, если учащийся переоценивает свои познавательные ресурсы, то он может прилагать недостаточное количество усилий для решения учебных задач, что нередко приводит к систематической неуспеваемости. Он может также быть слишком пессимистичным в оценке своих познавательных возможностей: в этом случае он может затрачивать на решение одной конкретной задачи излишнее время и усилия, которые могли бы понадобиться для решения других задач. В этой связи возникает вопрос о том, какие факторы влияют на точность метакогнитивного мониторинга. К такого рода факторам относятся, в первую очередь, внутренние факторы оценки учащимся собственной успешности в освоении новых знаний. В исследовании Е. Ю. Савина и А. Е. Фомина, выполненном на материале решения студентами тестов знаний, было показано, что связь между знанием материала и уверенностью в правильности решения носит нелинейный характер и зависит от уровня освоения знания. При высоком уровне освоения материала суждения уверенности опираются на непосредственную актуализацию предметно-специфического знания. При низком и среднем уровне освоения знания источником уверенности выступают такие внутренние психологические факторы, как общая субъективная оценка собственной учебной успешности и опыт предшествующего обучения в сходной предметной области. Поскольку эти факторы непосредственно не связаны со знанием, они выступают источником чрезмерно оптимистичных метакогнитивных суждений – сверхуверенности (Савин, Фомин, 2011). Отметим, что эти данные в определенной степени противоречат интуитивному представлению о характере такой связи: «чем больше знаю, тем больше уверен в собственной подготовленности и компетентности». Другим фактором являются характеристики самой познавательной задачи, которую решает учащийся. В частности, к таковым можно отнести особенности тестов знаний, которые в нашей системе образования используются уже в начальной школе, тип тестового задания, а также его характеристики. Результаты исследования де Карвалью (de Carvalho Filho, 2009), посвященного сравнительному анализу уровня уверенности студентов в правильности выполнения одинаковых по содержанию, но различных по типу тестовых заданий, свидетельствуют о том, что гораздо более высокая уверенность в решении демонстрируется в том случае, когда тестовое задание содержит набор из 4 ответов, по сравнению с заданиями, в которых ответ должен быть сформулирован самостоятельно. В то же время точность метакогнитивного мониторинга (которая обычно определяется как степень расхождения между уверенностью в решении и успешностью решения теста) оказалась выше для тестов открытого типа. Таким образом, получила эмпирическое подтверждение гипотеза о том, что тип тестового задания влияет на характеристики метакогнитивного мониторинга. Помимо собственно научной стороны вопроса, которая состоит в изучении психологических механизмов метапознания, подобные исследования имеют большое прикладное значение с точки зрения образовательной практики. Есть эмпирические данные, которые подтверждают тот факт, что систематическое использование преподавателем тестов определенного типа вызывает искажения в мониторинге собственных знаний учащихся. Когда преподаватель регулярно использует тесты знаний, в которых ученик должен сделать утверждение об истинности или ложности ответа, у учащихся значительно возрастает уверенность в том, что они знают материал, в то время как в действительности знают его недостаточно. Другими словами, их метакогнитивные суждения о собственном знании становятся по содержанию чрезмерно уверенными и одновременно очень неточными (de Carvalho Filho, 2009). В этой связи необходимо рассмотреть вопрос о том, насколько осознанно учитель или преподаватель вуза подходит к выбору типа тестовых заданий. Не приводит ли использование конкретных типов тестов к формированию и закреплению у учащихся устойчивых искажений метакогнитивного мониторинга и, в итоге, к академической неуспешности? Для ответа на эти вопросы необходимо проведение исследований влияния тестов знания различного типа на метакогнитивный мониторинг в условиях отечественной образовательной среды. Задача нашей работы состояла в изучении влияния одной из характеристик тестовых заданий на метакогнитивный мониторинг.

Процедура исследования

В качестве независимой переменной было выбрано количество правильных ответов в тесте с множественным выбором. Тесты с выбором варианта ответа, которые включают несколько правильных ответов одновременно, достаточно широко используются в современной практике оценки знаний: их можно встретить в рекомендациях по подготовке к ЕГЭ; тесты такого типа предлагаются для оценки знаний в системе высшего профессионального образования; и, наконец, существуют многочисленные специальные программы, предназначенные, в том числе и для конструирования подобных тестов в компьютерной диагностике знаний. Оценивая возможности тестовых заданий подобного типа, В. И. Звонников и М. Б. Челышкова отмечают, что «В текущем контроле такие задания… желательны, поскольку ученик должен не только найти правильные ответы, но и сам определить их число, что значительно разнообразит и усложняет задачу» (Звонников, Челышкова, 2007, С. 97). Примером может служить следующее задание. В нем предполагается два правильных ответа.

Какие из указанных планет являются газовыми гигантами? 1) Марс; 2) Юпитер; 3) Венера; 4) Нептун. Общая гипотеза исследования состояла в том, что будет обнаружено влияние этой характеристики тестовых заданий на уверенность в правильности их решения. Вместе с тем, неясным было направление этого влияния. С одной стороны, нам не известны эмпирические данные, которые бы раскрывали характер связи между количеством правильных ответов в пункте теста и качеством метакогнитивного мониторинга его решения. С другой стороны, в предварительных беседах со студентами и преподавателями на тему о сложности этих заданий тестов мы получили противоречивые суждения. Одни считали, что более сложны тестовые задания с одним правильным ответом, другие полагали, что сложнее ответить на вопрос теста, который предполагает наличие нескольких верных ответов. Следовательно, оставался открытым вопрос о том, будут ли различаться суждения уверенности в решении по таким пунктам теста знаний. В исследовании принимали участие студенты 1 курса филологического факультета КГУ им. К. Э. Циолковского (N=21). На первом этапе исследования был сконструирован тест знаний по дисциплине «Старославянский язык»2. Тест включал 18 пунктов с выбором вариантов ответов из четырех возможных. В тесте были пропорционально представлены пункты, предполагающие один, два и три правильных варианта ответа. Для иллюстрации приведем примеры этих заданий.

Пункт теста с одним правильным вариантом ответа (курсивом выделены правильные ответы).

Выберите правильный вариант ответа. Указать среднеязычный согласный: а) н; б) к; в) ј; г) р.

Пункт теста с двумя правильными вариантами ответа

Выберите два правильных варианта ответа. Закон открытого слога – это когда слог заканчивается на: а) гласный; б) согласный; в) слоговой плавный ръ, рь, лъ, ль; г) редуцированный.

Пункт теста с тремя правильными вариантами ответа

Выберите три правильных варианта ответа. Следствия падения редуцированных: а) изменяется слогораздел в словах; б) становится возможна ассимиляция по глухости – звонкости; в) отвердевают исконно мягкие шипящие; г) появляются вторичные слоговые плавные.

Пункты теста отбирались по двум критериям: во-первых, по соответствию содержания тестовых заданий тому материалу, который был освоен студентами к моменту тестирования, поэтому тест предварительно обсуждался с преподавателем, который читал данный курс в вузе, и корректировался в соответствии с пожеланиями педагога; во-вторых, на основании отсутствия различий в степени сложности пунктов теста с разным количеством ответов. Для оценки сложности привлекались эксперты (2 человека), в роли которых выступили преподаватели дисциплины «Старославянский язык» КГУ им. К. Э. Циолковского. Им было предложено, используя пятибалльную шкалу, оценить степень сложности для студентов каждого из заданий. Эксперты оценивали только содержание вопросов тестовых заданий, независимо от того, сколько правильных ответов предполагалось включить в каждое из них. Это делалось для того, чтобы проконтролировать переменную «сложность задания по содержанию» отдельно от переменной «количество правильных ответов в задании». Оценки экспертов по каждому из трех типов заданий были усреднены и сопоставлены с помощью критерия Крускалла-Уоллиса. Различия оказались незначимы: Н = 4,42 при р > 0,05. Таким образом, задания с разным количеством ответов в тесте были одинаковыми по степени сложности для студентов. Для измерения характеристик метакогнитивного мониторинга в тест была введена процедура оценки уверенности студентом степени правильности выполнения каждого пункта теста. Предлагалась следующая инструкция: «В каждом из 18 тестовых заданий отметьте правильные варианты ответа. После каждого задания оцените степень своей уверенности в ответе. Оценку нужно производить по пятибалльной шкале: 1 – совсем не уверен; 2 – скорее не уверен; 3 – уверен «на 50%»; 4 – скорее уверен; 5 – полностью уверен. Эта оценка никак не будет влиять на Вашу отметку по тесту, поэтому старайтесь отвечать честно. Обязательно оцените каждое из 18 заданий». Также определялся показатель успешности выполнения заданий с разным количеством ответов в тесте. Кроме того, оценивался показатель точности метакогнитивного мониторинга, который определялся как разность между значениями «средней уверенности» и показателями успешности в выполнении теста. Смысл этого показателя состоит в том, что приближение его значений к нулю означает наибольшую точность мониторинга испытуемым собственных знаний. Также у испытуемых были измерены различные аспекты личностной уверенности при помощи опросника уверенности в себе В. Г. Ромека (Ромек, 1998). Опросник включает три шкалы: «уверенность в себе», «социальная смелость» и «инициатива в социальных контактах». Таким образом, дополнительная задача исследования состояла в том, чтобы оценить совместное влияние внешнего (количество верных ответов в пункте теста) и внутреннего (личностная уверенность) факторов на метакогнитивный мониторинг. Разделение испытуемых на две субгруппы – характеризующихся высоким уровнем уверенности в себе и характеризующихся низким уровнем уверенности – производилось на основе показателя медианы по каждой из шкал методики Ромека.

Результаты

Для обработки результатов использовался двухфакторный ANOVA с повторными измерениями по одному из факторов. Данный вид анализа позволил осуществить проверку трех статистических гипотез: а) о влиянии количества правильных ответов в тестовом задании на метакогнитивный мониторинг; б) о влиянии личностной уверенности; в) о взаимодействии внутригруппового и межгруппового факторов. Применение одномерного подхода к анализу данных является в нашем случае корректным, поскольку тест Моучли не дал значимых различий между исследуемыми параметрами (W = 0,9; χ2 = 1,36; df = 2; р = 0,5). Эффект межгруппового фактора также может быть учтен в связи с отсутствием значимых различий между исследуемыми параметрами по тесту Левена. Результаты представлены в таблице.

Таблица. Средние и стандартные отклонения уверенности в решении пунктов теста с разным количеством верных ответов у испытуемых с «низким» и «высоким» уровнем личностной уверенности

Были получены следующие статистические выводы (график средних значений уверенности в решении см. на рис. 1). 1) Обнаружен главный эффект фактора «количество правильных ответов в тесте» на уверенность в решении тестового задания: F = 16,83; df = 2; р<0,01. Множественные сравнения при помощи критерия Шеффе показали: а) отсутствие значимых различий в показателях уверенности решения тестовых заданий с одним и двумя правильными ответами; б) показатели уверенности в решении тестовых заданий с тремя правильными ответами имеют более высокие значения по сравнению с показателями уверенности в решении заданий с одним правильным ответом (р<0,01); в) показатели уверенности в решении тестовых заданий с тремя правильными ответами характеризуются более высокими значениями по сравнению с показателями уверенности в решении заданий, имеющих два правильных ответа (р<0,01). Аналогичный результат был получен и для влияния типа тестового задания на успешность его выполнения: F = 8,48; df = 2; р<0,01. Множественные сравнения по критерию Шеффе также показали, что: а) испытуемые более успешно выполняют задания с тремя вариантами правильного ответа, чем с одним (р<0,01); б) испытуемые более успешно выполняют задания с тремя вариантами правильного ответа, чем с двумя (р<0,05). В случае оценки точности метакогнитивных суждений в зависимости от количества правильных ответов в пункте теста главного эффекта не обнаружено. Средние показатели точности суждений мониторинга равны соответственно: а) для пунктов с одним ответом М = 0,93; б) для пунктов с двумя ответами М = 0,80; б) для пунктов с тремя ответами М = 0,68. В целом, независимо от типа пункта теста, студенты склонны несколько переоценивать собственные знания, то есть демонстрируют эффект сверхуверенности. 2) Не обнаружен главный эффект фактора «личностная уверенность» на уверенность в решении тестовых заданий. Ни по одной из шкал опросника Ромека, при их использовании для разделения испытуемых на более и менее личностно уверенных, не было выявлено значимых различий между субгруппами в показателях уверенности в решении теста. В частности, для группы с высоким уровнем уверенности в себе, как и для группы испытуемых с низким уровнем уверенности в себе, показатели для уверенности в правильности решении теста не различались (F = 1,42; df = 1; р=0,25). 3) Обнаружен (на уровне тенденции) эффект взаимодействия факторов «количество правильных ответов в пункте теста» и «уверенность в себе» (одна из шкал по опроснику Ромека): F= 2,71; df=2; р<0,1. Множественные сравнения по критерию Шеффе показали, что: а) испытуемые, которые имеют низкую уверенность в себе, более уверены в выполнении тестовых заданий с тремя правильными ответами, чем с одним (р<0,01); б) испытуемые, которые имеют низкую уверенность в себе, более уверены в выполнении тестовых заданий с тремя правильными ответами, чем с двумя (р<0,01).

Рисунок. Уверенность в решении на разных уровнях факторов «количество правильных ответов в тестовом задании» и «уверенность в себе»

Обсуждение результатов и выводы

Прежде всего, следует сделать вывод, что в нашем исследовании, проведенном в условиях российской образовательной среды, подтверждаются предположения о влиянии характеристик тестового задания на метакогнитивный мониторинг его решения. Причем уверенность в решении оказалась наибольшей для пунктов теста с тремя правильными ответами. В чем состоят причины полученного эффекта? Приведенное выше высказывание В. И. Звонникова и М. Б. Челышковой подразумевает, что задание теста с несколькими вариантами ответов не содержит указание на то, сколько правильных ответов нужно дать учащемуся. Именно эта особенность повышает сложность теста, поскольку ее можно рассматривать как дополнительную, и к тому же неявно представленную для отвечающего задачу. Учащемуся необходимо самостоятельно определить количество верных ответов, а не только дать их. На этом основании можно было бы предполагать, что уверенность в решении для заданий с несколькими вариантами правильных ответов будет ниже, чем для заданий с одним вариантом правильного ответа.

В отличие от этого в заданиях предложенного нами теста содержались прямые указания на то, сколько правильных ответов нужно дать. К этому имеются определенные основания. Так, ясно, что не существует правил, предписывающих единый способ формулирования вопросов в такого рода тестах. Поэтому преподаватели в реальной практике разработки тестов используют самые различные инструкции для учащихся. Не являются исключением и отобранные нами задания, которые используются в «живом» учебно-воспитательном процессе. Тем более высока их ценность с точки зрения экологической валидности исследования. Однако, именно содержание этих заданий имеет ключевое значение для объяснения результатов приведенного исследования. Важно учитывать то, каким образом студенты-испытуемые используют информацию, представленную в тексте вопроса тестового задания, а также стратегии работы с тестом. Данные эмпирических исследований свидетельствуют также о том, что в процессе решения тестовых заданий обучающийся может использовать различные стратегии поиска ответов, как в отдельном пункте, так и в тесте в целом (de Carvalho Filho, 2009). Так, он может просто отмечать правильный, по его мнению, ответ в пункте теста, при этом двигаясь по тесту последовательно от первого пункта к последнему и не переходя к следующему пункту, пока не решит предыдущий. Другой обучающийся может использовать более гибкие способы решения тестовых заданий. Например, он сначала старается отбросить заведомо неверные варианты ответа, и только затем начинает выбирать из оставшихся. При этом обучающийся сначала прочитывает весь тест, но не только для того, чтобы сразу ответить на известные вопросы; он прежде всего стремится извлечь дополнительную информацию о тех пунктах теста, ответы на которые он не смог дать сразу. Выбор стратегии определяется разными факторами: умственными способностями, индивидуальными предпочтениями студента (в том числе, когнитивно-стилевыми), его предыдущим учебным опытом, а также особенностями самого тестового задания. Как мы предполагаем, именно содержание вопросов тестовых заданий предопределило стратегии работы с тестами и последующую уверенность в их решении. Указание о том, сколько именно правильных ответов нужно дать в пункте теста, выступило для студентов ориентиром поиска верного решения. Студенты могли, например, искать второй или третий правильный ответ, используя знание первого ответа как содержательную основу для поиска. Другими словами, тест такого типа предоставляет обучающимся более богатый семантический контекст для припоминания материала. Большее количество правильных ответов в пункте, при том, что дается указание, что этих ответов несколько, повышает вероятность того, что студент знает хотя бы часть материала и на основании этого знания восстановит остальное. Возможно также, что учащимся проще обнаружить в таких заданиях ответ-дистрактор как ответ, который отличается от трех других сходных по смыслу. В таком случае следует уточнить выводы по основной гипотезе исследования: уверенность в решении является наиболее высокой для тестовых заданий с тремя вариантами правильного ответа в том случае, если в вопросе к ним указывается количество правильных ответов, которые необходимо дать учащемуся. Таким образом, можно говорить о существовании довольно интересного феномена, заключающегося в том, что, даже незначительное, казалось бы, изменение в инструкции к тестовым заданиям превращает тест из объективно более сложного в более легкий и меняет характеристики метакогнитивного мониторинга его решения. Другим важным результатом исследования является установление факта взаимодействия внешнего (тип тестового задания) и внутреннего (уверенность в себе) факторов метакогнитивного мониторинга и их совместного влияния на формирование уверенности в правильности решения тестовых заданий. Метакогнитивный мониторинг испытуемых, имеющих невысокую уверенность в себе, находится, как показали полученные данные, в большей зависимости от типа выполняемых тестовых заданий. Полученные данные можно рассмотреть при помощи метафоры, предложенной Г. Саймоном. Согласно этой метафоре, рациональность суждений человека ограничена, с одной стороны, его когнитивными возможностями, с другой – требованиями задачи (Simon, 1990). Эти два фактора подобны лезвиям ножниц, которые должны взаимодействовать между собой, чтобы инструмент хорошо работал. Следовательно, только учитывая взаимодействие внешних и внутренних переменных можно объяснить причины нахождения субъектом того или иного – верного или ошибочного – решения. Мы полагаем, что эта метафора справедлива не только для когнитивной, но и для метакогнитивной активности. Динамика метакогнитивного мониторинга в таком случае определяется различными вариантами взаимодействия факторов задачи и внутренними переменными. Причем в роли внутренних переменных могут выступать не только собственно интеллектуальные, но и личностные особенности учащегося, как это было показано в нашем исследовании. Определенные выводы по результатам исследования можно сделать и в отношении практики разработки и использования тестов знаний различного типа. Конечно, тесты могут быть эффективным средством развития качества мониторинга собственных знаний у учащихся. Они могут давать ученику ценную обратную связь о том, насколько хорошо он знает материал, насколько продуктивные познавательные стратегии он использует. В результате учащийся начинает лучше понимать причины собственных учебных успехов и неудач. Вместе с тем, необходимо чрезвычайно аккуратно и осмысленно подходить к разработке тестовых заданий, учитывая то, насколько существенно даже незначительные изменения характеристик теста определяют содержание метакогнитивных суждений. В противном случае, существует опасность превращения процедуры тестирования в средство порождения иллюзий знания и компетентности.

1. Звонников В. И., Челышкова М. Б. Современные средства оценивания результатов обучения. М.: Академия, 2007. 224 с.
2. Ромек В. Г. Тесты уверенности в себе // Практическая психодиагностика и психологическое консультирование. Ростов-на-Дону: Ирбис. 1998. С. 87–108.
3. Савин Е. Ю., Фомин А. Е. Когнитивные и личностные факторы уверенности в знании конкретной предметной области // Известия Тульского государственного университета. Гуманитарные науки. 2011. № 3. С. 396–403.
4. Скотникова И. Г. Проблема уверенности: история и современное состояние // Психологический журнал. 2002. Т. 23. № 1. С. 52–60.
5. Carvalho Filho M. K. de. Confidence judgments in real classroom settings: monitoring performance in different types of tests // International Journal of Psychology. 2009. V. 44. № 2. P. 93–108.
6. Hacker D. J., Bol L., Keener M. C. Metacognition in education: A focus on calibration // Handbook of metamemory and memory / Eds. J. Dunlosky, R. A. Bjork. N.Y.: Psychology Press. 2008. P. 429–455.
7. Nelson T., Narrens L. Why investigate metacognition? // Metacognition: Knowing About Knowing / Eds. J. Metcalfe, A. P. Shimamura. Cambridge M. A.: MIT Press. 1996. P. 1–26.
8. Simon H. A. Invariants of human behavior //Annual review of psychology. 1990. V. 41. №. 1. Р. 1–20.
9. Zohar A., Dori Y. J. Introduction // Metacognition in Science Education: Trends in Current Research(Contemporary Trends and Issues in Science Education) / Eds. A. Zohar, Y. J. Dori. Spinger. 2012. P. 1–20.