Новый подход к оценке сложности учебных заданий

В статье рассматриваются подходы к оценке показателей сложности и трудности учебных заданий адаптивного тренажера по профориентационному консультированию. Авторами вводится понятие «показатель реальной сложности задания», являющегося интегральным показателем объективной сложности и субъективной трудности учебных заданий. Также были определены три уровня сложности в соответствии с этапами профориентационного консультирования и их содержательное наполнение определенными темами и понятиями. Показано, что в адаптивном тренажере задания разных уровней сложности частично перекрываются, обеспечивая плавный индивидуальный переход ко все более сложным заданиям. Данный подход позволяет объективно оценить сложность заданий и обеспечить постепенное возрастание трудности при прохождении тренажера учащимися.

Введение

Актуальность темы обусловлена потребностью в точном определении содержания конструктов «сложность-простота» [6] и «трудность-легкость» [2] применительно к оценке заданий компьютерных адаптивных тренажеров.

В настоящее время, во множестве областей профессиональной деятельности активно разрабатываются компьютерные системы дистанционного обучения [1], часто предполагающие решение определенных учебных заданий, в качестве показателя успешного овладения пройденным материалом. Точная оценка сложности и трудности учебных заданий имеет большое значение для разработки эффективных методов формирования необходимых знаний и умений в изучаемой предметной области. В задачах профессионального обучения, такая оценка дает возможность создания тренажеров с адаптивным содержанием, позволяющих подбирать учебные задания в соответствии с индивидуальным уровнем подготовки обучающихся.

Мы предлагаем новый подход к оценке двух показателей: сложности и трудности учебных заданий, в котором применяется сочетание экспертных и статистических методов. С этой целью были сформулированы понятия сложности и трудности учебных заданий с точки зрения их содержания и разработан алгоритм формирования интегрального показателя сложности.

Оценка сложности и трудности учебных заданий в адаптивном тренажере по профориентационному консультированию

Для определения конструктов «сложность-простота» и «трудность-легкость» мы руководствовались представлениями о том, что сложным является объект, составленный из относительно более простых элементов и чем больше таких элементов, а также связей между ними, тем выше сложность объекта. Таким образом, сложность можно оценить достаточно объективно, в то время как трудность является субъективным ощущением, возникающим у субъекта при взаимодействии с объектом. Таким образом, сложность – объективная, количественно измеримая характеристика объекта, а трудность определяется как субъективное переживание.

С целью более точной экспертной оценки уровня сложности задания, мы определили два показателя: «сложность темы учебного задания» и «сложность ответа учебного задания», суммарный балл по которым характеризует «экспертную оценку сложности задания».

Сложность темы учебного задания – показатель многокомпонентности темы, количества элементарных понятий и их связей, соответствующих целостному, глубокому пониманию предмета. В педагогическом процессе «происходит непрерывное расширение и углубление знаний в виде усвоения основных и общих понятий» [5], и обучение в любой предметной области начинается со знакомства и определения фундаментальных понятий, которые затем выступают как основание для понятий более сложных и комплексных. Таким образом, сложность темы учебного задания обуславливается количеством тем и содержанием понятий, которыми заранее должен владеть ученик для того, чтобы понять материал, с которым он работает в данный момент. Этот показатель является мерой уровня знаний, необходимых для правильного ответа на вопрос. Более кратко можно определить, что сложность темы учебного задания это: «объективная характеристика, которая определяется объемом предметных знаний, достаточных для ее решения» [2].

Сложность ответа учебного задания – показатель, относящийся к содержанию в задании несущественных, для его верного решения элементов. Задания различаются по данному показателю за счет увеличения побочных, не существенных элементов, усложняющих выявление пользователем ключевых, существенных компонентов задачи, на которые нужно обратить внимание и которые необходимо учитывать для определения верного ответа. Благодаря этому создаются такие условия, в которых обучающемуся приходится приложить интеллектуальный труд, даже если он прекрасно понимает сложные понятия и хорошо ориентируется в предметной области содержания задания. Задание, «зашумленное» одним или несколькими несущественными элементами, для обучающегося может оказаться субъективно более сложным, вне зависимости от сложности самой темы, в связи с необходимостью выделения существенной информации при поиске верного ответа. Отечественным психологом В.А. Гуружаповым отмечается, что возможность решения учебной задачи в этом случае проблематизируется «за счет маскировки существенных признаков преобразования предмета несущественными» [4].

Статистическая трудность задания – это показатель, привязанный к статистике, является мерой успешности выполнения задания в выборке и «характеризуется индексом, который соответствует доле лиц, правильно решивших задание» [3].

Экспертная оценка сложности задания – совокупный показатель сложности темы учебного задания и сложности ответа учебного задания, формируется как их сумма и представляет собой чисто психологическую субъективную оценку сложности.

Показатель реальной сложности – формируется как сумма баллов экспертной оценки сложности задания и статистической трудности задания.

Опираясь на приведенные определения, лабораторией было принято решение предложить следующий подход к формированию интегрального показателя сложности заданий: «показатель реальной сложности».

На рис. 1 представлена схема соотношения компонентов сложности и трудности учебных заданий. «Сложность темы учебного задания» и «сложность ответа учебного задания» вместе образуют «экспертную оценку сложности задания». Далее, для каждого задания определяется показатель «статистическая трудность задания» как мера успешности решения данного задания в выборке. Сочетание статистической трудности и экспертной оценки сложности дает в итоге значение показателя «реальной сложности задания» (рис. 1).

Рис. 1. Схема соотношения компонентов сложности и трудности учебных заданий

В процессе профориентационной консультации, психолог вместе с клиентом проходит ряд этапов: от начального, связанного с инициацией процесса поиска будущей профессии, до заключительного, на котором клиентом принимается осознанное решение о будущей профессиональной деятельности. На каждом из этих этапов от психолога требуется владение определенным множеством понятий и их сложность определяется тем, нужно ли для их использования понимание предыдущих, более простых понятий из области ведения профориентационных консультаций, а также этапом, на котором находится клиент. Таким образом, чем ближе к завершающему этапу, тем сложнее работа психолога консультанта. На рисунке–2 представлены основные темы и понятия профессионального консультирования, которые мы использовали как при разработке заданий, так и для оценки показателя «Сложность темы учебного задания».

 Рис. 2. Схема тем и понятий профориентационного консультирования

Для каждого из пяти разделов профориентационной работы определен один из трех уровней сложности:

• «Теоретические основы профориентационного консультирования» (сложность-1).
• «Знание личностных особенностей, склонностей и способностей учащихся» (сложность-2).
• «Навыки взаимодействия психолога с учителями и родителями» (сложность-2).
• «Инструменты и методы индивидуальной и групповой профориентационной работы» (сложность-2).
• «Планирование профессиональной карьеры» (сложность-3).

В каждом из данных разделов содержатся темы, которые также выстроены в порядке возрастания их сложности: каждая следующая тема оценивается как равная по сложности предыдущей, либо как более сложная.

Одни и те же темы могут встречаться в разных разделах профориентационной работы, что создает перекрытие содержания уровней сложности, представленное в табл. 1. Например, следующие темы:

• Интересы и склонности в выборе профессии;
• Профессиограммы и профориентационные тесты;

входят в содержание заданий как первого, так и второго уровня сложности (табл. 1).

Таблица. 1 Соответствие понятий определенным уровням сложности

Таким образом, принадлежность понятия к определенному уровню сложности также определялась на основании ее места в процессе профориентационной работы. Например, на начальном этапе важно владеть общими, базовыми понятиями и уровень «Сложность-1» представляет вопросы, направленные на формирование и отработку знаний в базовых профориентационных понятиях.

На любом этапе профориентационной консультации психолог может столкнуться как с простой, так и с достаточно сложной ситуацией. Например: на начальном этапе профессионального консультирования важным является то, насколько хорошо клиент ориентируется в своих личных мотивах выбора профессии [7]. Степень понимания истинных мотивов выбора области дальнейшего обучения и сферы профессиональной деятельности, определяет легкость прохождения данного этапа для психолога и клиента. Запутанность и неуверенность клиента в собственных мотивах приводит к тому, что психологу необходимо применить более широкий репертуар знаний и способностей, с опорой на свой предыдущий опыт ведения профконсультаций.

На основании табл. 1 можно сформировать такую понятийную решетку, в которой объектами выступают уровни сложности, а атрибутами этих объектов являются некоторые множества тем профориентационной работы. На пересечениях уровней сложности формируются «перекрытия», содержанием которых являются темы, относящиеся одновременно к 1-му и 2-му или 2-му и 3-му уровням сложности (рис. 3).

Рис. 3. Схема уровней сложности и связанных с ними понятий

В адаптивном тренажере несколько последних заданий из предыдущей модели перекрываются с несколькими первыми заданиями из следующей, более высокого уровня сложности. На рисунке-4 представлена схема таких перекрытий для определенных нами трех уровней сложности профориентационного консультирования.

Рис. 4. Схема перекрытий трех уровней сложности

Данное перекрытие происходит не резко, а на протяжении 2-3 заданий в каждой модели. Таким образом, в режиме тренажера, пользователь перемещается слева направо по возрастающей трудности и сложности заданий.

Заключение

Проведенный анализ позволил выявить проблему субъективности в оценках сложности учебных заданий, обусловленную значительной зависимостью от мнения экспертов-разработчиков. Для преодоления этого недостатка было предложено ввести дополнительный объективный показатель - статистическую трудность задания.

Комплексный подход к оценке сложности на основе сочетания экспертных и статистических данных позволил сформировать интегральный показатель «реальная сложность задания». Такой подход значительно повышает объективность и обеспечивает возможность точной настройки и регулировки сложности учебных заданий.

Особое внимание было уделено зависимости сложности заданий от этапа обучения, что открывает широкие перспективы для разработки адаптивных обучающих и контролирующих систем, способных автоматически подстраивать сложность заданий под индивидуальный уровень обучающегося.

Для формирования системы заданий различной сложности предложена схема структурирования предметной области с выделением ключевых элементов и их иерархии, что обеспечивает системность и обоснование для этапов процесса создания заданий.

Разработанные в исследовании принципы оценки сложности могут эффективно использоваться при создании адаптивных обучающих систем, повышающих качество подготовки за счет индивидуализации и правильного выбора уровня сложности учебных задач.

1. Алексейчук А.С., Айсмонтас Б.Б., Пантелеев А.В. Телекоммуникационные системы дистанционного обучения // Проблемы авиастроения, космонавтики и ракетостроения: Сб. науч. тр. М.: «Ваш полиграфический партнер», 2012. С. 374– 379.
2. Наумов И.С., Выхованец В.С. Оценка трудности и сложности учебных задач на основе синтаксического анализа текстов // Управление большими системами: сб. тр. 2014. Вып. 48. С. 97–131.
3. Döring N, Bortz J. Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften. 5th edition. Berlin, Germany: Springer; 2016. DOI:10.1007/978-3-642-41089-5.
4. Гуружапов В.А. Предметная диагностика теоретического мышления учащихся (система Эльконина—Давыдова) // Вестник МАРО. 1998. № 4. С. 45–48.
5. Брунер Д. Процесс обучения // Под ред. А. Р. Лурия. М. – АПН РСФСР. 1962.
6. Наймушина О.Э., Стариченко Б.Е. Многофакторная оценка сложности учебных заданий // Образование и наука. 2010. № 2.
7. Климов Е.А. Психология профессионального самоопределения. Академия, 2004. 304 с.