Исследование интерактивных и традиционных заданий, направленных на изучение информационных технологий среди студентов

 Исследование интерактивных и традиционных заданий,
направленных на изучение информационных технологий
среди студентов

Введение

Современные информационные технологии позволили значительно расширить спектр доступных средств и инструментов для поддержки образовательного процесса, в частности, в высших учебных заведениях, где возрастает потребность в автоматизации методов выставления оценки без потери качества образования. Электронные образовательные технологии позволяют исключить предвзятость и другие негативные компоненты - последствия влияния человеческого фактора при предъявлении различных заданий и тестов (в том числе открытого типа для тех дисциплин, где возможна автоматизированная проверка решений средствами электронно-вычислительных машин, в частности, для точных наук), повышая объективность оценки знаний студентов. Кроме того, только компьютерные средства тестирования способны реализовать адаптивное предъявление заданий, при котором уровень сложности заданий подбирается динамически, исходя из индивидуального уровня компетентности обучающегося.

Тем не менее классические подходы к компьютерным методам тестирования и предъявления заданий обладают существенными недостатками, такими как:

-    однообразие процесса прохождения тестирования,

-    формальный подход при подсчете итоговой и промежуточных оценок,

-   снижение уровня мотивации и вовлеченности студента за счет несоответствия формата предъявления заданий описываемому процессу (например, проведение реального опыта в химической лаборатории может оставить более яркое впечатление и помочь лучше запомнить соответствующий материал, чем тест на знание химических соединений, дающих аналогичную реакцию).

Зачастую, особенно при недостаточно качественном и аккуратном наполнении теста содержимым, студент может формально выполнить все пункты тестирования на «отлично», поняв механику прохождения, а не изучаемый материал. И наоборот, из-за неточности или неоднозначного толкования формулировки элементов теста его составителем (в частности, дистракторов, т.е. правдоподобных, но неправильных ответов) возможна ситуация, когда студент отвечает правильно и в соответствии с логикой задания, но формально его ответ оценивается как неверный.

В случае с информационными технологиями формат предъявления заданий может быть тождественен описываемому процессу за счет автоматизированных сред и платформ для генерации адаптивных заданий, подразумевающих интерактивное взаимодействие - а именно, разработку набора программ, которые в сочетании позволяют найти верное решение для составленной задачи. Такие задачи, помимо непосредственно образовательной функции, могут нести актуальную функцию тренировки навыков командного взаимодействия, организуя студентов в группы, где каждому члену группы дается задание, подобранное с учетом уровня его навыков в сфере информационных технологий, связанных с изучаемой дисциплиной, а также общее задание, связанное с индивидуальными достижениями, но ориентированное на уровень группы в целом. Если индивидуальные задания предъявляются при этом как логичное продолжение друг друга с учетом цели, поставленной в общем задании, такой подход позволяет создать пространство, в котором наилучшим образом проявляет себя та группа студентов, которая смогла самоорганизоваться наилучшим образом в ходе командного взаимодействия. Между тем интерактивность как часть образовательного процесса может быть применена и в качестве метода практического внедрения в педагогическую практику понятия зоны ближайшего развития, сформулированного психологом Л.С. Выготским [1; 2; 4; 5].

Несмотря на актуальность задачи и определенные попытки разработки подобных и похожих игровых сред для дошкольного и младшего школьного образования [6; 13], а также интерактивных компьютерных игр и тренажеров, в том числе для высшего образования [14; 21;24;28], преимущественно доминирует классический подход применения информационных технологий в образовании [17; 25], заключающийся в сочетании заведомо отобранных заданий и процедуре классического компьютерного тестирования (без интерактивных элементов). Если говорить про современные платформы, то, как правило, они не используются в образовательном процессе за пределами собственной среды онлайн- обучения или же с применением интерактивных внешних средств как отечественными, так и зарубежными преподавателями [3; 7; 8; 9; 22]. Современные платформы, такие как Coursera или Moodle, не позволяют обеспечить полноценное интерактивное взаимодействие с применением средств, востребованных в программировании (таким, как консоль с произвольным доступом), либо не поддерживают технологии машинного обучения, направленные на адаптивность, хотя теоретические предпосылки к этому есть [1 1; 23; 30].

В рамках данной работы проверялась следующая гипотеза: задания, нацеленные на интерактивное взаимодействие, лучше помогают студентам в освоении материала, исходя из собственного восприятия, чем статичные задания, основанные на традиционных подходах в применении информационных технологий в образовательном процессе. Альтернативная гипотеза: задания, использующие традиционные подходы, лучше помогают студентам в освоении материала, исходя из собственного восприятия, чем интерактивные.

Работа была направлена на обоснование внедрения актуальных информационных технологий и подходов к проверке и формированию знаний в образовательный процесс. Для проверки гипотез использовались методы описательной статистики. Было выделено 5 переменных - характеристик заданий, относительно которых оценивается качество заданий в аспекте поддержки в освоении материала (подробное описание характеристик будет приведено далее). Каждой переменной на основе интерпретации данных, полученных в ходе исследования, сопоставляется два бинарных значения для каждой гипотезы соответственно. Гипотеза считается достоверной, если сумма вычисленных бинарных значений для нее превышает сумму аналогичных значений для другой гипотезы.

Описание выборки и заданий

Применяется интраиндивидуальная схема эксперимента. Эксперимент проводится следующим образом: участники решают задания, посвященные определенной теме из дисциплины, связанной с информационными технологиями и предполагающей интенсивные практические занятия (например, «веб-технологии»).

Выборку составили студенты факультета информационных технологий, которые решили все задачи, 2-4 курса бакалавриата по критерию успеваемости в рамках профильных дисциплин (то есть наиболее способные студенты, 28 человек, для которых изучаемая в рамках исследования дисциплина релевантна). Задания были разбиты на две группы: традиционные и интерактивные (по 2 задания каждого типа на студента).

В качестве традиционных заданий предъявлялись тестовые задания закрытого типа. Дистракторы были организованы таким образом, чтобы в формулировке была часть некоторого истинного постулата, соответствующего материалам рассматриваемой дисциплины, однако формулировка, в контексте которой употреблялся постулат, определяла неверный ответ, сохраняя свойства дистрактора. Этот прием был использован для проработки и закрепления материала темы и предотвращения механического заучивания.

В заголовке предъявляемого студенту задания слева от номера установлен индикатор, визуально отображающий для студента текущий статус задания: «решено» (□) и «не решено» (      ).

Поскольку решение традиционного задания самоочевидно (выбор корректного ответа), дальнейшее рассмотрение механики взаимодействия студентов с примерами из этой группы заданий не требуется.

В качестве интерактивных заданий предъявлялись примеры, которые подразумевали в качестве ответа программный код, а в качестве решения - соответствие среды выполнения некоторому эталону после применения результатов выполнения этого кода в безопасной среде. Гарантия безопасности и изоляции среды выполнения кода необходима для того, чтобы ответ студента не вмешивался в механику работы самой веб-страницы и независимого механизма проверки.

Содержимое задания состоит из трех частей: постановки задачи (описания), короткой подсказки (совета), поля ввода кода (ответа), поля отображения результата интерпретации заданий, направленных на изучение информационных 

Изначально задание предоставляется вместе с кодом, который необходимо исправить. Причем за счет механизмов защиты и изоляции кода студент свободен предпринимать любые действия, очерченные возможностями выбранных технологий и языков программирования в рамках курса.

На рис. 2, например, приводится пример интерактивного задания, в котором «вертолету» что-то мешает «прилуниться». Задание будет считаться решенным, если среда перейдет в эталонное состояние, а именно - координаты элементов HTML, содержащих символы «вертолета» и «планеты» в кодировке Unicode (диапазон символов Emoji), будут пересекаться. При этом любой правильный код, который приводит среду к эталонному состоянию, будет считаться правильным ответом, приводящим к решению задачи. Неправильный исходный код изначально скрывает объекты, которые блокируют вертолет. Студент может удалить значимые элементы кода, чтобы изменить состояние среды и прояснить для себя дальнейший ход решения.

Пример изменения состояния среды в ходе эксперимента с кодом продемонстрирован на рис. 3.

Побуждение студента к исправлению неверного кода служит не только как элемент развития сюжета динамического задания, но и для закрепления материала. В данном случае студент на практике понимает, как работает правило, делающее элементы HTML невидимыми с сохранением рендеринга их геометрии, и при необходимости сможет воспользоваться этим приемом самостоятельно в своих проектах. Таким образом, совокупность интерактивных заданий может быть использована в качестве мини-практикума для студентов.

Изучая материал и пробуя различные подходы к решению, студент находит в итоге код, который приводит платформу к эталонному состоянию; обучающийся на практике закрепляет пройденный материал в ходе поиска подходящего решения (кода) в пространстве всех возможных вариантов, предоставляемых средой (и поддерживаемых средствами программирования). Как только верное решение найдено и подтверждено средой выполнения кода, текущий статус задания меняется на «решено».

Момент решения задания отображен на рис. 4.

Рис. 4. Окружение интерактивного задания приведено к требуемому в постановке задачи состоянию посредством ввода корректного программного кода; интерактивное задание решено студентом

Следует отметить, что приведенное интерактивное задание не отражает всей сложности комплексного задания, управляемого полноценной цифровой адаптивной платформой для обучения программированию с функцией формирования навыков командной работы. Тем не менее механика интерактивного задания и основные принципы, которые гипотетически должны способствовать усвоению студентами учебных материалов по курсам, связанным с информационными технологиями, продемонстрированы в полной мере. Таким образом, по этим интерактивным заданиям небольшого размера можно судить о заданиях комплексных с точки зрения их полезных качеств и функций в рамках образовательного процесса.

Интерактивные и классические варианты заданий предъявляются случайным образом. Студент, который смог решить все предъявленные ему задания, считается достаточно компетентным, чтобы оценить каждое задание по его характеристикам, отражающим качество задания и степень оказанной помощи студенту в усвоении материала. Оценки - целые числа от «-5» («Задание полностью не соответствует указанной характеристике») до «5» («Задание полностью соответствует указанной характеристике»), при этом значение «0» указывает на неопределенность («Затрудняюсь ответить»). Впоследствии эта шкала подвергается статистической обработке для получения бинарных значений, сопоставимых с конкретными проверяемыми гипотезами.

Согласно этой схеме проведения испытания разные студенты оставляют отчеты о пройденных заданиях, пока не наберется репрезентативная выборка (более 50 отзывов по всей совокупности предъявляемых задач для каждого типа, более 100 отзывов в общей сложности).

В обычных условиях исследование проводилось бы очно в аудитории под контролем преподавателя. Преподаватель мог бы учесть внештатные ситуации, в том числе технические неполадки или иные проблемы, не связанные непосредственно с образовательным процессом.

В условиях пандемии исследование проходило удаленно. Для таких случаев дополнительно собираются сведения об обратной связи, если студенты хотят дополнить установленную оценку комментарием (особенно полезно в случае «0» оценки,указывающей на неопределенность ответа). Также форма будет полезна, если студент не смог пройти текущее испытание по техническим причинам, не связанным с усвоением материала.

Также перед выполнением заданий у пользователей (студентов) должен быть доступ к ресурсам для повторения основных положений изучаемой дисциплины, где в краткой форме будет изложен пройденный материал, релевантный поставленным задачам.

Наличие всех этих компонентов ставит вопросы о принципах построения и общей архитектуре программно-аппаратной платформы, используемой для проведения исследования.

На этапе подготовки работы платформы формируются задания и формализуются условия для их проверки.

Веб-страницы, содержащие задания (как интерактивные, так и классические), генерируются по шаблонам специальным скриптом, который учитывает параметры системы для организации взаимодействия кода студентов с изолированной средой.

Затем создается структура базы данных для хранения статистических данных. Скрипт, взаимодействующий с системой управления базы данных, собирает данные анонимно, но допускает хранение идентифицирующих данных, позволяющих установить время доступа к базе и прочие параметры, подтверждающие легитимность доступа. Помимо этого, в базе хранится набор ссылок для разрешения доступа студентам, которые хотят принять участие в опросе. Скрипт может обеспечить рандомизацию и отправку ссылок по адресам.

Помимо служебной информации, необходимой для поддержки процедуры сбора информации, база данных сохраняет непосредственно сами статистические данные - это набор полей, каждое из которых соответствует одной из характеристик для каждого из предъявленных студенту заданий. Также база данных сохраняет данные, полученные от студента в ходе обратной связи.

Страница сбора статистических данных (рис. 5) представляет собой адаптивный шаблон, учитывающий ход прохождения конкретным студентом предложенных ему заданий. Страница предлагает выставить оценки для всех полученных заданий по характеристикам, влияющим на качество задания. После сбора данных страница отправляет их на сервер для определения типа заданий (интерактивные и классические) и сохранения отчета о собранных данных в базе данных в двоичном представлении.

Рис. 5. Фрагмент примера генерируемой страницы для сбора статистических данных

В ходе предъявления заданий специальный скрипт следит, чтобы вопросы для статистической обработки не предъявлялись пользователю (студенту), пока он полностью не ответит правильно на все предложенные для выполнения задания. Также скрипт следит за условиями прекращения сбора данных - когда все разосланные ссылки были посещены либо был превышен лимит по времени (например, неделя) для проведения опроса среди студентов.

Собранные на сервере данные по завершении процесса сбора можно извлечь через панель системного администратора на локальный диск и обработать с помощью специального скрипта, генерирующего логи (сопроводительные данные, отражающие ход работы платформы и дополнительную информацию) и преобразующего массив собранных в ходе проведения исследования данных в формат CSV с заголовками полей; результирующий файл в этом формате можно затем обработать с помощью программы или пакета программ для статистического анализа и обработки данных (например, SPSS или RStudio).

Графическое отображение взаимодействия совокупности программно-аппаратных компонентов, необходимых для проведения исследования, схематически представлено на рис. 6. Входная точка указывает на событие, с которого начинается проведение исследования.

Коротко рассмотрим выбранные платформы, программные средства и облачные решения, которые на практике использовались в исследовании.

1)    Хостинг и панель системного администратора - в общем случае, можно выбрать любой облачный сервис, удовлетворяющий условиям исследования. Например, для заданий по программированию на поддерживаемых скриптовых языках в качестве безопасной изолированной среды может выступать сам браузер. Для языков, которые используются с компилятором, может потребоваться построение собственной среды и учет характеристик и свойств конкретного языка программирования. В случае проводимого в данной работе исследования использовался хостинг PythonAnywhere [27]. Основные причины: гибкая линейка тарифов, возможность быстрой настройки сервера под разные фреймворки, удобный интерфейс панели системного администратора, поддержка интерактивной консоли на сайте сообщества Python [26].

2)    Веб-фреймворк для облачного хостинга - требуется легкий, атомарный и расширяемый фреймворк, рассчитанный на относительно небольшую нагрузку (в пределах 120-240 студентов-участников), зато легко дополняемый адаптивными скриптами и шаблонами на случай новых исследований и изменений в постановке задачи. Всем этим требованиям подходит фреймворк Flask [ 16] для языка программирования Python.

3)    Скрипты для выполнения различных задач - предыдущие пункты однозначно определили выбор языка для написания скриптов. Это Python, язык, часто используемый в задачах системного анализа, статистики и построения серверной части клиент-серверной архитектуры. Удобен, практичен, прост в использовании, расширяем за счет удобных интерфейсов для поддержки языка C [15] (и C++).

4)    СУБД - в качестве СУБД выбрана SQLite3 [29] в виду относительно малого количества участников эксперимента и удобного свойства этой системы: база данных SQLite3 хранится целиком в одном файле [ 10], что позволяет достаточно просто экспортировать ее содержимое. При необходимости возможно хранение данных непосредственно в оперативной памяти на стороне сервера, но не рекомендуется в виду очевидных рисков потери данных в случае сбоя.

5)    Средства анализа данных - сам язык Python может служить в качестве средства для первичной статистической обработки данных и подготовки к статистическому анализу; однако в данном исследовании преимущественно была использована программа JASP [18] - программа для статистического анализа данных. Совместима с SPSS [20] и при этом распространяется бесплатно (по лицензии GPL). Поддерживает классический (частотный) и байесовский подходы. К сожалению, на данном этапе не достигла стабильной версии 1.0 (на момент написания статьи последняя версия приложения 0. 14.1 выпущена 18 декабря 2020 года). Тем не менее уже реализованный функционал [19] вполне достаточен для выполнения большого числа процедур статистического анализа данных.

Более детальное описание принципов работы программно-аппаратной платформы для проведения исследования выходит за рамки данной статьи.

Цель представленной работы и проводимого в ходе исследования эксперимента - убедиться в обоснованности предположения, что задания, нацеленные на интерактивное взаимодействие, лучше помогают студентам в освоении материала, чем статичные, 28 классические задания, основанные на традиционных подходах в применении информационных технологий в образовательном процессе.

Для того, чтобы произвести максимально разностороннюю оценку обосновываемого предположения, необходимо ввести в качестве переменных исследования эмпирически подобранные характеристики, отражающие некоторые полезные качества задания в контексте образовательного процесса.

Были выбраны 5 разносторонних характеристик, отвечающих за разные составляющие задания. Приведем их краткое описание:

1)    Характеристика «Наглядность» отвечает на вопрос «Было ли задание достаточно наглядным, чтобы помочь усвоить спрашиваемое?». Эта характеристика отвечает за визуальную составляющую задания и за то, насколько формат предъявления задания тождественен описываемому процессу в рамках изучаемой дисциплины. Отражает визуальный аспект качества задания.

2)    Характеристика «Закрепление знаний» отвечает на вопрос «Оказало ли решение задания помощь в понимании сути и освоении материала?». Эта характеристика отвечает за семантическую составляющую задания и за то, насколько процесс решения задания обогащает студента полезными знаниями и опытом в рамках соответствующей дисциплины. Отражает образовательный аспект качества задания.

3)    Характеристика «Интуитивность» отвечает на вопрос «Удалось ли сразу (или достаточно быстро) понять, как нужно выполнить задание?». Эта характеристика отвечает за семантическую составляющую задания и за то, насколько формулировка задания и его постановка были лаконичными, четкими, легко усваиваемыми, задающими конкретную цель для студента. Отражает выразительный аспект качества задания.

4)    Характеристика «Креативность» отвечает на вопрос «Была ли постановка задачи интересной, необычной, занимательной?». Эта характеристика отвечает за составляющие задания, направленные на формирование вовлеченности студента в образовательный процесс, и за то, насколько увлекательным было задание для стимуляции поиска решения как визуально, так и с точки зрения задаваемого сюжетного контекста, в котором предлагалось осуществлять поиск решения. Отражает творческий аспект качества задания.

5)    Характеристика «Соответствие материалу» отвечает на вопрос «Достаточно ли было изученной в рамках дисциплины информации, чтобы выполнить задание?». Эта характеристика отвечает за связь между изучаемым в рамках дисциплины материалом и содержательным наполнением задания. Задает степень приближенности (или отдаленности при отрицательных значениях) содержимого компонентов задания (описания, дистракторов, ожидаемого ответа и т.п.) к содержимому дисциплины. Отражает структурный аспект качества задания.

Таким образом, перечисленные характеристики позволяют учесть различные аспекты качества задания, и связанные с содержимым, и связанные с формой подачи, а также учесть, насколько формулировки и форматы различных групп заданий являются понятными, интуитивными, увлекательными и вместе с тем близкими к понятийному аппарату студента в рамках изучаемой дисциплины.

Результаты проведенного исследования

В ходе испытания и опроса было собрано 112 оценок по каждой из 5 категорий, в исследовании приняли участие 28 студентов. В каждой категории положения ответов были независимо рандомизированы (перемешаны) перед применением средств для анализа данных. Группе интерактивных заданий сопоставлен номер типа 2, группе традиционных (классических) - 1.

Результаты, сформированные пакетом статистических инструментов JASP, приведены на рис. 7-11 и в таблице.

Таблица

Таблица с описательными статистиками для традиционной (1) и интерактивной (2)
____________________________  группы, заданий _____________

Обсуждение и интерпретация результатов исследования

Исследование показывает, что не все значения оценок исследованных характеристик качества заданий согласуются с предположением о преимуществах заданий, нацеленных на интерактивное взаимодействие, по сравнению с заданиями, основанными на традиционных подходах в применении информационных технологий в образовательном процессе.

В частности, наглядность участниками была оценена как принципиально одинаковая для обеих групп заданий. Разброс оценок динамических заданий оказался даже больше, чем у традиционных, допуская минимальную негативную оценку. Зачастую студентам приходилось тратить время на то, чтобы разобраться в среде и постановке задачи, тогда как традиционные задания можно было легко сопоставить с текстом и быстро вникнуть в суть вопроса. Счет по бинарным значениям (здесь и далее: группа 1, «традиционные» - группа 2, «интерактивные» задания): 0-0.

В вопросе закрепления знаний и получения дополнительного опыта в ходе работы с интерактивными заданиями у участников было больше единодушия. Действительно, когда смысл задания становился понятным, и студенты начинали взаимодействовать с элементами среды через программный код, это позволило получить и закрепить больше знаний и соответствующего дисциплине опыта, чем просто ответ на поставленный вопрос при выборе из списка вариантов. Хотя разбор дистракторов в классическом задании и помогает отличить нюансы вопроса и уловить существенные детали в материале дисциплины, возможность самостоятельно реализовать на практике важный компонент и увидеть, почему он так работает, возможность провести работу над ошибками, прежде чем получить результат - все эти элементы интерактивности являются более ценными с точки зрения познавательной деятельности студента. Счет по бинарным значениям: 0-1.

Интуитивность формулировки задания, возможность быстро понять, как именно нужно подступиться к заданию и выполнить его - эта характеристика была оценена участниками тоже вполне единодушно, но уже в пользу традиционных заданий. В то время как традиционное компьютерное тестирование вошло достаточно прочно как образовательная практика, компонент новизны и почти неограниченное пространство ответов для поиска решения (точнее, отсутствие конкретных вариантов ответа) в интерактивных заданиях часто вызывали смущение и недоумение у участников. Счет по бинарным значениям: 1-1.

Интерактивные задания изначально нацелены на креативность и способность задания вовлечь студентов в образовательный процесс с помощью увлекательной механики и постановки задач. Простые, однообразные текстовые вопросы традиционных заданий были признаны участниками недостаточно интересными и креативными по сравнению с интерактивными. Счет по бинарным значениям : 1-2.

Наконец, соответствие материалу участниками было оценено с небольшим перевесом в пользу традиционных заданий. Для решения интерактивных заданий требовалось учитывать описание окружения и среды, с которой взаимодействует студент. Это описание ситуации само по себе задает контекст для поиска корректного решения, но не относится к изучаемой дисциплине. Тогда как традиционный вопрос, как правило, должен быть максимально точным и соответствующим материалам, изучаемым в рамках соответствующей дисциплины. Счет по бинарным значениям : 2-2.

Заключение и выводы

Была проверена гипотеза, согласно которой задания, нацеленные на интерактивное взаимодействие, лучше помогают студентам в освоении материала, исходя из собственного восприятия, чем статичные задания, основанные на традиционных подходах в применении информационных технологий в образовательном процессе. Гипотеза не была подтверждена; скорее, результаты исследования показывают, что каждая группа заданий обладает своими преимуществами.

Если необходимо предъявлять задания, направленные на мультивариативность, вовлеченность студента и более эффективное закрепление полученных знаний на практике, то интерактивные задания подойдут лучше для подобной задачи. Тем не менее элемент интерактивности лучше применять для студентов, которые достаточно хорошо знают исследуемую область и не будут испытывать трудности при сопоставлении сценария интерактивного задания и изученного в рамках дисциплины материала.

Если главными факторами для выбора задания являются доступность, легкость в понимании формулировки (особенно важно в заданиях с ограничением по времени), однозначное соответствие изучаемому материалу без необходимости вникать в контекст предъявляемого задания, то более привычные, классические задания в традиционной форме (например, в виде теста) подойдут лучше, чем интерактивные.

Таким образом, были рассмотрены два типа заданий, направленных на изучение программирования и информационных технологий: традиционный и интерактивный. Было проведено исследование, целью которого являлось обоснование предположения об однозначном преимуществе интерактивных заданий над традиционными. Данное предположение в ходе проведенного исследования не подтвердилось. Были проанализированы результаты исследования и сформулированы выводы, позволяющие определить условия и причины, при которых каждое из двух типов заданий позволяет

максимально реализовать преимущества заданий конкретного типа. Таким образом, несмотря на то, что исходное предположение о преимуществах интерактивных заданий не было подтверждено, востребованность разработки средств обучения студентов с применением интерактивных заданий предположительно подтверждается.

Следует, однако, учесть важные факты об исследовании: результаты были получены на малой выборке, при этом применялись исключительно методы описательной статистики, поэтому являются предварительными. Исследование является пилотным. На основании полученных результатов эксперимент планируется расширить, увеличив выборку, что позволит применить статистические критерии для проверки статистической значимости различий.