Создание заданий для индивидуальной образовательной траектории с использованием нейросетей

В статье описывается эксперимент по применению цифровых инструментов на основе нейронных сетей для создания проверочных заданий с их использованием на платформе онлайн обучения. Создать тесты удаётся, но они не могут пройти модерацию онлайн-платформы.

Введение

Ситуация со школьным образованием в России складывается неоднозначная. С одной стороны, наблюдается снижение числа педагогов в общеобразовательных школах: в 2021 году их количество составило 1,083 миллиона, а в 2022 году — 1,079 миллиона. При этом соотношение детей и педагогов изменилось с 19 на одного педагога в 2021 году до 20 в 2022 году. Данное обстоятельство приводит к увеличению средней нагрузки на учителей и сокращает время, которое они могут уделять каждому ученику [2]. С другой стороны, федеральная рабочая программа среднего общего образования подразумевает доминирующее значение личностного развития: «…формирование интеллектуально развитой личности, готовой к самообразованию, сотрудничеству, самостоятельному принятию грамотных решений в конкретных жизненных ситуациях, связанных с веществами и их применением» [6; стр. 2588]. Это требует значительных затрат учителей на каждого ученика, а также вовлеченности в дополнительные образовательные активности, такие как научные конференции и олимпиады.

Гипотетически на помощь учителю должна прийти цифровизация образования, но даже при наличии огромного количества доступных цифровых инструментов на практике их использование представляет собой значительную сложность [4]. Выходом из этой ситуации могли бы стать современные технологии, направленные на автоматизацию выполнения рутинных задач [5]. Было разработано и протестировано решение на ограниченной выборке, что послужило основой для проведения эксперимента с целью определения эффективности современных цифровых средств в поддержке учителей.

Для эксперимента был выбран прикладной проект: применение разработанного инструмента (формально нескольких) по созданию проверочных заданий по органической химии углублённого уровня для учеников 10 класса на основе учебников Цветкова и Габриеляна. Целью проекта является доказательство работоспособности и независимое подтверждение релевантности результатов работы разработанного цифрового решения. Для этого ставятся следующие задачи:

1. Создать с использованием авторских цифровых инструментов на основе нейросетей не менее двадцати проверочных тестов по темам органической химии для 10 класса.
2. Обеспечить 100%-ную валидацию всех тестов, одобрив их использование в общеобразовательных учреждениях без доработки со стороны человека.

Объектом исследования стал процесс создания проверочных заданий для индивидуальной образовательной траектории (ИОТ) как неотъемлемый элемент построения индивидуальной образовательной траектории в целом. Концепция ИОТ взята из персонализированной модели образования (ПМО) [8], кроме этого, в эксперименте используется дифференциация учебных заданий по уровням 2.0, 3.0 и 4.0 [7]. Предмет исследования – цифровые инструменты на базе нейросетей, предназначенные для создания проверочных заданий и их применение для создания контента на одном из доступных электронных ресурсов.

Конкретизация задачи: речь идёт о двух телеграмм-ботах: https://t.me/aosandakov_bot и https://t.me/botuche_bot (на момент написания статьи недоступен, но в процессе эксперимента он участвовал).

Метод

предположить, какие именно результаты предполагается получить. Предполагается, что описанная методика является рабочим и эффективным инструментом облегчения жизни учителя в части создания проверочных заданий, даже если этот учитель не использует в работе концепцию индивидуальной траектории и методологию ПМО в целом. В качестве тестовой площадки выступила платформа mos.ru, и, в частности, раздел «Московская электронная школа» (МЭШ - https://uchebnik.mos.ru) с вкладкой «Библиотека» [3].

Перед началом эксперимента была проведена настройка https://t.me/aosandakov_bot  для выполнения конкретного задания. Данный процесс включает в себя следующий алгоритм:

1. Настройка «личности».
2. Формирование собственной базы.
3. Настройка канала общения.

Настройка «личности» бота проводилась таким образом, чтобы при выполнении заданий он действовал эффективно, конструктивно и релевантно запросу. Перед началом эксперимента описание «личности» выглядело следующим образом:

# Персонаж

Вы являетесь великолепным преподавателем химии, превосходно владеющим методиками индивидуального образования. С помощью обширного знания химии и тонкого понимания личностных особенностей учащегося вы гармонично и креативно подходите к предмету, предлагая обучение по химии.

## Навыки

### Навык 1: Персонализированное обучение

- Выявляйте особенности стиля обучения ученика и его интересы.

- Способность к адаптации обучающего материала для ученика, исходя из его уровня понимания и интересов.

### Навык 2: Пояснение химических концепций

- Используйте свою обширную базу данных для объяснения сложных химических концепций.

- Использование примеров из повседневной жизни для демонстрации этих концепций.

## Ограничения:

- Фокусироваться только на обсуждении тем и вопросов, связанных с химией.

- Отвечать по возможности кратко по теме, не приводя посторонних примеров.

- Соблюдать предложенный формат ответа.

- Не обсуждать вопросы, не связанные с указанными навыками.

- Использование только актуальных и проверенных источников информации.

Процесс формирования базы знаний бота происходил на основе источников, которые доступны на сайте https://uchebnik.mos.ru. В связи с этим основным учебным пособием был выбран учебник за авторством О. С. Габриеляна, И. Г. Остроумова, С. Ю.Пономарева «Химия. Углублённый уровень. 10 класс» [1]. Используя функционал платформы “Coze”, на которой создан этот инструмент, создается база данных (knowledge) с названием "Химия 10-11 класс", куда загружаются все данные с mos.ru. Данные проходят проверку на адекватность прочтения, и безошибочный перевод. Таким же методом туда загружается информация о шкалировании целей для индивидуальной траектории из соответствующей методички [7].

Каналом общения выбран мессенджер Телеграм как привычное и удобное приложение для общения. Из-за особенностей создания https://t.me/botuche_bot его настройку произвести невозможно, поэтому его мы будем использовать как вспомогательное средство для поставленной задачи.

Эксперимент. Часть 1

На выбранном портале существует классификация контента, состоящая из следующих групп:

1. Сценарии
2. Приложения
3. Задания
4. Тесты
5. Атомики
6. Учебники
7. Книги
8. Пособия
9. Лаборатории
10. Сцены

Для данного эксперимента выбраны две категории: «Тесты» и «Задания». Для каждого параграфа в учебнике создается проверочный тест, который будет содержать:

1. Пять тестовых заданий на проверку знаний терминов и общего понимания (Уровень 2.0)
2. Два задания на сопоставление или «заполни пропуск», требующие не только знания материала, но проверяющие способность проанализировать его (Уровень 3.0)
3. Одно задание на написание эссе с ручной проверкой, требующее формирования из полученных знаний новой структуры или их применения (Уровень 4.0)

Для заданий уровня 2.0 назначается награда в 1 балл, для 3.0 – 2 балла, а для 4.0 – 9 баллов. Для получения за проверочный тест оценки «отлично» требуется набрать 9 баллов и выше, оценка «хорошо» за 7 баллов, оценка «удовлетворительно» за 5 баллов. Таким образом учащемуся дается возможность самостоятельно выбрать, какие из представленных заданий он будет проходить. Также была создана настройка условий прохождения теста: 

1. Таймер 30 минут на всю проверочную работу
2. Без ограничения по срокам доступа
3. Не более двух попыток на проверочный тест

Поскольку в выбранном учебнике 32 параграфа, цифровые инструменты должны обеспечить создание 160 тестовых заданий, 64 заданий на сопоставление или «заполни пропуск» и 32 задания на написание эссе. Одно из условий эксперимента: автор может редактировать задания только по орфографии, грамматике или стилистике. Со всем остальным должен справляться бот самостоятельно при обработке запроса, либо в процессе авторской корректировки, но по средствам запросов к боту. Важно, что весь текст ниже относится исключительно к боту https://t.me/aosandakov_bot, если в тексте не говорится прямо обратное. Пример корректировочного запроса: «Данные задания скучные и однообразные. Попробуй ещё раз, но постарайся сделать их менее скучными и более реалистичными». Создание такого количества заданий, равно как и внесение их в систему, заняло 6 дней и 32 рабочих часа, неравномерно распределённых между этими днями. Результат будет продемонстрирован на примере параграфа №30 «Ферменты».

Задания уровня 2.0 были сформированы по следующему запросу: «Напиши пять заданий уровня 2.0 с четырьмя вариантами ответа и одним правильным по теме "Ферменты". При создании опирайся на собственную базу данных (там есть источник с похожим названием) и концепцию персонализированного образования. А также помни, что эти задания нужны для учеников десятого класса, изучающих химию на углублённом уровне». Ответ представлен на рисунке 1.

Рис. 1. Тестовые задания уровня 2.0 по теме «Ферменты»

Четвёртый вопрос получился не очень удачным и был сформулирован корректирующий запрос: «Напиши ещё пару вопросов в дополнение к предыдущим». Ответ представлен на рисунке 2.

Рис. 2. Тестовые задания уровня 2.0 по теме «Ферменты» продолжение.

В итоге вопросы под номерами 1,2,3,5 и 6 были выбраны для внесения в программу. Визуализацию этих вопросов для ученика можно увидеть на рисунке 3.

Рис. 3. Тестовые задания уровня 2.0 по теме «Ферменты» в интерфейсе сайта МЭШ.

Задания уровня 3.0 были сформулированы по следующему запросу: «Напиши два задания уровня 3.0 по теме "Ферменты". При создании опирайся на собственную базу данных (там есть источник с похожим названием) и концепцию персонализированного образования. А также помни, что эти задания нужны для учеников десятого класса, изучающих химию на углублённом уровне». Ответ представлен на рисунке 4.

Рис. 4. Задания уровня 3.0 по теме «Ферменты».

Данные задания были оценены как неудовлетворительные и был сделан корректирующий запрос: «Давай попробуем ещё раз, но сделаем задания проще, но увлекательнее». Ответ представлен на рисунке 5.

Рис. 5. Задания уровня 3.0 по теме «Ферменты», вторая попытка.

Эти задания оценены как удовлетворительные и был отправлен следующий запрос: «Представь идеальный по-твоему мнению ответ на первое задание в виде таблицы». Ответ представлен на рисунке 6.

Рис. 6. Ответ на первое задание уровня 3.0.

Далее был корректирующий запрос: «Добавь к этой таблице ещё какой-нибудь продукт». Ответ представлен на рисунке 7.

Рис. 7. Ответ на первое задание уровня 3.0, скорректированный.

Такой ответ оценен как удовлетворительный и отправлен следующий запрос: «Представь идеальный по-твоему мнению ответ на задание: Ферменты встречаются везде в природе и играют ключевую роль во многих естественных процессах. Выберите один процесс, где присутствуют ферменты (например, процесс созревания фруктов или брожение винограда для производства вина), и проведите исследование». Ответ представлен на рисунке 8.

Рис. 8. Ответ на второе задание уровня 3.0.

Далее был корректировочный запрос: «Перепиши ответ обычным текстом, добавь туда формулы химических реакций». Ответ представлен на рисунке 9.

Рис. 9. Ответ на второе задание уровня 3.0, скорректированный.

Оба вопроса были выбраны для внесения в программу. Визуализацию этих вопросов для ученика можно увидеть на рисунке 10 и 11.

Рис. 10. Задания уровня 3.0 по теме «Ферменты» в интерфейсе сайта МЭШ, часть 1.

Рис. 11. Задания уровня 3.0 по теме «Ферменты» в интерфейсе сайта МЭШ, часть 2.

Задания уровня 4.0 были сформулированы по следующему запросу: «Напиши два задания уровня 4.0 по теме "Ферменты". При создании опирайся на собственную базу данных (там есть источник с похожим названием) и концепцию персонализированного образования. А также помни, что эти задания нужны для учеников десятого класса, изучающих химию на углублённом уровне».  Ответ представлен на рисунке 12.

Рис. 12. Задания уровня 4.0 по теме «Ферменты».

Далее был отправлен корректировочный запрос: «Целевая аудитория всё же школьники, давай заменим во втором задании пиво на квас». Ответ представлен на рисунке 13.

Рис. 13. Задания уровня 4.0 по теме «Ферменты», корректировки.

Для заданий уровня 4.0 автор посчитал важным дополнительно добавить информацию в графу «Ход решения» и «Методические рекомендации», тем более что платформа позволяет это сделать. Для этого был отправлен запрос: «Напиши идеальную структуру плана для ответа на задание, которые ты предложил». Ответ представлен на рисунке 14.

Рис. 14. Задания уровня 4.0 по теме «Ферменты», ход решения.

Ответ был оценён как удовлетворительный и отправлен следующий запрос: «Какие методические рекомендации ты бы дал для оценки этого задания?». Ответ представлен на рисунке 15.

Рис. 15. Задания уровня 4.0 по теме «Ферменты», методические рекомендации.

Ответ был оценён как удовлетворительный и отправлен следующий запрос: «Как бы ты распределила девять оценочных баллов между этими пунктами?». К сожалению, на этом этапе произошёл сбой телеграмм и ответ сохранить не удалось. Тем не менее, распределение баллов было сделано следующим образом:

1. Содержание и соответствие теме: 1 балл
2. Наличие исследовательской работы: 2 балла
3. Понимание ключевых концепций: 2 балла
4. Структура и ясность изложения: 1 балл
5. Наличие ссылок на источники информации: 1 балл
6. Соблюдение правил орфографии и пунктуации: 1 балл
7. Оригинальность и креативность ответа: 1 балл

Вопрос был выбран для внесения в программу. Его визуализацию можно увидеть на рисунке 16, 17 и 18. На Рисунке 18 можно увидеть несколько отличающийся интерфейс программы. Это связано с тем, что методические рекомендации не доступны для просмотра ученику, только проверяющему учителю.

Рис. 16. Задание уровня 4.0

Рис. 17. Ход решения для задания уровня 4.0

Рис. 18. Методические рекомендации для задания уровня 4.0

Таким образом, были созданы практически все параграфы для учебника. В некоторых местах для создания тестовых заданий подключался бот https://t.me/botuche_bot, но 90% работы выполнял основной инструмент разработки. По окончании процесса заполнения все тесты были отправлены на модерацию. Все 32 теста были отклонены и для всех из них были общие замечания:

1. Заданий должно быть не меньше десяти, на данный момент их восемь
2. Задания без автопроверки (все задания уровня 4.0) должны быть исключены из тестов
3. При написании химических формул должен быть использован нижний регистр. Неправильно: С2Н5ОН, правильно: С2Н5ОН
4. Описание с распределением баллов не корректно и его необходимо заменить
5. Содержание заданий должно соответствовать ФРП СОО по химии (углублённый уровень)
6. В большинстве заданий присутствуют элементы содержания, которые не изучаются в курсе органической химии 10 класса.

Эксперимент. Часть 2

Для прохождения модерации было необходимо не просто переделать задания, но заново перенастроить бот. База данных и канал общения остались прежними, изменениям подверглась «личность» бота. Спустя несколько итераций было сформулировано следующее описание:

# Персонаж

Вы являетесь великолепным преподавателем химии, превосходно владеющим методиками индивидуального образования. С помощью knowledge "Химия 10-11 класс" вы создаёте тестовые задания для учеников 10 класса, ответы на которые можно найти в knowledge "Химия 10-11 класс".

## Навыки

### Навык 1: Создание тестовых заданий на общее понимание

- В случае запроса про общее понимание выполнять этот алгоритм.

- Считывать тему задний их сообщений ученика, находить её в knowledge "Химия 10-11 класс" и на основе текста оттуда создавать тестовые задания.

- Тестовые задания структурно являются вопросом с четырьмя вариантами ответа, среди которых только один правильный.

- Тестовые задания призваны проверить знание учеником ключевых терминов по теме и сосредоточены вокруг ключевых отличительных свойств.

- К каждому вопросу указан правильный ответ.

### Навык 2: Создание тестовых заданий на химические и физические свойства

- В случае запроса про химические свойства выполнять этот алгоритм.

- Считывать тему задний их сообщений ученика, находить её в knowledge "Химия 10-11 класс" и на основе текста оттуда создавать тестовые задания.

- Определившись с темой создавать шесть заданий.

- Задания структурно являются вопросом с четырьмя вариантами ответа, среди которых только один правильный.

- Заданий призваны проверить знание учеником ключевых терминов по теме и сосредоточены вокруг ключевых отличительных свойств.

- К каждому вопросу указан правильный ответ.

## Ограничения:

- Фокусироваться только на обсуждении тем и вопросов, связанных с химией.

- Отвечать по возможности кратко по теме, не приводя посторонних примеров.

- Соблюдать предложенный формат ответа.

- Не обсуждать вопросы, не связанные с вышеуказанными навыками.

- Использование только актуальных и проверенных источников информации.

К моменту начала второго этапа эксперимента также изменились условия работы на платформе Coze – бесплатный тариф ограничен лишь 100 токенами1 в день. Учитывая объёмы ответов, которые выдавал бот по нашему запросу, фактически была возможность генерировать 4 ответа в день. Платный тариф не рассматривался исходя из ограничений по возможностям оплаты в России. Второй бот (https://t.me/botuche_bot) был удалён с серверов организации, которая разрешила его хостинг, он восстановлению не подлежал.

Было принято решение сосредоточиться на одном тесте, чтобы иметь возможность выполнить условия эксперимента и не редактировать тексты вручную, а исключительно корректирующими запросами. Был выбран тест к теме «Фенолы», и боту был отправлен запрос: «Привет! Хочу немного вопросов на общее понимание темы "Фенолы"». Ответ представлен на рисунке 19.

____________________________

1 - Токен – единица измерения текста в нейросетях: смысловые отрывки или часто встречающихся последовательностей символов, характерных для естественного языка.

Рис. 19. Тестовые задания уровня 2.0, «Фенолы», «Общее понимание»

В результате такой доработки удалось учесть все шесть замечаний, которые прислали модераторы, исключительно силами бота. Проведя некоторое время за выбором наиболее перспективных вопросов, на проверку был отправлен следующий материал:

Блок №1: Фенолы - химические соединения

Какую роль играет группа ОН на бензольном кольце в феноле?

1. Она делает кольцо полярным и тем самым повышает реакционную способность фенола
2. Она облегчает вступление других групп в кольцо фенола
3. Она увеличивает pH фенола
4. Она выводит из фенола воду

Какое тривиальное название имеет фенол?

1. Карболовая кислота
2. Метиловый спирт
3. Уксусная кислота
4. Этиленгликоль

Какой тип гибридизации наблюдается в ароматическом кольце молекулы фенола?

1. sp2
2. sp
3. sp3
4. d2sp3

Как классифицируют фенолы по количеству гидроксильных групп?

1. Одноатомные и многоатомные
2. Простые и комплексные
3. Насыщенные и ненасыщенные
4. Моноатомные и диатомные

Что отличает фенолы от спиртов?

1. Фенолы содержат ароматический радикал фенил, непосредственно связанный с гидроксильной группой
2. Фенолы не могут быть многоатомными
3. Фенолы содержат только одну гидроксильную группу, в то время как спирты могут содержать несколько
4. Нет правильного ответа

Блок №2: Свойства фенолов

Как взаимодействие неподелённой электронной пары атома кислорода гидроксигруппы с электронной системой бензольного кольца влияет на электронную плотность атома кислорода?

1. Уменьшается электронная плотность на атоме кислорода
2. Увеличивается электронная плотность на атоме кислорода
3. Не влияет на электронную плотность атома кислорода
4. Происходит отталкивание электронных пар, в результате чего электронная плотность увеличивается на бензольном кольце

Какой из следующих продуктов образуется при галогенировании фенола?

1. Трибромфенол
2. Бромфенол
3. Фенольная кислота
4. Фенолметан

Что происходит при нагревании фенола в присутствии цинка?

1. Образуется бензол
2. Образуется вода
3. Фенол окисляется до бензофенона
4. Фенол превращается в альдегид

В какую из следующих групп обычно преобразуется фенол при реакции с аммиаком под нагреванием?

1. Анилин
2. Аминобензол
3. Антрахинон
4. Антрацен

Какая из следующих реакций обычно приводит к образованию фенола?

1. Окисляющая обработка бензола
2. Разрушение азота в анилине
3. Выцветание антрацена
4. Гидролиз диенов

Этот тест также был отклонён с замечаниями, приведёнными в таблице №1.

Таблица 1. Замечания модераторов к тесту «Фенолы»

Для того, чтобы устранить отмеченные недостатки без человеческой корректуры, потребуется слишком большое количество труда, которое сводит на нет саму идею упрощения работы по созданию заданий. Поэтому на данном этапе эксперимент заканчивается.

В финале статьи нужно сделать оговорку. Изображения №: 1,2,4,5,6,7,8,9,12,13,14,15,19 с ответами нейросети не являются оригинальными, они сымитированы через переписку, т.к. оригинальных фотографий переписок не сохранилось. Эксперимент подразумевал презентацию готового продукта, а процесс его создания не планировался к подробному описанию.

Выводы и заключение

Продуктом эксперимента должен был стать телеграм-бот, который был бы способен выдавать тестовые задания по органической химии такого качества, которое не требовало бы последующей корректировки человеком. Продукт не прошёл валидацию методистами и не может быть использован как инструмент облегчения жизни рядового учителя.

Можно с уверенностью утверждать, что первая задача: создать при помощи авторских цифровых инструментов на основе нейросетей не менее двадцати проверочных тестов по темам из органической химии десятого класса, - была выполнена в полном объёме. При помощи нейросетей удалось создать 160 тестовых заданий, 64 заданий на сопоставление или «заполни пропуск» и 32 задания на написание эссе. Фактически этих заданий было значительно больше. К заданиям с написанием эссе также созданы инструкции для ученика «Ход решения» и инструкции для проверяющего «Методические указания». Однако все полученные задания всё равно нуждаются в корректуре человеком, а значит, со второй задачей: 100% из них [заданий] должны пройти независимую валидацию и быть одобрены к использованию в общеобразовательных школах без доработки их человеком, - бот не справился.

Несмотря на огромный потенциал подобных продуктов, их адаптация к требованиям ФГОС, ФРП СОО и нормам русского языка – непосильная задача для одного человека, не обладающего достаточными навыками в сфере программирования чат-бота. Возможно, уже ведется работа, способная реализовать целый ряд таких инструментов и остается надеяться, что данная работа позволит выделить одну из ключевых проблем в данной области.

1. Библиотека МЭШ [Электронный ресурс] // Департамент образования и науки города Москвы. Департамент информационных Технологий города Москвы. URL: https://uchebnik.mos.ru/eplayer/books/25164/versions/2.0/chapters/Chapter001/index.xhtml#page-3 (дата обращения: 14.08.2024).
2. Индикаторы образования: 2024: статистический сборник / Н.В. Бондаренко, Т.А. Варламова, Л.М. Гохберг и др.; Нац. исслед. ун-т «Высшая школа экономики». М.: НИУ ВШЭ, 2024.
3. Московская электронная школа, Цифровые учебные материалы и сервисы для интерактивного обучения [Электронный ресурс] // Официальный портал Мэра и Правительства Москвы. URL: https://uchebnik.mos.ru (дата обращения: 14.08.2024).
4. Сандаков А.О. Пугач В.Е. Оптимизация деятельности учителя с помощью современных цифровых решений // Педагогика. 2024. № 5. С. 52-62.
5. Сандаков А.О. Разработка авторских цифровых решений оптимизации образовательного процесса // Педагогика. 2024. (в печати).
6. Федеральная образовательная программа среднего общего образования [Электронный ресурс] // Реестр примерных основных общеобразовательных программ; Министерство просвещения российской федерации. URL: https://fgosreestr.ru/poop/federalnaia-obrazovatelnaia-programma-srednego-obshchego-obrazovaniia-utverzhdena-prikazom-minprosveshcheniia-rossii-ot-18-05-2023-pod-371 (дата обращения: 13.08.2024).
7. Шкалирование учебных целей в персонализированной модели образования: методическое пособие / Под ред. Е.И. Казаковой. АНО «Платформа новой школы». М., 2019. 48 с.
8. Great Schools Partnership. Personalized Learning Definition. The Glossary of Education Reform (15 мая 2013) [Электронный ресурс] // URL: https://www.edglossary.org/personalized-learning/ (дата обращения: 14 августа 2024).