Введение
Цифровая трансформация образования перестала быть временной мерой и стала неотъемлемой частью современного учебного процесса. Очное присутствие в аудитории сегодня — лишь один из множества форматов получения знаний. Внедрение цифровых технологий и гибридных форматов обучения открыло новые горизонты для персонализации образования, сделав его доступным вне зависимости от места проживания, занятости или состояния здоровья. Особую значимость эти изменения приобретают для людей с ограниченными возможностями здоровья (ОВЗ). Для студентов с нарушениями зрения грамотно выстроенная цифровая среда — это не просто альтернатива, а зачастую единственный полноценный канал получения информации, позволяющий нивелировать ограничения и обеспечивающий равный доступ к знаниям (Шефер, 2021).
В статье рассмотрены некоторые технологии, используемые в обучении студентов с нарушениями зрения на факультете информационных технологий, включая современные ассистивные технологии и возможности искусственного интеллекта.
Внедрение цифровых технологий в образовательный процесс – одно из приоритетных направлений развития современной системы образования (Карабельская, 2017). Из-за введения режима самоизоляции все эти процессы заметно ускорились. Для системы инклюзивного образования этот период сыграл двоякую роль. С одной стороны, он обнажил системные проблемы: отсутствие доступной инфраструктуры, психологическую и техническую неготовность преподавателей к работе со студентами, нуждающимися в ассистивных технологиях, а также цифровое неравенство среди самих студентов. С другой стороны, вынужденный переход в онлайн заставил искать конкретные решения, которые впоследствии оформились в стройную методологию (Червен-Водали и др., 2022).
Пополнить свои знания, узнать что-то новое можно в любое время и в любом месте, если есть доступ к какому-либо электронному устройству с выходом в интернет. Каждый участник современного образовательного процесса выбирает для себя наиболее удобные, понятные и продуктивные технологии (Денискина, 2012).
Для обеспечения доступности и качества образования большое значение имеет применение информационных и коммуникационных технологий (Методические рекомендации, 2014).
Когда мы говорим о дистанционном или гибридном обучении для незрячего студента, мы имеем в виду не просто видеоконференцию, а сложную систему, в которой компьютер становится его глазами. Это обеспечивается комплексом программных и аппаратных средств, которые в специальной литературе классифицируются как ассистивные технологии, такие как:
- Компенсаторная функция. Использование ассистивных технологий в качестве вспомогательных устройств позволяет учащимся с особыми потребностями принимать активное участие в учебном процессе и коммуникации. Для незрячих студентов это, прежде всего, программы невизуального доступа к информации (Screen Reader), преобразующие визуальную информацию в речь или тактильный шрифт Брайля. Наиболее популярными средствами доступа к информации в операционной системе Windows остаются свободно распространяемая программа NVDA (NonVisual Desktop Access) и коммерческий профессиональный продукт JAWS (Job Access With Speech), а также экранный помощник Orca для ОС семейства Linux. Для слабовидящих студентов используются программы экранного увеличения, такие как MAGic или ZoomText, которые позволяют увеличивать, изменять цветовую палитру, а также улучшать визуальную доступность информации многими другими способами.
- Дидактическая функция. Информационные и коммуникационные технологии становятся инструментом, меняющим методику преподавания. Использование специальных форматов (LaTeX с возможностью озвучивания, тактильная графика, структурированные аудиоматериалы) позволяет минимизировать разрыв в восприятии материала между зрячими и незрячими студентами и делает возможным применение современных педагогических приёмов, направленных на улучшение взаимодействия учащихся между собой и с преподавателями.
- Коммуникативная функция. Технологии служат посредником в общении, обеспечивая обратную связь и взаимодействие в учебной группе и с преподавателем через доступные интерфейсы.
Основные типы средств информационных и коммуникационных технологий, включают: стандартные технологии с настраиваемым интерфейсом (операционные системы с функциями специальных возможностей); альтернативные форматы данных: доступный HTML, DAISY, MathML, тактильная графика; ассистивные технологии: программы невизуального доступа (JAWS, NVDA, Orca, VoiceOver), брайлевские (тактильные) дисплеи, программы экранного увеличения (Соколов и др., 2023).
Для каждой категории пользователей, испытывающих трудности в процессе коммуникации, должны быть подобраны и адаптированы специальные вспомогательные устройства и программное обеспечение.
Параллельно сохраняет своё значение тактильное чтение — шрифт Брайля. Однако, если издание художественной литературы шрифтом Брайля — уже колоссальный труд, то печать учебников по высшей математике с их обилием формул и графиков требует ещё больших затрат (Нуркаева и др., 2017). Поэтому в современных условиях основной акцент делается на аудиальном восприятии информации в сочетании с тактильным для наиболее сложных структур (Edwards, 2011).
Изучение математики и информатики традиционно опирается на визуальное восприятие. Зрячий человек видит формулу целиком, как картинку: длинный корень, внутри дробь, сверху индекс, снизу предел. Незрячий студент слышит последовательность символов, и чтобы эта последовательность сложилась в голове в правильный образ, она должна быть идеально структурирована. Актуальным инструментом для решения этой задачи остаётся система LaTeX.
LaTeX — язык разметки, созданный Дональдом Кнутом и развитый Лесли Лампортом, который позволяет описывать структуру документа и математических формул линейно, с помощью кода. Например, код \frac{x}{y} задаёт дробь. Это свойство — линейность представления — оказалось созвучным природе системе рельефно-точечных обозначений Л. Брайля, которая также является линейной и не допускает смещения текста относительно оси строки.
Используя это сходство, на факультете была разработана и внедрена программа-конвертер TeXToBraille. Принцип её работы основан на словаре макросов LaTeX и правил их замены на описательные конструкции.
Программа TeXToBraille (ТеХ в Брайль) принимает на вход файл, размеченный по правилам языка LaTeX. За основу синтаксиса взят язык, описанный в книге С. Львовского "Набор и вёрстка в пакете LaTeX". Используя словарь макросов, программа в результате обработки файла подставляет вместо макросов LaTeX описательные конструкции на русском языке, или формирует запись по правилам системы Брайля. В общем виде результат работы программы имеет вид: "Начало выражения ... вторая часть выражения ... третья часть выражения ... конец выражения" Более конкретный пример: выражение "\sqrt{x^2+y^2}" после обработки превращается в выражение: "Корень из x малое в степени 2 +y малое в степени два конец корня".
В подобном случае описательных выражений на русском языке текст может быть прослушан с помощью программного синтезатора речи на персональном компьютере, в случае конвертации исходного файла LaTeX в синтаксис системы Брайля текст может быть распечатан на специальном принтере для рельефно-точечной печати.
Программа TeXToBraille способна обрабатывать интегралы, пределы, дробные выражения, верхние и нижние индексы, степени и корни, что покрывает потребности базовых курсов высшей математики.
Система может использоваться в образовательных организациях, в специализированных издательствах и библиотеках, частными лицами для подготовки учебных и научных материалов по разделам высшей математики для печати рельефно-точечным шрифтом Брайля с целью последующего использования их незрячими и слабовидящими школьниками, студентами, специалистами в ходе учебной или профессиональной деятельности.
Изучение математических текстов с помощью программы невизуального доступа к информации. При работе за компьютером у зрячего пользователя основным устройством вывода информации является монитор. Незрячий студент использует специальное программное обеспечение, осуществляющее озвучивание информации на экране компьютера. Эти программы позволяют контролировать информацию, вводимую с клавиатуры и выводимую на экран персонального IBM-совместимого компьютера в текстовом режиме. Это даёт незрячему пользователю возможность работы с любыми программами различного назначения, например, с текстовыми и табличными процессорами, системами программирования (Archambault, 2004).
Основные функции программ невизуального доступа:
- озвучивание информации, вводимой с клавиатуры;
- автоматическое озвучивание текстовой информации, выводимой на экран другими программами;
- чтение фрагментов экрана по командам пользователя (символа, слова, строки, заданной области и т.д.) в процессе функционирования других прикладных и системных программ;
- отслеживание изменений на экране и оповещение о них пользователя;
- автоматическая загрузка конфигураций, приспособленных для работы с конкретной прикладной программой при её запуске.
Незрячие пользователи, работающие с операционной системой Windows, используют одну из таких программ "JAWS for Windows". Это название составлено из первых букв фразы: job access with speech (доступ к рабочему месту с помощью речи). Требуемая информация озвучивается с помощью установленного программного синтезатора речи. Среди русских голосов большую популярность получил синтезатор "speaking mouse" ("говорящая мышь"). Главным преимуществом этого голоса является высокая скорость речи, что не маловажно при чтении текстов большого объёма. Качество речи оставляет желать лучшего, но возможность самостоятельно незрячему работать за компьютером открывает большие перспективы.
Компьютер применяется и в процессе обучения. Чтение учебной литературы с помощью синтезированной речи возмещает студенту недостающее звено восприятия информации. Чтение литературы математического курса требует дополнительных разработок для корректного построения речевых единиц.
Учебные материалы в аудио формате
Из доступных электронных материалов по математическим дисциплинам отметим документы формата LaTex. Озвучиванию подлежит код, содержащийся в файле с расширением tex. При чтении с помощью синтезатора для удобства восприятия сложных математических выражений требуется осуществить замену конструкций языка LaTex на их соответствующие описательные выражения.
Такую замену может осуществлять программа TeXToBraille. Рассмотрим вторую возможность данного конвертера. Программа получает на вход файл формата Tex. Конвертер, используя словарь для подстановок, создаёт на основе полученного файла текстовый файл, не содержащий элементов языка Tex.
Озвучивание математических текстов синтезатором речи имеет неоспоримое преимущество в скорости и дешевизне, однако синтезированная речь менее разборчива и быстрее утомляет слушателя. Живая речь диктора воспринимается гораздо лучше, но создаёт проблему навигации: как быстро найти нужный фрагмент в многочасовой аудиозаписи?
Для решения этой проблемы на факультете была разработана программа Giper Sound, реализующая идею иерархической разметки аудиофайлов. Программа состоит из двух модулей: модуль разметки и модуль воспроизведения.
Разметка говорящей книги заключается в том, что опытный слушатель (желательно специалист в предметной области, которой посвящена книга) в реальном времени прослушивает всю книгу и в определённых местах (на началах глав, разделов, параграфов, на более мелких заголовках) ставит закладки. Информация, хранящаяся в закладке, состоит из трёх частей: имя закладки, имя файла и время от начала файла, с которого начинается важный звуковой фрагмент. Все закладки сохраняются в XML-файле, который после завершения всей разметки должен распространяться вместе с самой аудиокнигой. В процессе разметки закладки можно группировать, устанавливая иерархический порядок. Например, все закладки, относящиеся к параграфам первой главы, можно сгруппировать в раздел "Глава первая. *** ***". Закладки можно устанавливать не только на заголовки разделов книги, но и вообще на начало любого важного по смыслу фрагмента (например, формулы).
Модуль воспроизведения включает в себя плеер - для воспроизведения звуковых файлов и древовидный визуальный компонент - для отображения иерархической структуры закладок. Для работы второму модулю требуется наличие звуковых файлов в формате MP3 и XML-файл, созданных с помощью первого модуля.
Работа пользователя состоит из двух шагов: необходимо выбрать закладку с подходящим названием и запустить воспроизведение звука. Программа, пользуясь информацией из XML-файла, автоматически перейдёт к нужному файлу и произведёт смещение по времени внутри него. Книга будет звучать непрерывно до тех пор, пока пользователь не активирует другую закладку или не остановит воспроизведение.
"Говорящая книга" давно и успешно используется незрячими читателями-слушателями. При чтении (прослушивании) учебника, часто возникает необходимость оперативно ознакомиться с содержанием одного из предыдущих разделов. Иногда, например, при повторении материала, приходится конспективно прослушивать короткие фрагменты из нескольких разделов. Вообще, найдя нужный раздел по содержанию (содержание книги обычно записывается в начале или конце всей аудиокниги), надо перейти к началу самого раздела и начать слушать. Обычно любое из перечисленных действий занимает много времени. В настоящее время широкое распространение получил формат MP3 для компактного хранения звука. Несмотря на значительное преимущество компьютера (или аппаратного MP3-плеера), поиск фрагмента записи по-прежнему является достаточно длительным процессом. Для поиска приходится по очереди прослушивать несколько десятков MP3-файлов.
Сегодня этот принцип стал общепринятым и реализован на уровне современных медиаплееров, платформ LMS (например, Moodle) и стандартов упаковки образовательного контента, что значительно повышает эффективность самостоятельной работы студентов.
Если для математики ключевым вопросом была «линеаризация» формул, то для IT-дисциплин главным барьером остаётся работа с графическими интерфейсами сред разработки (IDE) и специализированным программным обеспечением. Парадоксально, но консоль, будучи чисто текстовым интерфейсом, является наиболее доступным инструментом. Студенты с глубоким нарушением зрения успешно работают и в Linux, пишут скрипты на Python в терминале, осваивают администрирование. Однако работа с графическими средами, такими как старые версии Delphi или современные визуальные редакторы интерфейсов (Figma), остаётся сложной из-за обилия неозвучиваемых элементов (Bigham, 2012).
Среды разработки (IDE). Прогресс в этой области очевиден. Современные версии IntelliJ IDEA, Visual Studio Code и Eclipse имеют плагины и встроенные функции для улучшения совместимости с программами невизуального доступа. Наш опыт позволяет рекомендовать следующие инструменты:
- VS Code: редактор оказался очень дружелюбен к программам невизуального доступа благодаря продуманной системе клавиатурных команд («горячих клавиш»), встроенному терминалу и понятной структуре файлов.
- Jupyter Notebook: идеальный инструмент для обучения, так как позволяет разбивать код на ячейки, смешивать его с пояснительным текстом в Markdown и получать мгновенную обратную связь. Программа невизуального доступа воспринимает это как структурированный документ.
- Docker: обучение работе с контейнерами строится через консольные команды (docker build, docker run), что обеспечивает полную прозрачность и доступность.
Последние годы активно развиваются технологии искусственного интеллекта, которые открывают принципиально новые возможности для инклюзивного образования. Большие языковые модели (LLM) и мультимодальные нейросети становятся для незрячего студента настоящим помощником, закрывая те визуальные пробелы, которые раньше были непреодолимы. Можно выделить несколько ключевых направлений применения искусственного интеллекта.
Автоматическое тифлокомментирование изображений
Ранее описание сложных графиков, диаграмм, архитектурных схем было крайне трудоёмкой ручной работой (Ворошилова и др., 2017). Сегодня студент или преподаватель может загрузить изображение (например, график функции или UML-диаграмму) в мультимодальную нейросеть с запросом: «Опиши это для незрячего человека последовательно». Модель анализирует изображение и выдаёт структурированное описание: «Это график параболы, ветви направлены вверх. Вершина находится в точке с координатами (2, -1). График пересекает ось X в точках примерно 1 и 3». Тифлопедагог лишь проверяет и корректирует результат, что экономит колоссальное количество времени.
Интеллектуальная навигация в контенте (RAG-системы)
На основе технологии RAG (Retrieval-Augmented Generation) мы начали создавать для учебных курсов специализированные базы знаний. Все лекции, методички и задачи в текстовом виде «скармливаются» ИИ-ассистенту. Студент может задать голосовой вопрос: «Напомни определение полиморфизма в Java» или «Покажи пример кода сортировки пузырьком». Ассистент ищет информацию в авторитетной базе (наших лекциях) и отвечает голосом преподавателя, с нашими примерами, выступая в роли персонального тьютора, доступного 24/7.
Объяснение и рефакторинг кода
На занятиях по программированию искусственный интеллект помогает студенту разобраться в логике кода. Студент может отправить фрагмент кода с запросом: «Сгенерируй комментарии в стиле Javadoc», «Объясни простыми словами, как работает эта рекурсия» или «Найди потенциальные ошибки». ИИ выступает терпеливым наставником, готовым объяснять одно и то же разными словами, пока не будет достигнуто понимание.
Описание интерфейсов и генерация тактильных образов
Ведутся эксперименты по интеграции искусственного интеллекта непосредственно в программы невизуального доступа к информации. Студент, наведя курсор на непонятную область интерфейса, может получить подсказку: «Это окно настройки подключения к базе данных. Слева список драйверов, справа поля для ввода адреса сервера». Кроме того, нейросети используются для создания эскизов тактильной графики (контурных рисунков) для последующей печати на термовакуумных принтерах, позволяя студенту с глубоким нарушением зрения тактильно воспринять форму объекта (Тупоногов, 2014).
Важно отметить, что ИИ не идеален (возможны «галлюцинации» и ошибки интерпретации), поэтому ключевой навык, который мы прививаем студентам — критическое мышление и умение перепроверять полученные результаты.
Заключение
Обобщая накопленный опыт факультета информационных технологий, можно сформулировать условия к организации обучения студентов с нарушениями зрения в цифровой среде, которые актуальны и для гибридного, и для очного форматов с активным использованием информационных и коммуникационных технологий.
Техническое оснащение: наличие современного компьютера с ассистивным ПО (NVDA/JAWS/Orca), стабильного интернета, а также брайлевского дисплея; адаптированный контент: предоставление материалов заблаговременно в доступных форматах (структурированный текст, LaTeX с описаниями, аудио с оглавлением). Важно проверять, что PDF-файлы являются текстовыми, а не отсканированными картинками. (Web Content Accessibility Guidelines, 2018).
Обязательное речевое сопровождение всех визуальных элементов (презентаций, демонстраций кода). Активное использование чата для дублирования важных объявлений и ссылок. Предоставление записей занятий. Проведение занятий по дисциплинам с учётом потребностей студентов различных нозологических групп, чёткие словесные описания и дублирование информации помогают не только незрячим, но и всем остальным студентам.
Опыт факультета «Информационные технологии» убедительно подтверждает, что при грамотном использовании современных ассистивных технологий (программ невизуального доступа, программ-конвертеров), соблюдении стандартов доступности и, главное, перестройке педагогического мышления, дисциплины математического и компьютерного циклов становятся доступны для студентов с глубокими нарушениями зрения.
Опыт, накопленный на нашем факультете, доказывает, что успешность освоения информационных технологий зависит от знаний и логики, а не от наличия или отсутствия зрения.
Сегодня задача заключается в том, чтобы создать единую, гибкую и персонализированную образовательную среду (Алехина, 2016). В этой среде электронное обучение и традиционные методы не противостоят, а гармонично дополняют друг друга, обеспечивая подлинное равенство возможностей для всех студентов. Дальнейшее развитие этого направления будет связано с углублённой интеграцией искусственного интеллекта (автоматическая генерация описаний, интеллектуальные тьюторы), совершенствованием голосового управления интерфейсами и распространением доступных тактильных дисплеев, позволяющих буквально «пощупать» математику. Развивая инклюзию, мы делаем образование лучше для всех.