Использование тепловых карт для оптимизации образовательных бизнес процессов в компании Скилбокс

В статье рассмотрены способы анализа данных для решения задачи выбора оптимального решения с целью оптимизации ресурсов на примере компании Skillbox. Рассмотрены и решены задачи выбора информационных ресурсов с учетом предложений рынка. Автор рассматривает различные способы анализа данных с упором на минимизацию ресурсов, необходимых на их обработку. В статье автором описывается практическое применение программы “Цифровой помощник”, которая разработана компанией Скилбокс для измерения продуктовых метрик и анализа поведения обучающихся. С помощью описанных автором методов анализа больших данных, рассмотрены способы оптимизации образовательных бизнес-процессов, которые приводят к увеличению рентабельности образовательных курсов. Как один из основных способов анализа больших данных рассматриваются тепловые карты, описано практическое их применение. Автор описывает взаимосвязь бизнес метрик и изменений, происходящих с образовательным продуктом, и предлагает методы и периодичность проводимых опросов и обработки обратной связи об образовательном пути обучающихся.

Введение

Развитие технологий, увеличение количества собираемых и обрабатываемых данных требуют от образовательных курсов в рамках дополнительного образования (ДО) эффективных бизнес решений при выборе методов работы для анализа информации. Бизнес аналитики в сфере ДО используют два вида сбора и обработки информации таких как, обработка первичных данных, которая реализуется с помощью наблюдений, опросов, экспериментов, имитационного моделирования, и больших массивов информации, для которых применяются  таблицы, графики, диаграммы, тепловые карты и др. В рамках данной статьи рассматривается применение тепловых карт как один из эффективных способов обработки информации в образовательной компании ЧОУ ДПО «Образовательные технологии «Скилбокс» (Коробка навыков)». В процессе обучения цифровым профессиям в связи с быстрым устареванием контента образовательные курсы вынуждены регулярно обновлять свой контент на постоянной основе, чтобы соответствовать духу времени. Поэтому актуальность работы обусловлена тем, что для эффективного внесения изменений в предзаписанный обучающий контент компании Скилбокс необходимо оперативно анализировать поведение обучающихся и проводить мониторинг контента курсов.

Скилбокс образовательная организация, реализующая курсы дополнительного профессионального образования (ДПО) и дополнительного образования детей и взрослых (ДО). Образовательный контент курса заранее предзаписан и выложен на образовательную онлайн платформу. Слушатель занимается в свободном графике в асинхронном формате. Каждая образовательная программа состоит из видео уроков, практических заданий, тестовых заданий и лонгридов (урок, в котором текст, картинки/видео, тестовые вопросы выстроены в определенной логике). Слушатель изучает теоретический материал и после этого отрабатывает навыки, выполняя домашние практические задания. Они бывают двух типов: для самопроверки и для сдачи преподавателю на проверку.

Компания Скилбокс реализует курсы в области образовательных технологий и программы цифровых профессий: мобильный разработчик, веб-разработчик, специалист по кибербезопастности, веб-дизайнер, веб-аналитик, интернет-маркетолог, продуктолог и т.д.

В рамках данной статьи будут рассмотрены следующие вопросы:

1. Каким способом в максимально сжатые сроки можно проанализировать большой объем полученной информации;
2. Какой способ позволит быстро и эффективно принимать управленческие решения;
3. Какой способ оптимизирует человеческие и финансовые затраты на сопровождение образовательного продукта.

В статье рассматривается пример анализа поведения обучающихся на образовательной IT платформе Скилбокс. Сбор и анализ данных проводился на основе обработки цифровых форм, при которой слушатели давали обратную связь во время и после прохождения обучения цифровым профессиям. Первый опросник составлен с целью определить степень удовлетворенности обучающихся по критериям: качество уроков, общение с преподавателем, интерфейс платформы. Опросник размещался на платформе и демонстрировался обучающимся в виде всплывающих окон каждые 40 дней обучения. Второй опросник был составлен с целью определить степень удовлетворенности слушателей по критериям: качество уроков, общение с преподавателем,  интерфейс платформы. Опросник демонстрировался слушателям в определенные моменты обучения: 1) после просмотра видео лекции; 2) после успешной сдачи практической работы; 3) по истечении времени прохождении модуля курса. Опросники направлены на анализ продуктовых метрик, в первую очередь это индекс потребительской лояльности Net Promoter Score (NPS) и индекс удовлетворенности клиентов Customer Satisfaction Score (CSAT) .

Рис.1 Образец измерения метрики CSAT на примере первого модуля

Рис.2 Схема измерения метрики NPS

NPS впервые упоминается Фредом Райхельдом как метрика клиентской лояльности в 2003 году [1]. Основная идея индекса - избавиться от традиционных «скучных» и «сложных» опросов. Вместо них Райхельд предложил задавать клиенту всего лишь один емкий вопрос: «Насколько вероятно вы порекомендуете обучение своему другу или коллеге?» Для ответов он предлагал использовать десятибалльную шкалу, по результатам которой подсчитывались баллы, а  в дальнейшем, рассчитывался индекс NPS. В предложенной им системе участники опроса делятся на три группы: критики (слушатели, которые поставили от 0 до 6 баллов); нейтралы (слушатели, которые поставили оценки 7 и 8); и промоутеры (слушатели, которые  поставили оценки 9 и 10). Для подсчета индекса NPS необходимо вычислить разницу между количеством промоутеров и критиков. Нейтралы в подсчете не участвуют, так как не характеризуют компанию ни c положительной, ни c отрицательной стороны. На основе исследования, проведенного Ф. Райхельдом был сделан вывод, что показатель NPS равный 50% и  более является показателем высокого темпа роста компании. Такие компании являются лидерами рынка. К плюсам NPS можно отнести простоту использования, а именно то, что на заполнение анкеты обучающемуся требуется не более 30 секунд. Следовательно, велика вероятность, что большинство слушателей пройдут опрос, что поможет собрать большую базу для анализа. Еще одним удобством использования индекса NPS является наглядная репрезентация материала для руководителей компании. Визуализация данных позволяет понимать, насколько обучающиеся готовы порекомендовать продукт и насколько высока вероятность, что они готовы к повторной покупке.  Анкета для вычисления индекса NPS в компании Скилбокс представляет собой всплывающее окно с вопросом «насколько вы готовы рекомендовать обучение в Скилбокс своим друзьям и знакомым». Далее предлагается выбрать категорию, к которой относится оценка: общая категория; качество материалов; общение с преподавателем по выполнению практических и домашних заданий; интерфейс платформы.  К минусам индекса следует отнести отсутствие дополнительной информации для анализа. Так как задается всего один вопрос для выявления причин проставленных оценок необходимо проводить дополнительные исследования. Для более точного результата анализа оценок NPS в Скилбокс совершается дополнительное устное анкетирование слушателей, которые поставили оценки 6 и ниже для уточнения причин проставленных баллов. В результате опроса выяснилось, что среди слушателей, поставивших оценки ниже 6 только 20% выбирает верную категорию; 40% поставили оценку случайно или не могут уточнить причину; 15% слушателей имеют завышенные ожидания по обучению, из них более 80% не ознакомились с инструкцией обучения на платформе, например, ожидания личного репетитора, а не самостоятельное изучение материала на платформе. Таким образом, для корректного использования индекса NPS в работе необходимо обязательно учитывать человеческий фактор.

Индекс удовлетворенности клиентов (CSAT) помогает собирать обратную связь слушателей в процессе обучения. СSAT оценивает, насколько обучение, соответствует ожиданию слушателя на каждом этапе образовательного трека. Анкета для вычисления СSAT в Скилбокс представляет собой всплывающее окно по окончанию каждого этапа взаимодействия: после просмотра видео урока, после успешной сдачи практической работы и после окончания курса. Опросник разделен на категории: оценка качества, оценка спикера, оценка домашнего задания и оценка качества взаимодействия. К оценке качества относится то, как слушатель оценивает качество образовательного контента в целом. Достаточно ли было дано информации для выполнения практической работы, требовалось ли при изучении модуля обращаться к дополнительной литературе, достаточно ли текстового и/или видео контента для выполнения практического задания и достаточно ли дано примеров. При оценке спикера курса дается обратная связь об удобстве подачи информации для восприятия, насколько последовательно излагался материал, была ли речь понятной, делался ли эмоциональный акцент на ключевых местах материала, насколько речь спикера отражалась на слайдах презентации. В подразделе оценка домашнего задания анализируется понятна ли формулировка задания, насколько доступно изложена цель домашнего задания и с чего его необходимо начинать. Оценка качества взаимодействия с преподавателем - насколько подробно преподаватель давал обратную связь, отвечал на вопросы, направлял и помогал в подготовке заданий. Еженедельно Скилбокс получает до 14 000 оценок CSAT. Для удобства и скорости анализа данных в компании используется визуализация данных. Для анализа динамики продуктовых метрик Скилбокс применяет графики, тепловые карты и диаграммы.

Автор сконцентрировал свое внимание на тепловых картах, как на наиболее эффективном способе обработки информации в образовательной компании Скилбокс. Термин тепловая карта (heatmap)  был предложен  Кормаком Кинни как графическое представление данных, где индивидуальные значения отображаются в таблице  при помощи цвета [2].

Тепловые карты применяются специалистами различных областей: интернет - маркетологами, веб - дизайнерами, социологами, инженерами, разработчиками мобильных приложений, исследователями, географами, медиками и т.д. Тепловые карты применяются в статистике для анализа данных. В медицине И.Н. Махров (2021) предлагает решение использование тепловых карт для прогнозирования рисков в области общественного здоровья [3]. В криминалистике тепловые карты применяются для анализа совершаемых преступлений. Для принятия решений выбора  эффективной стратегии сокращения преступности [4]. В биологии Нохрин Д.Ю. (2021) описывает применение тепловых карт для визуализации экспертной оценки вкуса продукции [5] Чернова Е.А. (2022) рассматривает реализацию тепловых карт в разработке сайтов на основе анализа поведения пользователей. Тепловые карты помогают реализовать наиболее правильный алгоритм размещения веб страниц [6]. В образовании тепловые карты применяются для анализа поведения и мониторинга обучающихся, для измерения активности, для мониторинга успеваемости, для анализа учебного материала, для проверки качества работы преподавательского состава и т.п. В пандемию, при мониторинге обучающихся был замечен рост активности слушателей более чем на 40% на онлайн продуктах. Это позволило компании быстро отреагировать на меняющийся спрос и увеличить число преподавателей и продуктов.

В Скилбокс тепловые карты применяются для анализа CSAT.  Количественные значения представляются на картах с помощью цветокодированных областей, которые показывают поведение пользователей. При обработке данных используется программа «Цифровой помощник», которая собирает и анализирует метрики образовательного продукта и визуализирует полученные результаты в виде графиков и таблиц. В «Цифровом помощнике» можно выбрать необходимые для анализа даты, курс и категорию. При получении данных можно наглядно увидеть «проблемные» места и принять управленческие решения.Рис. 3 CSAT взаимодействие с преподавателем

На рисунке 1 изображена тепловая карта CSAT из программы «Цифровой помощник». Тепловая карта отображает метрику CSAT взаимодействие с проверяющим преподавателем по модулям программы в период с октября 2022 года по март 2023 года. В октябре 2022 на 13 модуле выделено резкое падение метрики. Для анализа падения были произведены следующие действия: проанализирована обратная связь преподавателей по 13 модулю, проведен аудит формулировки задания, проведен аудит видео контента модуля на предмет достаточности теоретического материала для выполнения задания. В результате была выявлена недостаточность материала для выполнения задания, на преподавателей возросла нагрузка по дополнительному разъяснению, слушатели были недовольны объемом доработок по практической работе. В результате на платформу был выложен дополнительный теоретический материал и практические примеры выполнения работы, что привело к росту CSAT, улучшению проходимости модуля и повышению конверсии выпускников. Систематический анализ показателей (не реже 1 раза в неделю) и их визуализация в виде тепловых карт является эффективным инструментом оперативного контроля руководителем подразделения для предотвращения ухудшений метрик.

Руководители для принятия управленческих решений ориентируются на тепловые карты, которые применяются в анализе цифровых следов (активность на платформе). Цифровой след можно собирать из электронных журналов, дневников, из личных кабинетов учащихся, а так же в любых других логах, которые могут быть применены для дальнейшего анализа.[7] На данный момент существует множество методов и технологий анализа данных, которые применяются в организации обучающего процесса для развития обучающегося. Среди них можно выделить следующие: данные обратной связи - сбор и анализ информации от слушателей образовательных курсов; анализ успеваемости - анализ успехов и срез знаний слушателей с целью выявления проблем и разработки способов поддержки отстающих; анализ социальных данных - анализ географии, национальности, данных о занятости, с целью адаптации образовательного продукта под целевую аудиторию.

Управленческий аппарат проводит анализ не только образовательного процесса как такового, но и отслеживает другие траектории развития образовательного продукта. Среди них можно выделить анализ профессиональных профильных конференций и тенденций развития отрасли, с целью выбора современных методов обучения; анализ эффективных образовательных технологий и поиск возможностей для улучшения образовательной среды. Применение различных методов анализа информации позволяет разрабатывать обучающие курсы, максимально соответствующие потребностям обучающихся.

Задача аналитики на основании вышеупомянутых данных предоставить информацию, на основании которой принимаются бизнес решения. Средством хранения всего объема информации может служить реляционная база, (построенная на основе Microsoft Excel) которую можно трансформировать в тепловую карту. Одной из главных задач анализа табличных значений является поиск зависимостей и отношений между данными. В случае увеличения числа таблиц и потока аудитории, для эффективной обработки информации возникает необходимость использования базы данных.

Для поиска зависимости рассматривались несколько разных соотношений: слушать – платформа, слушатель – курс, слушатель – преподаватель, слушатель – практическая работа, слушатель – служба поддержки платформы. Для оценки зависимости между метрикой NPS и активностью пользователей была применена формула корреляции Пирсена. Автором рассматривались данные за январь 2023 года. Активное число пользователей в данной формуле - это слушатели, которые заходили на обучающую платформу, но не имели образовательного прогресса, т.е. не была просмотрена ни одна видео лекция и не сдана практическая работа. При этом если пользователь зарегистрирован на платформе более 40 дней назад, ему был показан опросник для измерения метрики NPS.

r = (Σ((Xi - Xср)(Yi - Yср))) / ((√Σ(Xi - Xср)²) * (√Σ(Yi - Yср)²))

где:

r - коэффициент корреляции Пирсена;

Σ - сумма всех значений в выражении;

Xi - активное число пользователей за одну неделю с 9.01.23 по15.01.23;

Yi - NPS за неделю с 9.01.23 по 15.01.23;

Xср - среднее значение пользователей в январе 2023 года;

Yср - среднее значение метрики NPS за январь 2023 года.

В данном случае коэффициент равен примерно 0.678, что означает наличие положительной линейной корреляции между X и Y.

В результате была выявлена корреляционная зависимость метрики NPS с общими показателями рентабельности продуктов, такими как: процент возвратов, расход на сопровождение. При падении метрики растет количество возвратов, расход на сопровождение продуктов и, как обратный эффект, при росте метрик, наблюдается положительная динамика.

Результатом регулярной работы с метриками являются управленческие решения:

1) ИТ решения: доработки образовательной платформы;

2) корректировка контента обучающих курсов под запрос целевой аудитории;

3) организация работы с проверяющими преподавателями для корректировки обратной связи по практическим и домашним заданиям; 4) внедрение дополнительной активности на курсах (вебинары, мастер-классы, организация мастерских (воркшопов)).

Постоянная работа с индексом NPS помогает компании Скилбокс  удерживать его на уровне 57–60%, сохранять уровень лояльности слушателей, что является показателем бизнес эффективности. Она непосредственно складывается из оптимизации финансов и из эффективного управления профессорско-преподавательским составом.

Следующие шаги позволили автору оптимизировать расходы на сопровождение образовательных курсов

1. Анализ комментариев и отзывов от слушателей на платформе. Для оптимальной работы с комментариями и отзывами компания Скилбокс подразделяет их на две группы:

• позитивные комментарии;
• негативные комментарии, одна группа из которых правится в режиме реального времени «быстрые правки», а вторая откладывается на долгосрочную перспективу.

Хорошим показателем работы с отзывами и комментариями является падение группы «быстрые правки» и увеличение числа позитивных комментариев.

2. Нематериальная мотивация профессорско-преподавательского состава. Зависимость нематериальной мотивации профессорско-преподавательского состава на качество их работы и успехи обучающихся рассмотрели Клюев А.В., Ляшко С.В., Гегер А.Э. (2021). Они нашли способ улучшить систему управления образовательной организации путем поощрения преподавателей.[8] Признание заслуг и уважение коллектива является одним из основных скрытых мотиваторов к труду наряду с материальной мотивацией. Компания Скилбокс применят нематериальную мотивацию в своей работе, учредив рейтинг преподавателей и премию «Преподаватель года». Рейтинг учитывает количественные показатели работы преподавателей за год: количество проверенных практических работ, скорость проверки работ за 24 часа, CSAT преподавателя. Для анализа показателей работы преподавателей и составление их рейтинга также применяются тепловые карты. В них анализируется высокий процент проверки работ в 24 часа. Ежедневно выгружаются данные о находящихся на проверке практических работах, где цветом выделяются работы, срок проверки которых находится в ожидании более 12 часов. Эта информация дублируется в личном кабинете преподавателя, где эти работы подсвечиваются желтой молнией. Если работа висит более 24 часов, то - красной. С помощью рейтинга Скилбокс обеспечивает прозрачность работы преподавателей, а их успехи вдохновляют других коллег. На основе рейтинга и качественных показателей работы преподавателей раз в год проводится премия «Преподаватель года». Такое поощрение позволяет управлять более 500 преподавателей и повышать их мотивацию к работе.

В результате исследования  пришли к следующим выводам:

1. Взаимосвязь бизнес метрик и любые корректировки, проводимые в образовательных курсах, приводят к изменению настроений у слушателей, что ведет за собой последующие доработки и улучшение образовательного продукта;
2. Для получения обратной связи о проблемах потребителя необходимо создавать актуальные опросники под каждую конкретную задачу;
3. Периодичность проведения анализа данных один раз в неделю позволяет принимать быстрые управленческие решения;
4. Тепловые карты зарекомендовали себя наиболее эффективным способом анализа больших данных.

1. Reichheld, Frederick F. One Number You Need to Grow (англ.) // Harvard Business Review : magazine. — 2003 https://hbr.org/2003/12/the-one-number-you-need-to-grow
2. Leland Wilkinson and Michael Friendly. The History of the Cluster Heat Map (англ.) // The American Statistician. — 2009.
3. Махров, И. Н. Тепловая карта общественного здоровья / И. Н. Махров //. – 2021. – № 6(46). – С. 74-75. – EDN HDRSNJ.
4. Царев, Ю. В. Анализ совершаемых преступлений в административно-территориальных единицах Англии с помощью тепловых карт / Ю. В. Царев, Д. Д. Евстигнеев, А. В. Яфизова //. – 2022. – Т. 3, № 6(51). – С. 265-271. – EDN FGBTLK.
5. Нохрин, Д. Ю. Использование тепловых карт для визуализации экспертной оценки вкуса продукции / Д. Ю. Нохрин, Л. В. Уфимцева, М. С. Лезин // Плодоводство и виноградарство Юга России. – 2021. – № 71(5). – С. 207-218. – DOI 10.30679/2219-5335-2021-5-71-207-218. – EDN TJQZEQ.
6. Чернова, Е. А. Разработка алгоритма адаптивного расположения элементов веб-страницы на основе тепловых карт / Е. А. Чернова, Е. И. Матюшенков // Молодые исследователи: взгляд в прошлое, настоящее, будущее: материалы III Международной студенческой научно-практической конференции, Смоленск, 30 ноября 2022 года. – Смоленск: Смоленский филиал федерального государственного бюджетного образовательного учреждения высшего образования «Российский экономический университет имени Г.В. Плеханова», 2022. – С. 165-169. – EDN DFRVJI.
7. Фиофанова, О. А. Методы анализа образовательных данных и способы их применения в педагогической и управленческой практике в сфере образования / О. А. Фиофанова // . – 2020. – № 1. – С. 117-127. – EDN MTLOOR.
8. Клюев, А. В. Возможности применения смешанных методов исследования в системе управления современного вуза (по материалам социологического исследования) / А. В. Клюев, С. В. Ляшко, А. Э. Гегер // Управленческое консультирование. – 2021. – № 1(145). – С. 77-87. – DOI 10.22394/1726-1139-2021-1-77-87. – EDN AYMLSH.
9. Пожарицкий, Е. Д. Современные методы измерения клиентской лояльности / Е. Д. Пожарицкий // . – 2019. – № 1(5). – С. 68-71. – EDN OKKTAC.
10. Сергеева, Н. В. Тепловые карты как инструмент управления покупательским поведением / Н. В. Сергеева // Всероссийская конференция молодых исследователей с международным участием «Социально-гуманитарные проблемы образования и профессиональной самореализации» (Социальный инженер-2020) : сборник материалов Всероссийской конференции молодых исследователей с международным участием, Москва, 07–10 декабря 2020 года. Том Часть 5. – Москва: Федеральное государственное бюджетное образовательное учреждение высшего образования "Российский государственный университет имени А.Н. Косыгина (Технологии. Дизайн. Искусство)", 2020. – С. 127-131. – EDN QYCRRA.
11.  Клейман, Л. А. Повышение надежности устройств беспроводных систем управления на основе метода анализа тепловых карт / Л. А. Клейман, В. И. Фрейман // XIII Всероссийское совещание по проблемам управления ВСПУ-2019 : Сборник трудов XIII Всероссийского совещания по проблемам управления ВСПУ-2019, Москва, 17–20 июня 2019 года / Институт проблем управления им. В.А. Трапезникова РАН. – Москва: Институт проблем управления им. В.А. Трапезникова РАН, 2019. – С. 2866-2873. – DOI 10.25728/vspu.2019.2866. – EDN UJAIBK.
12.  Махров, И. Н. Тепловая карта общественного здоровья / И. Н. Махров // . – 2021. – № 6(46). – С. 74-75. – EDN HDRSNJ.
13.  Кириллов, А. А. Моделирование бизнес-процессов центра дополнительного образования с целью совершенствования его процессов обучения и производства / А. А. Кириллов, О. В. Сизова // Сборник научных трудов вузов России "Проблемы экономики, финансов и управления производством". – 2021. – № 48. – С. 145-149. – EDN JNJBFH.
14.  Афонасова, М. А. Проблемы обеспечения баланса взаимных интересов в процессе интеграции образования и бизнеса / М. А. Афонасова // Современное образование: интеграция образования, науки, бизнеса и власти : Материалы международной научно-методической конференции. В 2-х частях, Томск, 27–28 января 2022 года. Том Часть 2. – Томск: Томский государственный университет систем управления и радиоэлектроники, 2022. – С. 182-185. – EDN HSPZVP.
15.  Котов, В. С. Оптимизация бизнес-процессов в экономике и образовании / В. С. Котов, Т. Д. Самойлова // II Открытые экономические чтения студентов, посвященные памяти Онищенко Дмитрия Ивановича : материалы II региональной межвузовской научно-практической конференции студентов и магистрантов, проводимой в рамках празднования 56-летия Липецкого филиала Финуниверситета, Липецк, 07 декабря 2021 года. – Липецк: Издательский дом «Державинский», 2022. – С. 223–226. – EDN WAKKDE.