Использование юзабилити-метрик при анализе деятельности пользователей корпоративной системы обучения

В предлагаемой работе обосновывается необходимость психологического анализа деятельности пользователя для оценки удобства использования компьютерных интерфейсов с использованием юзабилити-метрик. Анализируется их новый вариант, разработанный на основе субъектно-деятельностного подхода. Рассматриваются результаты его применения для анализа деятельности пользователей корпоративной системы обучения.

В последние два десятилетия бурно развивается новая отрасль эргономики, которая называется юзабилити (примерный перевод – «удобство исследования»), задачей которой является создание удобных компьютерных интерфейсов. Одной из наиболее актуальных проблем юзабилити является разработка методов психологического анализа деятельности пользователей. В существующих международных стандартах ISO 9126–4 и ISO 9241–11 деятельность пользователя при работе с некоторым программным продуктом предлагается оценивать по следующим основным группам параметров:

• Эффективность – то, насколько успешно пользователь смог выполнить задачу.
• Продуктивность – количество затрат, как правило, временных, необходимых для выполнения задачи.
• Удовлетворенность – субъективная удовлетворенность пользователей от работы с продуктом.

В ходе теоретического анализа данного варианта юзабилити-метрик А.Н. Костин показал, что они неполны, часто не совпадают друг с другом, а самое главное – они не охватывают всех аспектов деятельности (Костин, 2009). В частности, ни в ISO 9126-4, ни в ISO 9241-11 нет четкого определения, что такое «эффективность», «продуктивность» и «удовлетворенность», поэтому использование этих метрик носит ситуативный и зачастую произвольный характер. Метрика же «удовлетворенность» в том виде, в котором она существует сейчас, практически бесполезна. Подавляющее большинство пользователей, даже столкнувшись с существенными затруднениями в ходе решения определенной задачи, не могут четко осознать природу этих затруднений, поэтому решают, что работать с продуктом достаточно удобно, а все затруднения – это следствие их личных недостатков или внешних факторов (усталость, некомпетентность и т. д.).

В последние два десятилетия бурно развивается новая отрасль эргономики, которая называется юзабилити (примерный перевод – «удобство исследования»), задачей которой является создание удобных компьютерных интерфейсов. Одной из наиболее актуальных проблем юзабилити является разработка методов психологического анализа деятельности пользователей. В существующих международных стандартах ISO 9126–4 и ISO 9241–11 деятельность пользователя при работе с некоторым программным продуктом предлагается оценивать по следующим основным группам параметров:

• Эффективность – то, насколько успешно пользователь смог выполнить задачу.
• Продуктивность – количество затрат, как правило, временных, необходимых для выполнения задачи.
• Удовлетворенность – субъективная удовлетворенность пользователей от работы с продуктом.

В ходе теоретического анализа данного варианта юзабилити-метрик А.Н. Костин показал, что они неполны, часто не совпадают друг с другом, а самое главное – они не охватывают всех аспектов деятельности (Костин, 2009). В частности, ни в ISO 9126-4, ни в ISO 9241-11 нет четкого определения, что такое «эффективность», «продуктивность» и «удовлетворенность», поэтому использование этих метрик носит ситуативный и зачастую произвольный характер. Метрика же «удовлетворенность» в том виде, в котором она существует сейчас, практически бесполезна. Подавляющее большинство пользователей, даже столкнувшись с существенными затруднениями в ходе решения определенной задачи, не могут четко осознать природу этих затруднений, поэтому решают, что работать с продуктом достаточно удобно, а все затруднения – это следствие их личных недостатков или внешних факторов (усталость, некомпетентность и т. д.).

Для преодоления отмеченных недостатков А.Н. Костиным был предложен субъектно-деятельностный подход к разработке юзабилити-метрик (Костин, 2009). В разработанном варианте юзабилити-метрики делятся на следующие четыре группы:

• Эффективность деятельности: различные аспекты результативности деятельности, такие как успешность деятельности (степень достижения целей деятельности) или эффективность анализа информации (психологическая характеристика, отображает степень адекватности, полноты и своевременности понимания возникающих ситуаций или представленной информации). Группа содержит 7 метрик.
• Экономичность деятельности: ресурсы, затрачиваемые на деятельность, такие как количественные показатели затрат на выполнение деятельности или субъективная сложность деятельности. Группа содержит 8 метрик.
• Надежность и безопасность деятельности: оценка помехоустойчивости выполнения, безошибочности, рисков и возможных опасных последствий деятельности. Группа содержит 8 метрик.
• Удовлетворенность деятельностью: различные аспекты отношения пользователя к продукту. При этом оценивается не только удовлетворенность от выполнения конкретного задания, но и отношение к продукту в целом, например, насколько он полезен и эффективен. Группа содержит 12 метрик.

Для большей определенности и разносторонности оценок метрики каждой группы разделены на технологическую и психологическую подгруппы. Метрики технологической подгруппы отражают аспекты деятельности пользователя, связанные со свойствами продукта, а метрики психологической подгруппы – с особенностями психологических процессов деятельности.

Средствами получения данных по юзабилити-метрикам являются экспертная оценка и анкетирование пользователей. Для этого разработаны специальные бланки экспертной оценки и анкеты пользователей. В качестве эксперта обычно выступает экспериментатор, проводящий исследование. Пользователь самостоятельно оценивает свою деятельность по каждой группе метрик, отвечая на простые вопросы, например: «Всегда ли ваши действия приводили к нужному результату?» Тем самым пользователю предоставляется мощный инструмент для анализа собственной деятельности и снимается проблема, описанная выше (неподготовленному человеку сложно понять природу затруднений, которые у него возникли в ходе выполнения того или иного задания).

Проиллюстрируем эффективность применения описанных выше метрик на примере исследования корпоративной системы обучения, которая применяется в одной из крупных российских компаний. Целевое назначение данной системы – введение в профессию новых сотрудников и повышение квалификации сотрудников, уже имеющих опыт работы в компании. Процесс обучения состоит в прохождении электронных обучающих курсов. Успешность обучения контролируется при помощи тестов, которые пользователи проходят в этой же системе. Часть курсов обязательна для прохождения и назначается администраторами системы: в этом случае пользователь получает уведомление о том, что ему назначен курс. Большую часть курсов пользователь может пройти самостоятельно, не дожидаясь назначения от администратора. Каждый сотрудник компании имеет доступ к системе со своего рабочего компьютера и может заниматься самообучением в любое удобное для него время.

Система состоит из нескольких основных экранов: начало обучения, выбор курса для прохождения, экран с самим курсом, статистика по прохождению курса. Однако владельцы системы сообщают, что пользователи испытывают затруднения при работе с нею: часто обращаются за помощью в техническую поддержку, не занимаются самообучением. Для повышения эффективности системы необходимо выявить причины этих затруднений и устранить их.

Для достижения поставленной цели было проведено тестирование системы. В ходе тестирования пользователи выполняли определенные задачи: например, выбрать и начать проходить курс для самообучения. Их деятельность по выполнению каждой задачи оценивалась по ряду специально отобранных для данного проекта метрик:

1 Метрики группы «эффективность»:

• Успешность деятельности: степень достижения целей деятельности.
• Эффективность анализа информации: степень адекватности, полноты и своевременности понимания возникающих ситуаций или представленной информации.
• Эффективность исполнительских действий: степень правильности, своевременности и точности исполнительных действий.

2 Метрики группы «экономичность»:

• Допустимость временных затрат, необходимых для выполнения поставленных задач.
• Субъективная сложность деятельности: степень затруднений при выполнении деятельности.
• Выраженность негативных эмоций: частота и относительная длительность проявления реакций раздражения, недовольства, чувства гнева, тупика, безысходности и т. п.

3 Метрики группы «безопасность»:

• Ошибочность действий: частота и количество допускаемых ошибок.

4 Метрики группы «удовлетворенность»:

• Удовлетворенность функциональностью продукта: отношение к назначению и полезности продукта.
• Удовлетворенность эффективностью продукта.
• Удобство представления информации: субъективная оценка привлекательности структуры и формы представления информации в интерфейсе.
• Удобство управления: субъективная оценка совершенства средств управления, ввода и корректировки данных в интерфейсе.
• Эстетическая удовлетворенность: отношение к эстетическим свойствам интерфейса в целом (красивый, изящный, элегантный или некрасивый, грубый, безобразный и т. п.).

Нами была выдвинута гипотеза, что опытные сотрудники будут испытывать меньше затруднений при выполнении заданий, чем те, которые никогда не работали с этой системой, поскольку они имели возможность ознакомиться с ней раньше. Это должно проявиться в том, что показатели по всем четырем группам метрик для опытных пользователей системы будут выше, чем для неопытных.

Для проверки этой гипотезы к тестированию было привлечено 8 человек: 4 неопытных пользователя системы (ни разу не проходили обучение до начала тестирования) и 4 опытных (проходили назначенное обучение и занимались самообучением до начала тестирования). Все пользователи выполняли 9 заданий. После каждого из заданий они заполняли анкету, содержащую параметры оценки деятельности. Кроме того, деятельность пользователей оценивалась экспертом, проводящим тестирование. Результаты тестирования представлены на рисунке 1.

Гипотеза не подтвердилась: эффективность деятельности опытных пользователей не выше, а иногда и ниже, чем у новичков. При этом удовлетворенность опытных пользователей от работы с системой ниже, чем неопытных. Оценить статистическую значимость представленных результатов не представляется возможным из-за слишком немногочисленной выборки, однако можно рассматривать их как тенденцию. Отчасти это связано с тем, что опытный пользователь, уже имея некий стереотип взаимодействия с системой, был вынужден выполнять в ходе тестирования некоторые принципиально новые для себя задания, в ходе которых он узнавал о новых функциях системы и понимал ошибочность некоторых своих представлений об устройстве системы. Новички в этом смысле имели некоторое преимущество над опытными пользователями, так как должны были усваивать новые знания, а не перестраивать уже прочно сложившиеся схемы.

Главными проблемами системы являются: неудобное расположение элементов управления (снижение оценок по шкалам «эффективность исполнительских действий», «ошибочность действий» и «удобство управления») и непонятные названия ссылок и кнопок (снижение оценок по шкалам «эффективность исполнительских действий», «эффективность анализа информации», «удобство представления информации»).

Анализ шкал «Удобство управления», «Оценка полезности системы», «Оценка эффективности системы», «Оценка эстетических качеств системы» и «Выраженность позитивных эмоций» дает дополнительную информацию о проблемах системы. По всем этим параметрам опытные пользователи дали более низкую оценку системы, чем неопытные. Очевидно, что опытный пользователь в ходе самообучения сталкивался со значительным количеством проблем и до начала тестирования. Поэтому в какой-то степени он «разочарован» системой. Если неопытный пользователь может предполагать, что источник всех его проблем – это его личная неопытность, то опытный пользователь точно знает, что проблема заключается в самой системе: она некрасива, ей неудобно и не всегда приятно пользоваться, и именно поэтому она неэффективна. Следовательно, ключевой проблемой данной системы является не то, что из-за ее неудобства сотрудники компании вынуждены часто обращаться в службу технической поддержки, а то, что она снижает у них мотивацию к самообучению и в этом смысле не достигает изначально возложенной на нее цели.

Рис. 1. Результаты юзабилити-метрик

яТаким образом, уже на основании одного анализа метрик (без анализа данных, полученных в ходе наблюдения за выполнением каждого задания) можно сделать выводы о природе затруднений, которые возникают в деятельности пользователя. На основании проведенного анализа становится ясно, что проблемы системы имеют не частный, а общий характер, поэтому вся система корпоративного обучения нуждается в перестройке и разработке новой единой стратегии развития. С использованием классических юзабилити-метрик такой анализ был бы невозможен.

1. Костин А. Н. Разработка юзабилити-метрик для эргономической экспертизы компьютерных продуктов на основе субъектно-деятельностного подхода // Актуальные проблемы психологии труда, инженерной психологии и эргономики. Вып. 1. М.: Изд-во ИП РАН, 2009.