Информативность вербальных данных в задаче сохранения и передачи когнитивного опыта

Введение

В этой статье продолжается обсуждение методических проблем, связанных с реализацией проекта «Выявление значимых составляющих когнитивного опыта специалиста в задачах их сохранения и передачи» и поставленных в работах, опубликованных в рамках этого проекта (Жегалло, 2018; Лободинская, Носуленко, 2018; Носуленко, 2018; Носуленко, Терехин, 2018; Самойленко, Богданова, 2017). Речь идет о совершенствовании методов обработки вербальных данных, получаемых от человека в процессе восприятия им объектов окружения при выполнении разного рода когнитивных задач, в частности получаемых в рамках процедуры кооперативного дебрифинга (Носуленко, 2007; Носуленко, Самойленко, 2015). Как было показано ранее, такие данные являются основным источником информации о когнитивном опыте специалиста, необходимой для выделения его наиболее существенных и иерархически распределенных составляющих (Технологии сохранения и воспроизведения когнитивного опыта, 2016; Le Bellu, Lahlou, Nosulenko, Samoylenko, 2016 и др.).

В практике сохранения опыта и его передачи актуальной задачей становится создание таких процедур получения и обработки вербализаций, которые будут обеспечивать максимальную информативность получаемых описаний при минимальном количестве содержащихся в этих описаниях признаков. Для выявления значимых признаков в таких описаниях используется инструментарий, разработанный в рамках парадигмы воспринимаемого качества (Носуленко, 2007). Напомним, что в основе этой парадигмы лежит представление о совокупности тех «качеств» объекта (события, деятельности), которые дают индивиду возможность идентифицировать его среди других объектов на основании собственного опыта. Такая совокупность вербальных признаков количественно представлена в так называемом вербальном портрете объекта, процедура построения которого основана на анализе частотности использования в тексте вербальных единиц, относящихся к определенным семантическим группам, а также на оценке их относительного «веса» в высказывании (Самойленко, 2010; Nosulenko, Samoylenko, 1997). Вербальный портрет, построенный на основании данных свободной вербализации, представляет собой эмпирический референт воспринимаемого качества объекта или события.

Основная проблема применения метода свободной вербализации в практике заключается в трудоемкости обработки получаемого в исследовании речевого продукта. Для построения вербального портрета необходимо выявить наиболее значимые признаки объекта и представить их таким образом, чтобы человек, которому будет передаваться содержание воспринимаемого качества объекта, смог оценить их иерархию и, благодаря этому, идентифицировать объект. При этом количество признаков не должно быть избыточным для целостного восприятия человеком. Такая работа только частично может быть автоматизирована и требует высокой квалификации экспертов. Возникающий здесь вопрос операци- онализации анализа вербальных данных касается прежде всего процедуры сокращения количества значимых характеристик вербального портрета без потери его информативности. Другая задача связана с самой эмпирической процедурой получения вербальных данных: необходимо найти возможность «помочь» индивиду давать в своих описаниях только наиболее значимые (с его точки зрения) характеристики объекта и отфильтровывать второстепенные. В данной статье мы рассмотрим возможность сокращения количества признаков в содержании вербального портрета.

То, что разные объекты можно идентифицировать и различать по их вербальным портретам, было показано многократно. Оказалось, что описания шумов, например, двигателей или закрывающихся дверей разных автомобилей, сделанные одними людьми, позволяют другим легко идентифицировать конкретный источник шума (Носуленко, 2007; Носуленко, Паризе, Самойленко, 2016; Nosulenko, Parizet, Samoylenko, 2014). Вербальный портрет, построенный по данным свободных вербализаций, является в определенной степени «реконструкцией» описываемых объектов в терминах их культурной и исторической идентичности (Носуленко, Харитонов, 2018). Во всех этих работах вербальные портреты касались объектов, которые так или иначе отличались по своему предметному содержанию (автомобили разного типа, старый или современный город и т. д.).

В данном исследовании мы сравнивали вербальные портреты акустических событий, которые отличаются не содержанием источника звука (использовались одни и те же музыкальные фрагменты, в которых звучат одни и Tie же инструменты), а форматом кодирования звука при записи. В экспериментах проверялась гипотеза о возможности сократить количество характеристик вербального портрета, необходимых для идентификации таких акустических событий.

Метод

Первичным материалом для исследования были вербальные портреты, построенные в экспериментах по сравнению звучани. музыкальных фрагментов, записанных с использованием разных типов кодирования (форматы WAVE и MP3). Результаты этих экспериментов описаны в наших предыдущих работах (Носуленко, Старикова, 2009, 2010; Nosulenko, Starikova, 2010). В этих экспериментах участники прослушивали пары музыкальных фрагментов, различающихся форматом их записи (всего 9 разных фрагментов). Среди выбранных фрагментов были записи разных музыкальных инструментов и их сочетаний (№ 1 — гитара; № 8 — симфонический оркестр; № 9 — рояль), человеческого голоса (№ 2 — женский голос в сопровождении симфонического оркестра; № 3 — мужской голос в сопровождении инструментального квартета, № 4 — мужской голос в сопровождении симфонического оркестра), а также записи синтезированных звучаний (№ 5 — несколько синтезированных инструментов с ритмической группой, № 6 и № 7 — без ритмической группы). Длительность каждого фрагмента составляла 8—10 секунд.

Задачей участников было оценить по заданной шкале различие в звучаниях пары, выбрать то из них, которое больше нравится, и подробно описать, в чем различны и в чем сходны звучания в паре, а также — в чем особенности каждого из них и почему предпочитается то или иное звучание. В результате поэтапного анализа полученных вербализаций (Носуленко, Самойленко, 2011; Самойленко, 2010) были построены вербальные портреты, по 2 портрета для каждого из 9 музыкальных фрагментов: один для звучания в формате WAVE, другой для звучания в формате MP3. Исходно количество значимых признаков в этих вербальных портретах варьировалось от 3 до 9¹. Для нашего исследования все вербальные портреты были ограничены шестью наиболее значимыми дескрипторами.

Экспериментальное исследование состояло из двух серий.

В первой серии участникам последовательно предъявлялись пары звучаний, по результатам прослушивания которых были построены вербальные портреты, и одновременно показывался вербальный портрет, соответствующий одному из звучаний пары. Эти вербальные портреты показаны в табл. 1.

Задачей участников было отметить на экране компьютера то звучание в паре (первое или второе), которое, по их мнению, наиболее соответствует представленному описанию. Затем необходимо было выделить ту характеристику в вербальном портрете, которая была наиболее важной для сделанного выбора. Каждую пару звучаний участник мог прослушивать столько раз, сколько считал нужным для уверенного ответа. Разрешалось менять свои решения в процессе эксперимента: в расчет принимался только выбор, сделанный последним. Фиксировались следующие показатели: число прослушиваний каждой пары фрагментов, выбор звучания, соответствующего вербальному портрету, и выбор наиболее существенной характеристики вербального портрета. Таким образом, эта серия экспериментов была направлена на проверку первой гипотезы об адекватности вербальных портретов, построенных в рамках парадигмы воспринимаемого качества.

Таблица 1

Вербальные портреты, использованные в 1-й серии экспериментов

Полученные данные послужили основой для разработки процедуры сокращения количества значимых признаков в вербальных портретах. Сокращенные вербальные портреты предъявлялись участникам во второй серии экспериментов, процедура которой была аналогична процедуре первой серии. То есть проверялась гипотеза о возможности сокращения количества характеристик в вербальном портрете без потери его информативности.

Во всех экспериментах предъявление звуков осуществлялось через наушники. Использовались электростатические наушники STAX SR-007 и согласованный с ними ламповый усилитель STAX-007tII. Для управления экспериментом была создана компьютерная программа, с помощью которой воспроизводилось 36 пар музыкальных фрагментов в случайном порядке: 18 пар, в которых звук MP3 был первым, и 18 пар, где он следовал вторым. Эта же программа регистрировала ответы слушателя.

В первой серии исследования участвовали 45 человек: 12 мужчин и 33 женщины. Средний возраст участников — 28 лет.

В экспериментах второй серии приняли участие 42 человека: 30 женщин и 12 мужчин. Средний возраст участников — 26 лет.

Результаты и обсуждение

1.    Первая серия экспериментов: идентификация звучаний
по исходным вербальным портретам

На рис. 1 показано процентное соотношение правильных идентификаций звучаний музыкальных фрагментов разного типа по их исходным вербальным портретам, построенным для записей в формате WAVE и MP3 соответственно.

Как видно из рисунка, относительная частота правильных идентификаций звучаний музыкальных фрагментов по вербальным портретам отличается от случайной: в среднем в 82% случаев устанавливается правильное соответствие прослушанных звучаний и их описаний. При этом не обнаружено значимых различий между количеством правильных идентификаций по описаниям звуков формата WAVE и по описаниям звуков формата MP3.

Более детальный анализ результатов эксперимента обнаружил связь показателей правильной идентификации с последовательностью предъявления распознаваемого звучания. На рис. 2 показаны относительные значения правильных идентификаций всей совокупности музыкальных фрагментов для случаев, когда описанный в вербальном портрете звук предъявлен первым, и для случаев его предъявления вторым.

На рис. 2 видно, что если описываемое в вербальном портрете звучание предъявляется вторым, его распознавание выше, чем при предъявлении первым. Особенно значимо это различие для звучаний MP3 (р <0,05; Mann—Whitney Rank Sum Test).

2.     Процедура сокращения числа характеристик в вербальных портретах

Процедура сокращения числа характеристик в вербальном портрете была первоначально апробирована при изучении воспринимаемого качества звуков закрывающихся автомо-

бильных дверей (Носуленко, Самойленко, 2013, 2016). Основной принцип сокращения, использованный в этих исследованиях, заключался в перераспределении признаков исходного вербального портрета таким образом, чтобы повысить «оригинальность» описаний сравниваемых звуков, т. е. чтобы в их портретах было как можно меньше сходных характеристик. Для такого перераспределения был использован «коэффициент оригинальности» отдельной характеристики (Ko4) и «коэффициент оригинальности» вербального портрета (Ko). Для отдельной характеристики коэффициент оригинальности вычисляется как обратная величина количества вербальных портретов (Ni), в которых встречается характеристика «i»: Ko. = 1/Ni. Коэффициент оригинальности всего вербального портрета определяется как средняя величина коэффициентов оригинальности входящих в портрет характеристик.

Отличие этого исследования от обсуждаемого в данной статье заключается в том, что в описаниях шумов автомобильных дверей были значимо отражены предметные свойства источника звука, по которым участники относили их к разным классам (например, «дверь хорошей иномарки» и «дверь дешевых Жигулей»). Эти источники различаются не только их звучанием, но и конкретным мультимодальным опытом взаимодействия индивида с ними, как с видимыми и осязаемыми объектами (Носуленко, 1988; Носуленко, Харитонов, 2018). В нашем случае различие сравниваемых звуков характеризовалось отдельными признаками звучаний, относящихся по своим предметным свойствам к одному и тому же предметному классу (один и тот же музыкальный фрагмент). Пары фрагментов каждого типа предъявлялись по отношению к двум вербальным портретам (соответствующих двум форматам записи), а также в двух ситуациях последовательности (первая — в формате WAVE и вторая — в формате MP3).

Поскольку в эксперименте участники сравнивали звучания WAVE и MP3 отдельно для каждого из фрагментов, то нас интересовала, прежде всего, оригинальность вербальных портретов, используемых в каждой паре (например, вербального портрета звучания фрагмента № 1, записанного в формате WAVE, и вербального портрета звучания того же фрагмента, записанного в формате MP3). То есть в каждой паре сопоставлялись характеристики двух вербальных портретов (WAVE и MP3). Как показал анализ, ни для одной пары из 9 музыкальных фрагментов не оказалось сходных характеристик в сравниваемых вербальных портретах. В этом смысле характеристики всех вербальных портретов (отдельно для каждого фрагмента) были полностью оригинальны (Ko=1). Конечно, можно рассмотреть показатель оригинальности безотносительно к типу музыкального фрагмента, сопоставляя описания звучаний, различающихся только форматом записи. Но поскольку дизайн экспериментов по проверке адекватности вербальных портретов повторял схему, в которой были получены вербализации для их построения (парное сравнение), такой показатель не дает информации о значимости той или иной характеристики: в каждой паре звучаний весь контекст сравнения состоит только из двух вербальных портретов.

Учитывая вышесказанное, для перераспределения и сокращения количества значимых характеристик вербального портрета мы использовали только данные, непосредственно полученные в экспериментах первой серии. В первую очередь это касается ответов участников о характеристиках, которые, по их мнению, являются определяющими при выборе звучания, соответствующего представленному вербальному портрету. Данные об этих ответах сопоставлялись с информацией об ошибках при идентификации соответствующих звуков. При ошибочной идентификации характеристика, отмеченная участником как значимая, приписывалась звучанию, с которым осуществлялось сравнение представленного в портрете звучания (например, характеристика, исходно отнесенная к звучанию WAVE, могла быть перенесена в вербальный портрет звучания MP3).

В результате такого анализа некоторые характеристики в исходных вербальных портретах были перераспределены таким образом, чтобы приоритетной оказалась та, которая была отмечена участниками как наиболее значимая, с учетом реального выбора звучания, которое связано, по мнению слушателя, с данной характеристикой. Например, в вербальном портрете звучания WAVE фрагмента № 1 дескриптор «гитара с металлическими струнами» переведен со второго места на первое (см. табл. 1). Для фрагмента № 2 на первом месте оказался дескриптор «чувствуется больше пространства», который исходно был на пятом месте. Аналогично, с пятого на первое место переведен дескриптор «звук лучше прорисован», используемый в вербальном портрете фрагмента № 9, и т. д. Таким образом, были сформированы сокращенные вербальные портреты, в которых было оставлено только по 3 значимых характеристики. Эти вербальные портреты показаны в табл. 2.

Таблица 2

Сокращенные вербальные портреты

Сокращенные вербальные портреты использовались во второй серии экспериментов, процедура которых была аналогична первой серии.

3.     Вторая серия экспериментов: идентификация звучаний
по редуцированным вербальным портретам

Результаты второй серии экспериментов показали относительно высокий уровень правильных идентификаций музыкальных фрагментов разного типа по их описаниям.

Значимых различий между этими показателями, полученными в двух сериях эксперимента, обнаружено не было. На рис. 3 и 4 показаны их относительные величины для звуков, записанных в формате WAVE и в формате MP3 соответственно.

 Также как и в первой серии эксперимента, анализ результатов второй серии выявил связь показателей правильной идентификации с последовательностью предъявления распознаваемого звучания. Как для звучаний WAVE, так и для звучаний MP3 показатели распознавания оказываются значимо выше (p <0,05; Mann—Whitney Rank Sum Test), если звучание, описываемое в вербальном портрете, предъявляется вторым.