Структурные различия диалогов между людьми и диалогов между человеком и нейросетью

Контекст и актуальность. Стремительное развитие генеративных нейронных сетей, начавшееся в 2022 году, породило ситуацию, в которой становится возможным диалог с персонажем, который прежде считался вымышленным, недоступным для общения. Потенциально, развитие этих систем позволит человеку получать опыт, сравнимый с опытом социального общения. Существование такого опыта ставит вопрос о том, где проходит граница между социальными и парасоциальными отношениями. Цель: установить, наличие или отсутствие различий между диалогом человека с нейронной сетью и человека с человеком. Гипотеза. Диалог между человеком и нейронной сетью является социальным актом и структурно схож с диалогом между людьми. Методы и материалы. В работе проводится сравнительный анализ диалогов между человеком и человеком, человеком и нейронной сетью ChatGPT 3.5 с точки зрения психолингвистической структуры речи. Предоставлены материалы эмпирического исследования, полученные на выборке студентов и аспирантов различных московских вузов. В исследовании была создана виртуальная среда для устного общения между человеком и нейронной сетью, диалоги были записаны, транскрибированы (переведены в текстовый формат без дополнительной обработки) и сравнены с диалогами между людьми, также записанными и транскрибированными. В исследовании было проанализировано восемьдесят смежных пар — пар соседних реплик, пар высказываний разных участников, располагающиеся в непосредственной близости друг от друга во взаимодействии, взятые из шести диалогов. Диалоги между людьми проводились среди респондентов в возрасте от 20 до 22 лет, из которых двое были женского пола и двое — мужского. Диалоги между людьми и нейронной сетью проводились между респондентами в возрасте от 20 до 28 лет, из которых двое были мужского пола и четверо — женского. Исследование проводилось с использованием метода конверсационного анализа, фокусируясь на видах затруднений, которые респонденты испытывали в диалоге. Кроме того, для сравнения структуры речи рассматривалась длина реплик. Результаты. Полученные результаты позволяют говорить о наличии существенных различий в структуре диалога между человеком и ChatGPT 3.5 и диалога между двумя людьми в распределении длин реплик в словах и видах коммуникативных затруднений в диалоге.

Введение

Стремительное развитие нейронных сетей и больших языковых моделей (LLM) происходит с 2022 года. Мир переживает новую волну всплеска интереса к искусственному интеллекту (ИИ). Так, в 2023 году словами года по разным версиям становились слова «нейросеть», «галлюцинировать» (в значении, в котором это слово используется в исследованиях ИИ), а также «промпт» (запрос, адресованный к нейросети) и «джипити» (транслитерация GPT — Generative Pre-trained Transformer)¹.

В период с 2022 по 2024 годы человечество поставлено перед фактом: теперь компьютеры умеют разговаривать. Разговаривать на естественном языке, причем умеют поддерживать диалог, «входить в роль» (как, например, нейросеть Character AI² и даже отыгрывать простые сюжеты.

Экспериментальная парадигма CASA (Computers Are Social Actors), разработанная в 1994 (Nass, Steuer, Tauber, 1994) и расширенная в 2020 году (Gambino, Fox, Ratan, 2020), постулирует, что человек воспринимает компьютер как социального актора (субъекта, способного к социальным взаимодействиям): применяет к нему понятие «другой», следовательно, наделяет его определенной субъектностью, присваивает ему гендерную идентичность, применяет к нему социальные нормы. Для достижения этого эффекта необходимо, чтобы компьютер отвечал четырем условиям:

1. обладал системой языкового ввода;
2. мог отвечать, основываясь на множественных входных данных;
3. выполнял роль, которая традиционно выполняется человеком;
4. мог создавать звучащий по-человечески голос.

При соблюдении этих условий мы можем применять методики, предназначенные для исследования социальных взаимодействий между людьми, к социальным взаимодействиям между компьютером и человеком.

Большие языковые модели представляют из себя модели, которые предсказывают следующее слово или символ в тексте на основе статистической вероятности того, что в данном месте в данном контексте встретится именно это слово (Creswell et al., 2018). Подобный принцип работы, гипотетически, может приводить к тому, что текст, генерируемый нейронной сетью, будет более «статистически средним», нежели речь реального человека.

Материалы и методы

Основной целью исследования являлся сбор данных о свойствах диалогов между человеком и нейронной сетью. Для этого была разработана виртуальная среда, позволяющая испытуемому разговаривать с нейронной сетью.

Среда представлена пространством в виртуальной реальности (Барабанщиков, Селиванов, 2023; 2022; Селиванов, Майтнекр, Грибер, 2021; Селиванов, Побокин, 2024), изображающим кофейню, декорированную в стиле «киберпанк». Напротив испытуемого сидит аватар девушки, управляемый нейронной сетью ChatGPT3.5, прошедшей процедуру fine-tuning (Hilliard et al., 2024; Latif, Zhai, 2023; Zhang et al., 2023), для более «очеловеченного» общения. Программа была создана специально для исследования под шлемы виртуальной реальности HTC Vive с использованием «движка» Unity (мультиплатформенный инструмент для создания ЗD моделей).

В качестве «донора личности» для fine-tuning выступила девушка, 21 год, не являвшаяся испытуемой в дальнейшем исследовании, студентка психологического факультета. Ей было предложено в свободной форме ответить на двадцать вопросов о ее жизни и личности.

Ответы были взяты устно и транскрибированы без дополнительной обработки. Нейросеть была дообучена на двадцати парах вида «вопрос-ответ».

В ходе исследования было проведено шесть диалогов между испытуемыми (n = 6) и нейросетью. В исследовании задействовано шесть человек (четверо испытуемых были девушками, двое — юношами) в возрасте от 21 до 28 лет, студенты и аспиранты психологического университета.

В качестве диалогов между людьми для сравнения были взяты два диалога, записанные в другом исследовании. Эти диалоги проводились в двух парах (далее пара 1 и пара 2), в каждой из пар один собеседник был юноша, а второй — девушка, в возрасте от 21 до 23 лет.

Из диалогов было получено 80 смежных пар реплик. При рассмотрении диалогов использовалась сокращенная версия рабочей модели конверсационного анализа, использованная при анализе быстрых свиданий А.М. Улановским и Л.А. Ерохиной (табл. 1) (Улановский, Ерохина, Ян, 2017).

Таблица 1 / Table 1

Рабочая модель конверсационного анализа

Working Model of Conversational Analysis

Результаты

Диалоги между человеком и нейросетью отличаются от диалогов между людьми по нескольким факторам, в первую очередь — факторам, сопряженным с распределением длин реплик.

Для быстрых свиданий между людьми характерно возрастание длины реплик по мере диалога. Реплики же нейросети на протяжении всего диалога практически не варьируются по длине (рис. 1). Так, 33 из 80 (41%) реплик нейросети состоят из одного слова. Это сильно отличает эти диалоги от диалогов между людьми. На рис. 2 и 3 приведены графики распределения слов в диалогах между людьми. Разнообразие длин реплик в них значительно больше, хотя реплики длиной от 1 до 5 слов преобладают во всех диалогах.

Длины реплик нейросети значительно более монотонны. Так, 75% всех реплик нейросети короче семи слов (включительно), в то время как для пары 1 и пары 2 разброс значительно больше — 48 и 19 слов соответственно (табл. 2).

Таблица 2 / Table 2

Распределение длин реплик по процентилям

Distribution of Utterance Lengths by Percentiles

Выбросами можно считать данные, превышающие верхнюю границу третьего квартиля более чем на 1,5 межквартильного размаха (Sullivan, Warkentin, Wallace, 2021). Фактически можно утверждать, что все длинные реплики нейросети – это статистические выбросы (рис. 4).

Границы выбросов будут следующими:

• реплики длиннее 10 слов для нейросети;
• реплики длиннее 116 слов для пары 1;
• реплики длиннее 43 слов для пары 2.

При очистке данных от выбросов на оставшихся данных у нейросети будет наблюдаться крайне низкая (относительно диалогов между людьми) дисперсия (табл. 3).

Таблица 3 / Table 3

Описательная статистика длин реплик нейросети и пар людей

Descriptive statistics of the lengths of neural network replicas and pairs of people

Переходы очереди

Способ передачи очереди в диалоге характеризуется сильной асимметрией участников. Так, основным способом передачи очереди от человека к нейросети является передача очереди через вопрос. Из 80 реплик, произнесенных испытуемыми, 53 (66,2%) были прямыми вопросами, предполагавшими ответ.

В некоторых случаях смежные пары формата «Вопрос-ответ» шли одна за другой. В одном из диалогов продолжительность такой цепочки составила 8 смежных пар (16 реплик).

При этом в диалогах было только три (3,75%) смежные пары, в которых очередь передавалась от нейросети к человеку через прямой вопрос.

Абсолютное большинство переходов очереди от нейросети к испытуемому происходило через длительную паузу. При этом длительность паузы приближалась к трем секундам, что в диалогах между людьми обычно приводит к возникновению неловкости (McLaughlin, Cody, 1982).

Коммуникативные затруднения

Коммуникативные затруднения в основном были связаны с продолжительностью паузы между репликами. Из-за технических ограничений нейронной сети ее ответ зачастую был отделен от окончания реплики испытуемого несколькими секундами.

В некоторых случаях это приводило к попытке испытуемого восстановить ход диалога, снова взяв очередность реплики. В таких случаях нейросеть и испытуемый начинали говорить одновременно. Все эти затруднения разрешались прекращением реплики испытуемого, поскольку нейросеть технически лишена возможности прервать свою реплику.

Обсуждение результатов

В диалогах наблюдается асимметрия говорящих. Люди значительно чаще задают вопросы: 66% реплик со стороны испытуемых и 3% реплик со стороны нейросети были вопросами. Это позволяет сделать вывод, что при диалоге человека и нейронной сети роли вопрошающего и ответчика задаются строго, однозначно и понятны субъекту.

Асимметрия, вероятно, вызвана конфигурацией экспериментальной системы и природой нейросетей как программ, реагирующих на запрос, но не имеющих инициативы в целом.

Диалоги между людьми и нейронными сетями значительно более монотонны, чем диалоги между реальными людьми. Нейросеть использует в основном короткие реплики из 1—2 слов и лишь изредка использует крайне длинные реплики, иногда превышающие 100 слов.

В диалогах между человеком и нейросетью значительно меньше как паттернов диалога, так и возможных коммуникативных затруднений и методов их разрешения. Фактически все затруднения, не связанные с длительностью паузы, разрешались одним методом — сменой темы со стороны человека. Однако диалог с ИИ для личности выступает в качестве интеллектуального события (интеллектуальный строй, схема, план), в котором осуществляется проблематизация субъектом высказываний машины и своих собственных.

Следует отметить технические трудности, изменившие ход исследования по мере его реализации. В начале работы ожидалось, что диалоги получатся более реалистичными, быстрыми. Предполагалось, что в них практически не будет затруднений, поскольку нейросеть будет всегда давать релевантные ответы.  Однако нейросеть зачастую давала ответы, никак не связанные с предыдущими репликами и абсолютно выбивающиеся из контекста. См. пример из диалога на рис. 5.

Рис. 5. Распределение длин реплик в формате box-plot

Fig. 5. Example of Dialogue with Neural Network

Нейросети не обладают инициативой в диалоге, не стремятся углублять свои познания и расширять контекст диалога. В целом ИИ пока плохо распознает смыслы общающегося с ним человека, особенно индивидуализированные глубинные смысловые образования, которые продуцирует личность, и не строит свои высказывания в соответствии с ними.

Заключение

Проведенное исследование демонстрирует наличие существенных структурных различий между диалогами человека с нейросетью (ChatGPT 3.5) и диалогами между людьми. Исходная гипотеза опровергается: диалог с нейросетью не является структурно схожим с социальным диалогом между людьми. Ключевые различия включают:

• выраженную асимметрию ролей (человек преимущественно задает вопросы (66% реплик), нейросеть отвечает, редко проявляя инициативу (3% вопросов));
• монотонность и ограниченную вариативность длин реплик нейросети (преобладание коротких реплик в 1—2 слова, 41% — однословные, низкая дисперсия);
• ограниченный репертуар паттернов передачи очереди и преодоления коммуникативных затруднений (доминирование передачи через вопрос человеком и разрешение трудностей через паузу или смену темы человеком).

Перспективы исследования связаны с развитием технологий ИИ. Полученные результаты создают основу для:

1) разработки более точных метрик оценки «естественности» диалоговых ИИ;

2) совершенствования диалоговых систем для снижения асимметрии и повышения вариативности реплик;

3) изучения влияния этих структурных различий на пользовательский опыт и восприятие ИИ.

В качестве ближайшей перспективы исследования стоит выделить повторение эксперимента на более современных моделях (GPT-4o, GPT-o1 и последующих), где ограничения могут быть частично преодолены. Потенциально, развитие систем ИИ может привести к ситуации, при которой ограничения будут нивелированы в большой степени, и подобный ИИ сможет успешно замещать (кроме передачи глубинных смыслов) и дополнять человеческую деятельность, в том числе в социальных задачах.

Ограничения. Выводы, сделанные в работе, верны для моделей OpenAI GPT-3.5 Turbo и OpenAI GPT-4. Исследование не перепроводилось на моделях OpenAI GPT-4o и OpenAI GPT o1 и более современных; результаты, наблюдаемые при работе с этими моделями, могут отличаться.

Limitations. The conclusions drawn in the study are valid for the OpenAI GPT-3.5 Turbo and OpenAI GPT-4 models. The research was not reconducted on the OpenAI GPT-4o and OpenAI GPT o1 or more recent models; the results observed when working with these models may differ.

¹ Институт Пушкина назвал главное слово года в русском языке. РБК. URL: https://www.rbc.ru/society/18/12/2023/657ffc1d9a79472cfba66e12 (дата обращения: 13.09.2024).

² Character.AI. URL: https://character.ai/ (дата обращения: 13.09.2024).

1. Барабанщиков, В.А., Селиванов, В.В. (2023). Редукция тревоги и депрессии через программы на гарнитуре виртуальной реальности высокой иммерсивности. Экспериментальная психология, 16(2), 36—48. https://doi.org/10.17759/exppsy.2023160203
   Barabanshchikov, V.A., Selivanov, V.V. (2023). Reducing Anxiety and Depression through Programs on a High Immersive Virtual Reality Headset. Experimental Psychology (Russia), 16(2), 36—48. (In Russ.). https://doi.org/10.17759/exppsy.2023160203
2. Барабанщиков, В.А., Селиванова, В.В. (Ред.). (2022). Влияние технологий виртуальной реальности высшего уровня на изменение психического в юношестве. М.: Универсум.
   Barabanshchikov, V.A., Selivanov, V.V. (Eds.). (2022). The impact of high-level virtual reality technologies on mental change in youth. Moscow: Universum. (In Russ.)
3. Селиванов, В.В., Майтнер, Л., Грибер, Ю.А. (2021). Особенности использования технологий виртуальной реальности при коррекции и лечении депрессии в клинической психологии. Клиническая и специальная психология, 10(3), 231—255. https://doi.org/10.17759/cpse.2021100312
   Selivanov, V.V., Meitner, L., Griber, Yu.A. (2021). Features of the Use of Virtual Reality Technologies in the Rehabilitation and Treatment of Depression in Clinical Psychology. Clinical Psychology and Special Education, 10(3), 231—255. (In Russ.). https://doi.org/10.17759/cpse.2021100312
4. Селиванов, В.В., Побокин, П.А. (2024). Особенности тревожности и саморегуляции психической деятельности в виртуальной среде. Экспериментальная психология, 17(1), 108—117. https://doi.org/10.17759/exppsy.2024170107
   Selivanov, V.V., Pobokin, P.A. (2024). Features of Anxiety and Self-Regulation of Mental Activity in a Virtual Environment. Experimental Psychology (Russia), 17(1), 108—117. (In Russ.). https://doi.org/10.17759/exppsy.2024170107
5. Улановский, А.М., Ерохина, Л.А., Ян., М.Д. (2017). Разговор при знакомстве: конверсационный анализ быстрых свиданий. Психология. Журнал высшей школы экономики, 14(1), 140—166.
   Ulanovsky, A.M., Erohina, L.A., Yan, M.D. (2017). The Talk during a Meeting: Conversation Analysis of Speed Dating. Psychology. Journal of the Higher School of Economics, 14(1), 140—166. (In Russ.)
6. Creswell, A., et al. (2018). Generative adversarial networks: An overview. IEEE signal processing magazine, 35(1), 53—65.
7. Gambino, A., Fox, J., Ratan, R.A. (2020). Building a stronger CASA: Extending the computers are social actors paradigm. Human-Machine Communication, 1, 71—85.
8. Hilliard, A., et al. (2024). Eliciting Big Five Personality Traits in Large Language Models: A Textual Analysis with Classifier-Driven Approach. arXiv preprint arXiv:2402.08341.
9. Latif, E., Zhai, X. (2023). Fine-tuning Chatgpt for automatic scoring. Computers and Education: Artificial Intelligence, arXiv.Org, abs/2310.10072.
10. McLaughlin, M.L., Cody, M.J. (1982). Awkward silences: Behavioral antecedents and consequences of the conversational lapse. Human communication research, 8(4), 299—316.
11. Nass, C., Steuer, J., Tauber, E.R. (1994). Computers are social actors. Proceedings of the SIGCHI conference on Human factors in computing systems, 72—78.
12. Sullivan, J.H., Warkentin, M., Wallace, L. (2021). So many ways for assessing outliers: What really works and does it matter? Journal of Business Research, 132, 530—543.
13. Zhang, W., et al. (2023). Fine-Tuning ChatGPT Achieves State-of-the-Art Performance for Chemical Text Mining. ChemRxiv.