Принятие решения в условиях неопределенности: стратегии исследования и использования

Три способа принятия решения в условиях
дефицита информации

Многие ситуации реальной жизни вынуждают человека делать выбор, несмотря на недостаточную осведомленность о его возможных последствиях.

Ограниченный индивидуальный опыт позволяет субъекту учесть лишь часть факторов, которые влияют на результат. В этом случае решение принимается на основе субъективного вероятностного прогноза — иначе говоря, интуитивно [Overriding phasic dopamine, 2014]. Поведенческий ответ в условиях неопределенности может быть сформирован тремя способами: логическим, статистическим и эвристическим [Denison, 2019]. Каждый из этих способов имеет свои ограничения и допускает возможность различных ошибок.

Логический поиск решения оптимален лишь при наличии исчерпывающей информации. Он линеен, схематичен, длителен и требует высокой концентрации внимания. При формировании суждений некоторые критически важные обстоятельства могут быть упущены из виду.

Недостатки логического мышления становятся очевидными при столкновении человека с известными экономическими парадоксами [Канеман, 2003]. Например, два товара стоят вместе 1 доллар и 10 центов. Один из них на 1 доллар дороже другого. Какова стоимость каждого из них по отдельности? Более половины успешно обучающихся студентов престижных американских университетов с уверенностью отвечали, что первый стоил 1 доллар, а второй — 10 центов. Они буквально не замечали, что разница между 1 долларом и 10 центами принципиально не может равняться 1 доллару. Эта типичная ошибка объясняется склонностью большинства людей к упрощению информации, округлению чисел, следованию привычным стереотипам мышления.

Другой способ принятия решения — статистический [Aspers, 2018]. В этом случае субъект делает выбор, основываясь только на собственном, по определению ограниченном, опыте проб и ошибок. Каждый текущий исход обновляет внутреннюю модель ситуации, на основе которой будет сделан следующий выбор. При этом действуют базовые механизмы обучения с подкреплением: часто подкрепляемое поведение повторяется, а редко вознаграждаемое — угасает [Killeen, 2014]. Экспериментально показано, что к успешному вероятностному прогнозированию на основе частотности событий способны очень маленькие дети на предрече- вом этапе онтогенеза и животные с высоким уровнем развития нервной системы [Denison, 2019].

Еще менее надежен эвристический способ принятия решений, в основе которого лежит формирование эвристик — ассоциаций между похожими или совпадающими по времени событиями. Случайное сходство единичного события с предупреждающим сигналом о награде или наказании из прошлого опыта субъекта сообщает ему субъективную ценность, хотя такая аналогия может быть неправомерна.

При всей своей ненадежности эвристики имеют одно ключевое преимущество перед логическим и статистическим способами принятия решения: они не требуют длительного накопления опыта. При удачном стечении обстоятельств они позволяют человеку или животному быстро сформировать оптимальный поведенческий ответ в незнакомой среде [Smith, 2017].

Эвристический способ принятия решений может лежать в основе рискованного поведения, как человека, так и животных. В качестве примера можно привести феномен склонности голубей к риску [Zentall, 2017]. При выборе из двух альтернатив птицы отдавали предпочтение той из них, которая была сопряжена с низкими (20%) шансами получить большую награду, отказываясь от гарантированного, но скромного подкрепления.

Интересно, что содержание голубей в обогащенной среде вместе с другими особями уменьшает у них число неоптимальных выборов. Можно предполагать, что избыток разнообразных ассоциаций в обогащенной среде естественным образом способствует элиминации неэффективных связей.

Склонность к выборам с низкими шансами получить большую награду также характерна для азартных игроков [Zentall, 2014].

Неопределенность как характеристика
ситуаций реальной жизни

В отличие от заведомо безопасной (во всяком случае, для человека) экспериментальной комнаты, в реальной жизни невыгодные решения могут приводить к значительным потерям. Самые драматические последствия человеческих ошибок наблюдаются в медицинской диагностике, политике, судебной экспертизе.

Также неопределенность исхода является неотъемлемой частью спортивных соревнований и творческих конкурсов. С ней повсеместно сталкиваются профессионалы в бизнесе и специалисты по подбору кадров.

Неопределенность крайне важна в контексте ней­роэкономики. Часто она является неотъемлемой характеристикой среды для человека как потребителя. Изобилие взаимозаменяемых товаров, продуктов и изделий ставит современного потребителя перед беспрецедентным количеством вариантов выбора. Человек вынужден принимать решение о том, покупать ли уже знакомый продукт или попробовать что- нибудь новое; он должен выбирать между несколькими вариантами, делать прогнозы на основе множества противоречивых данных. Доля неопределенности остается и после окончательного принятия решения, поскольку, выбирая одно, человек неизбежно лишается другого. Был ли сделанный выбор оптимальным — неизвестно. Эта дилемма не устраняется и в случае приобретения сразу нескольких сопоставимых товаров, поскольку это подразумевает отказ от денег, потраченных на дополнительную покупку. Избыточная когнитивная нагрузка делает потребителей уязвимыми для разнообразных маркетинговых технологий.

Активное построение гипотез на основе
индивидуального опыта

Принятие решений в условиях неопределенности стало предметом систематических научных исследований с начала 1970-х гг. Начало этому направлению положили фундаментальные работы американского психолога Д. Канемана, в 2002 г. удостоенного Нобелевской премии за вклад в развитие экономических наук.

Согласно классической концепции Канемана, неопределенность включает в себя два компонента: внешний и внутренний [Kahneman, 1982]. Внешнюю неопределенность обусловливают случайные условия окружающей обстановки, которые субъект не может контролировать или влиять на них. Внутренняя неопределенность устанавливается субъективной неосведомленностью индивида об обстоятельствах, в которых он находится.

Для оптимального поведения важна оценка субъектом собственной компетентности в решении задачи. Способность к такой оценке проявляют даже животные.

Например, в одном из экспериментов [Yuki, 2017] крысы делали выбор между легкодоступной, но небольшой наградой и шансом получить большую награду за решение задачи, уровень сложности которой варьировался. Грызуны предпочитали трудную, но «высокооплачиваемую» задачу лишь до тех пор, пока нагрузка не превышала объем их рабочей памяти. Сталкиваясь с непосильными требованиями, они переключались на простую задачу с гарантированным маленьким подкреплением.

То есть, крысы продемонстрировали способность регулировать уровень неопределенности, учитывая собственные когнитивные возможности. Такие способности формируют особый тип поведения, целью которого является уменьшение внутренней неопределенности [Parr, 2017].

Живые организмы развиваются в сложной вероятностной среде, адаптироваться к которой только на основании индивидуального опыта невозможно.

Базовым механизмом психики, преодолевающим ограниченность обучения с подкреплением, является активное построение внутренней модели среды.

Это понятие значительно шире, чем сознательный логический вывод. Внутренняя модель является отражением разнообразия возможных состояний среды и Байесовских прогнозов вероятности для каждого из них [Parr, 2017].

Например, в зрительном восприятии часто встречающиеся комбинации признаков формируют в системе распознавания образов некий прототип, который оказывает сильное влияние на последующий процесс обработки зрительной информации. Воспринимая изображение, наблюдатель как бы ищет подтверждения уже существующей у него догадке, производя «бессознательное умозаключение», как назвал его Г. Гельмгольц [Linson, 2020].

Аналогичные процессы прогностического кодирования сопровождают распознавание устной и письменной речи [Recognizing sequences of, 2009]. В определенном смысле репрезентация внешних условий присуща любым самоорганизующимся системам, в частности, одноклеточным организмам.

Для объяснения саморегуляции поведения организмов нейробиология позаимствовала из кибернетики «теорему о хорошем регуляторе» [Conant, 1970]. Согласно ей, эффективная управляющая система должна являться адекватной моделью среды, с которой она взаимодействует.

Благодаря наличию прогностической модели, восприятие высоковероятных событий облегчается, а маловероятных затрудняется, что и порождает внутренний конфликт. Расхождения текущих ощущений с предварительным прогнозом ставит субъекта перед необходимостью пересмотра внутренней модели среды. Число и величина таких несоответствий задают степень неопределенности ситуации.

Считается, что всем организмам имманентно присуще стремление минимизировать эту разницу, поскольку неожиданность несет в себе потенциальную угрозу для сохранения целостности живой системы. Поэтому организмы активно отбирают (или с тем же результатом игнорируют) информацию из окружающей среды, для того чтобы уменьшить для себя ее неопределенность, или «свободную энергию» в терминологии К. Фристона [Parr, 2017].

В свете этой концепции любой выбор субъекта несет в себе не только прагматическую ценность (немедленную награду или наказание), но и эпистемическую (повышение осведомленности).

Принятие решения в рамках стратегии
исследования и стратегии использования
(exploration-exploitation trade-off)

В целенаправленном поведении человека и животных можно выделить две диаметрально противоположных стратегии: использование (exploitation) и исследование (exploration) [A primer on, 2017]. Стратегия использования — это применение знакомой выгодной опции. В рамках такой стратегии субъект раз за разом совершает один и тот же выбор, который по опыту оказался лучше всех остальных альтернатив. Этот выбор сопряжен с минимальной степенью неопределенности — т. е. гарантированно или с высокой вероятностью приносит вознаграждение [Psychological models of, 2011].

Вторая стратегия — стратегия исследования — это поиск новых возможностей. В рамках такой стратегии субъект переключается между разными вариантами выбора, пробует незнакомые опции и имеет дело с высоким уровнем неопределенности. Тем самым стратегия исследования, в отличие от стратегии использования, позволяет получить новую информацию.

Экспериментальные парадигмы для изучения
стратегий исследования и использования

В реальных ситуациях стратегии исследования и использования попеременно сменяют друг друга.

Стратегия использования обеспечивает приток положительных подкреплений в краткосрочной перспективе, а поиск новых возможностей открывает путь к отсроченной награде [Barack, 2016]. Например, копытным животным важно исследовать новые территории в летний сезон, когда доступно много разнообразной пищи. Даже не обнаружив ее в новом месте, они получают прогно­стически важную информацию. Зимой, когда цена ошибочного решения несопоставимо возрастает, животное будет опираться на накопленный за лето опыт. Повышенная склонность к риску и поиску новых впечатлений, характерные для подростков, расширяет их жизненный опыт, который может быть использован в зрелом возрасте [Risk-taking behavior in, 2003]. Взаимные переходы между стратегиями использования и исследования наблюдаются в процессе решения практически любых новых задач.

В экспериментальных исследованиях принятия решения человеком часто используют модель тотализатора с двумя или несколькими «рычагами» («N-armed bandit task», «задача с многоруким бандитом») [Steyvers, 2009]. Испытуемым предлагается делать ставки, выбирая любой из двух или более «рычагов» (вместо «рычагов» могут быть стимулы на экране). Величина выигрыша при выборе каждой альтернативы варьируется в соответствии с кривой нормального распределения независимо от предыдущего выбора. Один рычаг систематически приносит больше прибыли, чем другие. Испытуемым необходимо эмпирически его определить, чтобы выиграть как можно больше очков или денег за фиксированное время.

В другом варианте задачи («restless bandit task») при­оритетность рычагов постепенно меняется в течение игры. Наиболее выгодная в начале опция теряет свою ценность, уступая первенство другой. В этом случае испытуемым необходимо в подходящий момент перестроить стратегию выбора.

Типичный игрок в первых нескольких пробах хаотично переключается с одного рычага на другой, а затем у него вырабатывается устойчивое предпочтение наиболее выгодной альтернативы. Лишь иногда он возвращается к другим рычагам [A primer on, 2017]. Обучившись — т. е. поняв, какая из опций выгоднее, — игрок переключается от стратегии исследования к стратегии использования и большую часть времени следует ей. Но возвращения к другим рычагам — случаи исследования — происходят и после обучения. В целом, выбор стратегии большинством испытуемых подтверждает философско-экономические размышления выдающегося исследователя XVIII века Даниэля Бернулли [Канеман, 2003]: человек с готовностью рискует, пока ему практически нечего терять, однако по мере накопления дохода он все больше избегает неопределенности. Интересно, что в этой парадигме эксперимента люди и животные (макаки) вели себя сходным образом. У тех и других пропорция «исследовательских» выборов составляла около 25% [Neurons in posterior, 2009].

Еще одной экспериментальной моделью для изучения стратегий исследования и использования является парадигма «наблюдай или делай ставку» (observe-or-bet) [Rakow, 2010]. У испытуемого есть выбор: наблюдать исход, ассоциированный с выбранным стимулом, при этом не получая ни награды, ни штрафа, или выбрать стимул (сделать ставку), получив награду в случае правильного выбора. Первый вариант считается исследованием, второй — использованием. В одном из вариантов такого эксперимента перед испытуемым две лампочки; в каждой пробе он может либо просто наблюдать, какая лампочка загорится, в результате получая информацию о вероятностях включения каждой из двух лампочек, либо попробовать угадать, какая из лампочек загорится, и в случае правильного предположения он получает деньги, а в случае неправильного — теряет [Blanchard, 2018].

Третья экспериментальная парадигма для изучения баланса исследования/использования — это «задача с часами» (clock task) [Frank, 2009]. Испытуемым показывают циферблат часов, по которому движется стрелка; в одной пробе стрелка преодолевает пятисекундный интервал. Стрелку можно остановить в любом положении внутри интервала и получить награду. Величина награды и ее вероятность — функции от времени реакции. Например, чем дальше стрелка, т. е. чем больше время реакции, тем выше награда и ниже вероятность ее получить. В этом случае использованием считаются ответы с маленьким временем реакции, приносящие маленькую гарантированную награду, а исследованием — ответы с увеличенным временем реакции, приносящие большую награду, но редко.

В целом, для экспериментального изучения стратегий исследования можно использовать практически любые задачи с вероятностной структурой обучения, любые «гемблинг-задачи», где вероятность выигрыша при выборе разных опций отличается.

Факторы, влияющие на баланс стратегий
исследования и использования

Факторы, играющие роль в переключении между стратегиями исследования и использования, можно разделить на три группы: средовые, индивидуальные (личностные характеристики) и социальные [Unpacking the exploration–exploitation, 2015].

К факторам среды можно отнести истощение ресурсов: если выбираемая ранее опция перестала быть выгодной (например, у крысы в кормушке закончилась еда, на поле кони съели всю траву), это толкает субъекта на то, чтобы переключиться со стратегии использования на стратегию исследования.

Кроме того, важным фактором является соотношение выгод и рисков исследования и использования (а также самого переключения). Так, животные меньше исследуют территории в поисках пищи, если высок риск нападения хищников [Verdolin, 2006].

Кроме того, важную роль играет стабильность/ предсказуемость среды: если условия быстро меняются, это толкает к исследованию [Gold, 2007]. Влияет также доступная информация о разных вариантах: ситуация, когда выбор в рамках стратегии исследования несет только информацию (например, в парадигме «наблюдай или делай ставку»), отличается от ситуации, когда такой выбор несет информацию, но при этом сопряжен с рисками проигрыша (например, в парадигме многорукого бандита).

К индивидуальным факторам относятся когнитивные способности, текущее состояние организма, предыдущий опыт, психические характеристики; есть исследования, согласно которым склонность к исследованию снижается с возрастом [Mata, 2013], а также что девочки менее склонны к стратегии исследования, чем мальчики [Slovic, 1966]. Кроме того, на баланс стратегий исследования—использования влияет уровень нейромедиа­торов: у животных и у людей высокий уровень дофамина связан со сниженной исследовательской активностью, а низкий — с повышенной [Hills, 2006]. Индивиды с дефицитом навыков самоконтроля и планирования, нетерпимые к отсрочке награды (по результатам опросников) совершали меньше «исследовательских» выборов в задаче с многоруким бандитом [A primer on, 2017]. Дети, которые в младенческом возрасте воспитывались в социальных учреждениях, также продемонстрировали дефицит поискового поведения [Exploration–Exploitation strategy is, 2015]. Аналогичные тенденции описаны у испытуемых с никотиновой и алкогольной зависимостью [Smoking and the, 2013].

Социальные факторы, влияющие на баланс исследования-использования у человека, рассматриваются достаточно редко — вероятно, отчасти по причине сложности изучения в условиях лаборатории.

Среди социальных животных склонность к исследованию либо использованию часто определяется социальной ролью: например, у муравьев и птиц есть особи, специализирующиеся на исследовании и использовании [Cook, 2013]: первые ищут новые источники пищи, а вторые пользуются уже найденными.

Физиологические механизмы стратегий
исследования и использования

Нейроанатомия и теории, описывающие возможные механизмы исследования и использования

Одной из ключевых областей мозга, связанных с балансом исследования и использования, считается голубое пятно — основной источник норадреналина в головном мозге.

Эстон-Джонс с соавторами [Aston-Jones, 1997; Locus coeruleus neurons, 1994] в экспериментах на обезьянах показали, что у голубого пятна есть два режима работы: фазический и тонический. Первый характеризуется умеренным уровнем активности нейронов голубого пятна и мощным ответом на целевые стимулы; на поведенческом уровне этот режим проявляется как отсутствие пропусков и очень низкий процент ложных тревог. В тоническом режиме фоновая активность голубого пятна выше, но фазический ответ на целевой стимул снижается или подавляется полностью. При этом повышается доля ложных тревог и увеличивается время реакции на целевые стимулы.

Предполагают, что фазический режим работы голубого пятна соответствует использованию, а тонический — исследованию [The role of, 1999]. В фазическом режиме в голубом пятне происходит выделение норадреналина только в ответ на релевантные задаче события (например, предъявление целевого стимула), что способствует обработке этих событий. При таком режиме работы голубого пятна субъект не «отвлекается» на посторонние стимулы и эффективно использует привычную опцию, т. е. реализует стратегию использования. В тоническом режиме норадреналин высвобождается постоянно и поддерживает обработку всех событий, не только релевантных — это дает возможность субъекту переключаться с базовой опции и пробовать новые возможности, т. е. применять стратегию исследования.

В пользу этой модели говорят результаты двух работ, где использовали фМРТ: в одной показали, что активность голубого пятна выше при исследовании, чем при использовании [Understanding the exploration–exploitation, 2015], в другой обнаружили повышенную активность в области ствола головного мозга [Smoking and the, 2013] и предположили, что источником этой активности может быть голубое пятно [A primer on, 2017], однако нужно учитывать, что точность локализации активности стволовых структур может быть невысокой.

Возникает вопрос: что заставляет голубое пятно переключаться из одного режима в другой? Что служит сигналом для перехода от стратегии использования к стратегии исследования? Эстон-Джонс и Коэн [Aston-Jones, 2005] предположили, что сигналы к переключению поступают к голубому пятну из вентральных и медиальных фронтальных структур — в частности, передней поясной коры (anterior cingulate cortex, ACC), активность которой связана с обработкой ошибок, конфликтов, негативной обратной связи и т. д. [Botvinick, 2004].

При применении субъектом стратегии использования одна из альтернатив получает статус «выгодной», другая — «невыгодной». В этом случае принятие решения, по сути, уже не включает в себя рассмотрение альтернатив: происходит лишь выбор «выгодной» альтернативы. В отличие от стратегии использования, при переходе к стратегии исследования возникает конфликт между решениями: выбирать либо заведомо «выгодную» альтернативу, либо «невыгодную» в расчете на получение информации, потенциально полезной в будущем.

В рамках дальнейшего развития модели МакКлёр с соавторами [McClure, 2006] предположили, что сигналы о переключении приходят в голубое пятно из передней поясной коры (ACC) и орбитофронтальной коры (OFC) — двух основных входов голубого пятна. OFC оценивает результат выбора, величину полученной награды, и в зависимости от этих параметров регулирует работу голубого пятна.

Известно, что активность орбитофронтальной коры связана с вариабельностью ответов [Padoa-Schioppa, 2017]. Повреждение OFC приводит к ухудшению выполнения задач на переучивание («reversal learning task») [Learning theory: a, 2014], в которых требуется переключаться с усвоенного правила на новое; это также дает основания предполагать участие OFC в переходе от использования к исследованию. Передняя поясная кора активна при конфликте реакций. Авторы считают, что перед переходом к стратегии исследования конфликт между вариантами выбора, т. е. между реакциями, нарастает, и при продолжительном конфликте ACC отправляет голубому пятну сигнал о переключении на стратегию исследования.

Если ACC действительно отправляет сигналы о переходе к исследованию в голубое пятно, то не вполне ясно, как именно ее активность соотносится во времени с переключением голубого пятна из одного режима в другой. Возможно, активность этой области связана не с переключением (или не только с ним), а с поддержанием одного из режимов. Так, Бланчард и Гершман в фМРТ-исследовании в парадигме «наблюдай или делай ставку» показали, что активность передней поясной коры (а также островковой доли) выше во время режима исследования — именно во время, а не перед переключением [Blanchard, 2018].

Важная область, участвующая в регуляции баланса исследования—использования — фронтополярная кора (поле 10, FPC).

В фМРТ-исследовании с применением поведенческой методики «четырехрукий бандит» Доу с соавторами показали, что фронтополярная кора (FPC) и вну­тритеменная борозда (IPS) более активны при исследовании [Cortical substrates for, 2006], а стриатум и вентромедиальная пре­фронтальная кора (vmPFC) — при использовании.

Бочин с соавторами показали, что у макак при разрушении фронтополярной коры нарушаются быстрое научение с одного повтора и исследовательское поведение [Boschin, 2015]. Авторы предполагают, что FPC не просто связана с «исследовательскими» выборами, а отвечает за первоначальную оценку выгод разных новых альтернатив. Даже если о других альтернативах ничего не известно, FPC аккумулирует историю выборов: при получении обратной связи туда «записывается», насколько успешным было решение.

Авторы считают, что FPC накапливает свидетельства в пользу перехода к стратегии исследования, а затем отправляет сигнал о переключении другим областям коры.

Мансури с соавторами в подробном обзоре, посвященном функциям фронтополярной коры, тоже предполагают, что у людей она играет ключевую роль в осуществлении стратегии исследования, причем медиальная фронтополярная кора отвечает за случайное исследование, а латеральная — за целенаправленное [Managing competing goals, 2017]; а за использование отвечает задняя часть пре­фронтальной коры.

Лаурейро-Мартинез с соавторами [Linson, 2020] реплицировали эксперимент Доу на большей выборке, также используя фМРТ, и тоже обнаружили активацию медиальной пре­фронтальной коры во время использования, а IPS и FPC — во время исследования. Но помимо этого в случае использования обнаружили активацию гиппокампа, а в случае стратегии исследования — целого ряда зон, связанных с вниманием: в теменной области — височно­теменное соединение (temporo-parietal junction, TPJ), верхняя теменная долька (superior parietal lobule, SPL); во фронтальных областях — переднее глазодвигательное поле (FEF), среднефронтальная извилина (MFG), передняя поясная кора (dACC), часть дополнительной моторной области (pre-SMA). Кроме того, авторы наблюдали, что при исследовании сильнее активируется голубое пятно, что согласуется с теорией Эстон-Джонса и Коэна [Aston-Jones, 2005]. Помимо этого, в режиме исследования наблюдалась активация вентральной фронтоинсулярной коры (VFC). Авторы предположили, что стратегия использования связана с большей активацией областей мозга, входящих в систему подкрепления (в том числе гиппокампа), а стратегия исследования — с активацией областей, отвечающих за когнитивный контроль (в частности, фронто­полярной коры — FPC) [Miller, 2001]).

Это предположение логично, поскольку для переключения на исследование необходимо подавить пре- доминантную реакцию, привычную и более выгодную, которая соответствует стратегии использования. Контроль внимания отчасти обеспечивается активностью голубого пятна (LC) [Sara, 2009], а активность голубого пятна, в свою очередь, регулируется входами от дофаминэргических мезокортиколимбических областей.

Еще одна зона, потенциально участвующая в балансе исследования—использования — это ростролатеральная префронтальная кора, которая сильнее активируется при переходе от стратегии использования к стратегии исследования под влиянием неопределенности [Rostrolateral prefrontal cortex, 2012].

Таким образом, в регуляции баланса исследования и использования задействована сеть из многих областей, основные из которых — голубое пятно, передняя поясная кора, фронтополярная кора, орбитофронталь­ная кора, префронтальная кора.

Электрофизиологические методы изучения баланса исследования-использования

Из областей мозга, задействованных в балансе исследования—использования, наиболее проста и перспективна для изучения методами электрофизиологии передняя поясная кора. В изучении роли этой области можно опираться на данные анализа частотно-временной активности и потенциалов, связанных с событиями. Одним из подходов является изучение тета-осцилляций фронтальной средней линии: их главным источником является передняя поясная кора, и они имеют максимальную выраженность во фронтоцентральных отведениях ЭЭГ. Тета-осцилляции фронтальной средней линии считают отражением работы механизма детекции необходимости включения (или усиления) когнитивного контроля [Cavanagh, 2014]. Этот механизм может включаться в нескольких случаях: в условиях новизны или неопределенности, в условиях конфликта, после ошибок, «наказания» или «проигрыша». Все эти ситуации требуют адаптивных изменений поведения. Вариантов таких адаптивных изменений может быть несколько: можно «активировать когнитивные ресурсы», усилить когнитивный контроль (например, внимательнее выполнять задачу), оставшись на уже выбранной стратегии, а можно уйти от выбранной стратегии и попробовать новую, т. е. перейти в режим исследования.

Мощность тета-осцилляций фронтальной средней линии можно рассматривать как предиктор перехода к стратегии исследования: Чжан с соавторами показали, что мощность этого ритма увеличивается в интервале 250—500 мс после обратной связи и возрастает сильнее в реализациях, предшествующих смене выбираемого стимула [Linking brain electrical, 2014]. Каванах с соавторами также показали, что повышение мощности фронтальных тета-осцилляций предшествует переходу к стратегии исследования [Dopamine blockade impairs, 2019].

Помимо тета-осцилляций фронтальной средней линии, в качестве коррелятов активности передней поясной коры можно изучать ряд потенциалов, связанных с событиями, таких как N2, ERN и FRN — генератором всех этих компонентов считается передняя поясная кора [Gehring, 2002; Huang, 2014]. Компонент N2 — это негативная волна с латентностью 200—300 мс относительно момента предъявления стимула, которая имеет локализацию на фронтальной средней линии; N2 считают отражением конфликта между репрезентаци - ями — чем сильнее конфликт, тем больше амплитуда N2 [N200 in the, 2000; Psychophysiological evidence of, 2009].

Компонент ERN (англ. error-related negativity, негативность, связанная с ошибкой) — негативная волна, возникающая после совершения ошибки, с пиком в интервале 50—100 мс и с локализацией на фронтальной средней линии [A neural system, 1993]. Данный компонент является отражением внутренней детекции ошибки.

Компонент FRN (англ. feedback-related negativity, негативность в ответ на обратную связь, также известная как MFN, medial frontal negativity) — это негативная волна, возникающая в ответ на обратную связь с пиком около 250 мс с момента ее предъявления [Miltner, 1997]. FRN максимально выражена в отведениях фронтальной средней линии и отражает ошибку предсказания — расхождение предполагаемого исхода (например, ожидаемого знака обратной связи) с фактическим [Huang, 2014].

Другая группа методов изучения баланса исследования—использования фокусируется на нейромедиато­рах. В следующих разделах мы рассмотрим такие методы и результаты исследований в этом направлении.

Дофамин связан со стратегией использования

В современных теориях, описывающих механизмы научения и принятия решений, важнейшая роль отводится дофамину, но его функции намного шире — в частности, он участвует в регуляции баланса использования—исследования.

Выделяют два основных вида активности дофаминэргических нейронов: тоническая активность — т. е. фоновая, постоянная; фазическая активность — быстрая, в ответ на те или иные события. В соответствии с этими видами активности выделяют два пула дофамина — тонический, концентрация которого меняется медленно (за минуты), и фазический, который выделяется в результате фазической активности дофаминэргических нейронов; концентрация в нем меняется быстро (меньше чем за секунду) [Overriding phasic dopamine, 2014].

Одной из ключевых частей механизма научения считается ошибка предсказания награды (reward prediction error) — разница между ожидаемой и полученной наградой, которая на нейрофизиологическом уровне отражается в фазическом выделении дофамина в вентральной области покрышки (VTA).

Помимо участия в научении есть свидетельства в пользу связи дофамина с избеганием риска [Overriding phasic dopamine, 2014], а также его участия в регуляции баланса исследования и использования. Считается, что чем выше уровень тонического дофамина, тем больше склонность к стратегии использования, чем ниже — тем больше склонность к стратегии исследования. Так, при блокаде дофаминовых рецепторов D1 и D2, т. е. при снижении чувствительности к дофамину в префронтальной коре, у крыс повышается процент «исследовательских» выборов в задаче с трехруким бандитом [Dopamine blockade impairs, 2019], при том что скорость обучения не меняется. Однако, судя по всему, рецепторы D1 и D2 в этом смысле работают по-разному: у крыс предпочтение риска, что грубо можно приравнять к предпочтению исследования, при блокаде D1-рецепторов снижалось, а при блокаде D2-рецепторов повышалось [Onge, 2011].

У мышей с повышенной внеклеточной концентрацией «тонического» дофамина наблюдается снижение гибкости поведения; кроме того, они готовы выполнять большую, чем обычные мыши, работу за то же самое вознаграждение [A kinder, gentler, 2014]. Разницу в поведении, связанную с концентрацией внеклеточного дофамина, исследовали и на людях; правда, результаты про - тиворечивы. Так, Франк с соавторами показали, что обладатели менее активной формы COMT (фермента, разрушающего дофамин в синаптической щели и действующего в префронтальной коре), гомозиготы Met/Met, т. е. с повышенной концентрацией дофамина в префронтальной коре, при выполнении «задачи с часами» были более склонны к исследованию по сравнению с теми, у кого активность COMT была выше (Met/Val и Val/Val) [Frank, 2009]. В другом исследовании на людях этот результат не воспроизвели, зато обна - ружили, что введение ингибитора COMT, толкапона, приводит к повышению доли «исследовательских» выборов у гомозигот Met/Met, а у остальных геноти - пов не приводит [Dopamine, locus of, 2015]. То есть, видимо, и так низкая активность COMT у таких гомозигот подавляется настолько, что это проявляется на уровне поведения, а у других генотипов подавляется недостаточно сильно и на уровне поведения не проявляется.

Норадреналин: противоречивые данные

о роли в балансе исследования-использования

Норадреналин играет ключевую роль в модели Эстона—Джонса, согласно которой исследование и использование обеспечиваются двумя режимами работы голубого пятна.

Под действием норадреналина увеличивается диаметр зрачка, и при постоянном уровне освещения его размер можно использовать для непрямой оценки тонической активности голубого пятна [Jepma, 2011]: чем больше зрачок, тем выше активность. Джепма и Нивенхейс показали, что перед «исследовательскими» выборами в задаче с четырехруким бандитом диаметр зрачка у людей увеличен по сравнению с выборами, относящимися к использованию [Jepma, 2011]. Однако введение ребоксетина, селективного ингибитора обратного захвата норадреналина, который повышает концентрацию внеклеточного норадреналина, в такой же задаче не повлияло на баланс исследования—использования [The role of, 2010]. А Уоррен с соавторами получили, что, в противоположность их первоначальной гипотезе, при введении атомоксетина (блокатора транспортера норадреналина, который должен повышать внеклеточную концентрацию норадреналина в коре) склонность к исследованию у людей снижалась [The effect of, 2017], а не повышалась, как можно было бы предположить на основании модели Эстона—Джонса.

Ацетилхолин оказывает на баланс исследования-использования эффекты, сходные с дофамином

Роль этого нейромедиатора в балансе исследования— использования изучена хуже других, но некоторые данные позволяют предположить, что он тоже ювлечен в данные процессы. Так, никотиновые ацетилхолиновые рецепторы (nAChRs) в вентральной области покрышки (VTA) могут участвовать в осуществлении стратегии исс.ле.дования: в задаче с многоруким бандитом мыши, у которьк работа этого рецептора была нарушена, демонстрировали большую по сравнению с диким типом склонность к рискоыгн- ным выборам с высокой неопределенностью, что фактически эквивалентно склонности к исследованию.

Влияние ацетилхолина на принятие решений сходно с дофамином [Fobbs, 2014]; это может объясняться тем, что ацетилхолин воздействует на дофаминэргические нейроны VTA через никотиновые ацетилхолиновые рецепторы [Nicotinic receptors in, 2016].

Заключение

Мы обсудили вопрос о том, что представляет собой неопределенность, и рассмотрели способы принятия решения в условиях неопределенности.

Одним из таких способов является стратегия исследования — поиск и проверка новых возможностей. Противоположная стратегия — стратегия использования — становится оправданной, когда неопределенность снижается.

В реальной жизни эти стратегии сменяют друг друга, адаптивное поведение предполагает переключение с одной на другую.

На переключение влияет ряд факторов — индивидуальные, социальные, факторы среды.

Баланс этих двух стратегий — исследования и использования — является предметом активного изучения в различных областях наук, и к настоящему времени накоплен массивный объем данных о нейрофизиологии процессов, лежащих в основе этого баланса. Стратегиям исследования и использования соответствуют два режима работы голубого пятна — соответственно тонический и фазический.

Стратегия исследования сопряжена с повышенным фоновым уровнем норадреналина, а стратегия использования — с пониженным, однако выбросы норадреналина происходят локально в ответ на релевантные события (например, наиболее выгодные стимулы). Переход голубого пятна из фазического режима в тонический инициируется сигналами от передней поясной коры, фронтополярной коры, орбитофрон­тальной коры, которые, по всей видимости, оценивают разные аспекты ситуации и «приводят разные доводы» в пользу перехода от стратегии использования к стратегии исследования. Помимо норадренэргической системы, в регуляцию баланса исследования и использования вовлечены дофаминэргическая и ацетилхолинэргическая системы. Повышенный уровень дофамина, как и ацетилхолина, приводит к повышению склонности к использованию.

В целом, несмотря на значительный массив накопленных данных, в теме «баланс стратегий исследования и использования» остается еще много вопросов: в частности, не выяснена временная динамика активности вовлеченных в регуляцию баланса областей мозга.