Перейти к основному содержанию

Современная зарубежная психология
2020. Том 9. № 2. С. 93–106
doi:10.17759/jmfp.2020090208
ISSN: 2304-4977 (online)

Принятие решения в условиях неопределенности: стратегии исследования и использования

732

Сайфулина К.Э., Козунова Г.Л., Медведев В.А., Рытикова А.М., Чернышев Б.В.

PDF (RUS)
GS
Информация
в Google Scholar

Аннотация

Принятие человеком решений в условиях дефицита информации сопряжено с построением, проверкой и уточнением гипотез. В новой среде субъект сталкивается с высоким уровнем неопределенности, поэтому поведение должно быть вариабельным: это позволяет собирать информацию о закономерностях среды и находить наиболее выгодные опции. Такое поведение соответствует стратегии исследования. После формирования внутренней модели среды становится оправданной стратегия использования – т.е. применение выгодных опций, уже известных субъекту. В меняющейся или сложной среде оптимально применять обе стратегии попеременно. Баланс этих двух стратегий активно изучается в психологии, нейробиологии, нейроэкономике. В данном обзоре мы рассмотрим факторы, влияющие на баланс между стратегиями исследования и использования, механизмы принятия решения в условиях неопределенности, нейрофизиологические основы поддержания стратегий исследования/использования и переключения между ними, осветим роль основных задействованных в этих процессах областей мозга и нейромедиаторов.

Общая информация

Ключевые слова: неопределенность, принятие решения, стратегии исследования и использования, норадреналин, дофамин, ацетилхолин

Рубрика издания: Нейронауки

DOI: https://doi.org/10.17759/jmfp.2020090208

Финансирование. Исследование выполнено при финансовой поддержке Российского научного фонда (РНФ) в рамках научного проекта № 20-18-00252.

Благодарности. Авторы благодарят Т.А. Строганову за неоценимый вклад в инициацию и продвижение исследования нейрокогнитивных механизмов принятия решений на базе МЭГ-центра.

Для цитаты: Сайфулина К.Э., Козунова Г.Л., Медведев В.А., Рытикова А.М., Чернышев Б.В. Принятие решения в условиях неопределенности: стратегии исследования и использования [Электронный ресурс] // Современная зарубежная психология. 2020. Том 9. № 2. С. 93–106. DOI: 10.17759/jmfp.2020090208

Литература

  1. Канеман Д., Тверски А. Рациональный выбор, ценности и фреймы // Психологический журнал. 2003. Т. 24. № 4. С. 31–43.
  2. A kinder, gentler dopamine... highlighting dopamine's role in behavioral flexibility / J.A. Beeler [et al.] // Frontiers in neuroscience. 2014. Vol. 8. Article ID 4. 2 p. DOI:10.3389/fnins.2014.00004
  3. A neural system for error detection and compensation / W.J. Gehring [et al.] // Psychological science. 1993. Vol. 4. № 6. P. 385–390. DOI:10.1111/j.1467-9280.1993.tb00586.x
  4. A primer on foraging and the explore/exploit trade-off for psychiatry research / M.A. Addicott [et al.] // Neuropsychopharmacology. 2017. Vol. 42. P. 1931–1939. DOI:10.1038/npp.2017.108
  5. Aspers P. Forms of uncertainty reduction: decision, valuation, and contest // Theory and society. 2018. Vol. 47. P. 133–149. DOI:10.1007/s11186-018-9311-0
  6. Aston-Jones G., Cohen J.D. An integrative theory of locus coeruleus-norepinephrine function: adaptive gain and optimal performance // Annual Review of Neuroscience. 2005. Vol. 28. P. 403–450. DOI:10.1146/annurev.neuro.28.061604.135709
  7. Aston-Jones G., Rajkowski J., Kubiak P. Conditioned responses of monkey locus coeruleus neurons anticipate acquisition of discriminative behavior in a vigilance task // Neuroscience. 1997. Vol. 80. № 3. P. 697–715. DOI:10.1016/S0306-4522(97)00060-2
  8. Barack D.L., Gold J.I. Temporal trade-offs in psychophysics // Current opinion in neurobiology. 2016. Vol. 37. P. 121–125. DOI:10.1016/j.conb.2016.01.015
  9. Blanchard V.C., Gershman S.J. Pure correlates of exploration and exploitation in the human brain // Cognitive, Affective, & Behavioral Neuroscience. 2018. Vol. 18. № 1. P. 117–126. DOI:10.3758/s13415-017-0556-2
  10. Boschin E.A., Piekema C., Buckley M.J. Essential functions of primate frontopolar cortex in cognition // Proceedings of the National Academy of Sciences. 2015. Vol. 112. № 9. P. E1020–E1027. DOI:10.1073/pnas.1419649112
  11. Botvinick M.M., Cohen J.D., Carter C.S. Conflict monitoring and anterior cingulate cortex: an update // Trends in cognitive sciences. 2004. Vol. 8. № 12. P. 539–546. DOI:10.1016/j.tics.2004.10.003
  12. Cavanagh J.F., Frank M.J. Frontal theta as a mechanism for cognitive control // Trends in cognitive sciences. 2014. Vol. 18. № 8. P. 414–421. DOI:10.1016/j.tics.2014.04.012
  13. Conant R.C., Ross Ashby W. Every good regulator of a system must be a model of that system // International journal of systems science. 1970. Vol. 1. № 2. P. 89–97. DOI:10.1080/00207727008920220
  14. Cook Z., Franks D.W., Robinson E.J.H. Exploration versus exploitation in polydomous ant colonies // Journal of theoretical biology. 2013. Vol. 323. P. 49–56. DOI:10.1016/j.jtbi.2013.01.022
  15. Cortical substrates for exploratory decisions in humans / N.D. Daw [et al.] // Nature. 2006. Vol. 441. P. 876–879. DOI:10.1038/nature04766
  16. Denison S., Xu F. Infant statisticians: The origins of reasoning under uncertainty // Perspectives on Psychological Science. 2019. Vol. 14. № 4. P. 499–509. DOI:10.1177/1745691619847201
  17. Dopamine blockade impairs the exploration-exploitation trade-off in rats / F. Cinotti [et al.] // Scientific reports. 2019. Vol. 9. № 1. P. 1–14. DOI:10.1038/s41598-019-43245-z
  18. Dopamine, locus of control, and the exploration-exploitation tradeoff / A.S. Kayser [et al.] // Neuropsychopharmacology. 2015. Vol. 40. № 2. P. 454–462. DOI:10.1038/npp.2014.193
  19. Exploration–Exploitation strategy is dependent on early experience / K.L. Humphreys [et al.] // Developmental Psychobiology. 2015. Vol. 57. № 3. P. 313–321. DOI:10.1002/dev.21293
  20. Fobbs W.C., Mizumori S.J.Y. Cost–Benefit Decision Circuitry: Proposed Modulatory Role for Acetylcholine // Progress in molecular biology and translational science. 2014. Vol. 122. P. 233–261. DOI:10.1016/B978-0-12-420170-5.00009-X
  21. Frank M.J., Hutchison K. Genetic contributions to avoidance-based decisions: striatal D2 receptor polymorphisms // Neuroscience. 2009. Vol. 164. № 1. P. 131–140. DOI:10.1016/j.neuroscience.2009.04.048
  22. Gehring W.J., Willoughby A.R. The medial frontal cortex and the rapid processing of monetary gains and losses // Science. 2002. Vol. 295. № 5563. P. 2279–2282. DOI:10.1126/science.1066893
  23. Gold J.I., Shadlen M.N. The neural basis of decision making // Annual review of neuroscience. 2007. Vol. 30. P. 535–574. DOI:10.1146/annurev.neuro.29.051605.113038
  24. Hills V.V. Animal foraging and the evolution of goal‐directed cognition // Cognitive science. 2006. Vol. 30. № 1. P. 3–41. DOI:10.1207/s15516709cog0000_50
  25. Huang Y., Yu R. The feedback-related negativity reflects «more or less» prediction error in appetitive and aversive conditions // Frontiers in neuroscience. 2014. Vol. 8. Article ID 108. 6 p. DOI:10.3389/fnins.2014.00108
  26. Jepma M., Nieuwenhuis S. Pupil diameter predicts changes in the exploration–exploitation trade-off: Evidence for the adaptive gain theory // Journal of cognitive neuroscience. 2011. Vol. 23. № 7. P. 1587–1596. DOI:10.1162/jocn.2010.21548
  27. Kahneman D., Tversky A. Variants of uncertainty // Cognition. 1982. Vol. 11. № 2. P. 143–157. DOI:10.1016/0010-0277(82)90023-3
  28. Killeen P.R. Pavlov + Skinner = Premack [Электронный ресурс] // International Journal of Comparative Psychology. 2014. Vol. 27. № 4. P. 544–568. URL: https://www.researchgate.net/profile/Peter_Killeen2/publication/269873794_Pavlov_Skinner_Premack/links/549861d30cf2c5a7e342bdca.pdf (дата обращения: 05.06.2020).
  29. Learning theory: a driving force in understanding orbitofrontal function / M.A. McDannald [et al.] // Neurobiology of learning and memory. 2014. Vol. 108. P. 22–27. DOI:10.1016/j.nlm.2013.06.003
  30. Linking brain electrical signals elicited by current outcomes with future risk decision-making / D. Zhang [et al.] // Frontiers in behavioral neuroscience. 2014. Vol. 8. Article ID 34. 15 p. DOI:10.3389/fnbeh.2014.00084
  31. Linson A., Parr V., Friston K.J. Active inference, stressors, and psychological trauma: A neuroethological model of (mal) adaptive explore-exploit dynamics in ecological context // Behavioural Brain Research. 2020. Vol. 380. P. 112–421. DOI:10.1016/j.bbr.2019.112421
  32. Locus coeruleus neurons in monkey are selectively activated by attended cues in a vigilance task / G. Aston-Jones [et al.] // Journal of Neuroscience. 1994. Vol. 14. № 7. P. 4467–4480. DOI:10.1523/JNEUROSCI.14-07-04467.1994
  33. Managing competing goals – a key role for the frontopolar cortex / F.A. Mansouri [et al.] // Nature Reviews Neuroscience. 2017. Vol. 18. № 11. P. 645–657. DOI:10.1038/nrn.2017.111
  34. Mata R., Wilke A., Czienskowski U. Foraging across the life span: is there a reduction in exploration with aging? // Frontiers in neuroscience. 2013. Vol. 7. Article ID 53. 7 p. DOI:10.3389/fnins.2013.00053
  35. McClure S.M., Gilzenrat M.S., Cohen J.D. An exploration-exploitation model based on norepinephrine and dopamine activity [Электронный ресурс] // Advances in neural information processing systems: proceedings from the conference "Neural Information Processing Systems 2005" / Eds. Y. Weiss, B. Schölkopf, J.C. Platt. Neural Information Processing Systems Foundation, 2006. P. 867–874. URL: https://papers.nips.cc/paper/2950-an-exploration-exploitation-model-based-on-norepinepherine-and-dopamine-activity.pdf (дата обращения: 05.06.2020).
  36. Miller E.K., Cohen J.D. An integrative theory of prefrontal cortex function // Annual review of neuroscience. 2001. Vol. 24. P. 167–202. DOI:10.1146/annurev.neuro.24.1.167
  37. Miltner W.H.R., Braun C.H., Coles M.G.H. Event-related brain potentials following incorrect feedback in a time-estimation task: evidence for a “generic” neural system for error detection // Journal of cognitive neuroscience. 1997. Vol. 9. № 6. P. 788–798. DOI:10.1162/jocn.1997.9.6.788
  38. N200 in the Eriksen-task: Inhibitory executive process? / M. Heil [et al.] // Journal of Psychophysiology. 2000. Vol. 14. № 4. P. 218–225. DOI:10.1027//0269-8803.14.4.218
  39. Neurons in posterior cingulate cortex signal exploratory decisions in a dynamic multioption choice task / J.M. Pearson [et al.] // Current biology. 2009. Vol. 19. № 18. P. 1532–1537. DOI:10.1016/j.cub.2009.07.048
  40. Nicotinic receptors in the ventral tegmental area promote uncertainty-seeking / J. Naudé [et al.] // Nature neuroscience. 2016. Vol. 19. № 3. P. 471–478. DOI:10.1038/nn.4223
  41. Onge J.R.S., Abhari H., Floresco S.B. Dissociable contributions by prefrontal D1 and D2 receptors to risk-based decision making // Journal of Neuroscience. 2011. Vol. 31. № 23. P. 8625–8633. DOI:10.1523/JNEUROSCI.1020-11.2011
  42. Overriding phasic dopamine signals redirects action selection during risk/reward decision making / C.M. Stopper [et al.] // Neuron. 2014. Vol. 84. № 1. P. 177–189. DOI:10.1016/j.neuron.2014.08.033
  43. Padoa-Schioppa C., Conen K.E. Orbitofrontal cortex: a neural circuit for economic decisions // Neuron. 2017. Vol. 96. № 4. P. 736–754. DOI:10.1016/j.neuron.2017.09.031
  44. Parr V., Friston K.J. Uncertainty, epistemics and active inference // Journal of The Royal Society Interface. 2017. Vol. 14. № 136. 10 p. DOI:10.1098/rsif.2017.0376
  45. Psychological models of human and optimal performance in bandit problems / M.D. Lee [et al.] // Cognitive Systems Research. 2011. Vol. 12. № 2. P. 164–174. DOI:10.1016/j.cogsys.2010.07.007
  46. Psychophysiological evidence of response conflict and strategic control of responses in affective priming / B.D. Bartholow [et al.] // Journal of Experimental Social Psychology. 2009. Vol. 45. № 4. P. 655–666. DOI:10.1016/j.jesp.2009.02.015
  47. Rakow V., Newell B.R., Zougkou K. The role of working memory in information acquisition and decision making: Lessons from the binary prediction task // The Quarterly Journal of Experimental Psychology. 2010. Vol. 63. № 7. P. 1335–1360. DOI:10.1080/17470210903357945
  48. Recognizing sequences of sequences / S.J. Kiebel [et al.] // PLoS computational biology. 2009. Vol. 5. № 8. 14 p. DOI:10.1371/journal.pcbi.1000464
  49. Risk-taking behavior in adolescent mice: psychobiological determinants and early epigenetic influence / G. Laviola [et al.] // Neuroscience & Biobehavioral Reviews. 2003. Vol. 27. № 1–2. P. 19–31. DOI:10.1016/S0149-7634(03)00006-X
  50. Rostrolateral prefrontal cortex and individual differences in uncertainty-driven exploration / D. Badre [et al.] // Neuron. 2012. Vol. 73. № 3. P. 595–607. DOI:10.1016/j.neuron.2011.12.025
  51. Sara S.J. The locus coeruleus and noradrenergic modulation of cognition // Nature reviews neuroscience. 2009. Vol. 10. № 3. P. 211–223. DOI:10.1038/nrn2573
  52. Slovic P. Risk-taking in children: Age and sex differences // Child Developmen. 1966. Vol. 37. № 1. P. 169–176. DOI:10.2307/1126437
  53. Smith A.P., Beckmann J.S., Zentall V.R. Gambling-like behavior in pigeons:‘jackpot’signals promote maladaptive risky choice // Scientific reports. 2017. Vol. 7. № 1. P. 1–11. DOI:10.1038/s41598-017-06641-x
  54. Smoking and the bandit: A preliminary study of smoker and nonsmoker differences in exploratory behavior measured with a multiarmed bandit task / M.A. Addicott [et al.] // Experimental and clinical psychopharmacology. 2013. Vol. 21. № 1. P. 66–73. DOI:10.1037/a0030843
  55. Steyvers M., Lee M.D., Wagenmakers E.J. A Bayesian analysis of human decision-making on bandit problems // Journal of Mathematical Psychology. 2009. Vol. 53. № 3. P. 168–179. DOI:10.1016/j.jmp.2008.11.002
  56. The effect of atomoxetine on random and directed exploration in humans / C.M. Warren [et al.] // PloS one. 2017. Vol. 12. № 4. 17 p. DOI:10.1371/journal.pone.0176034
  57. The role of locus coeruleus in the regulation of cognitive performance / M. Usher [et al.] // Science. 1999. Vol. 283. № 5401. P. 549–554. DOI:10.1126/science.283.5401.549
  58. The role of the noradrenergic system in the exploration-exploitation trade-off: a pharmacological study / M. Jepma [et al.] // Frontiers in human neuroscience. 2010. Vol. 4. Article ID 170. 13 p. DOI:10.3389/fnhum.2010.00170
  59. Understanding the exploration–exploitation dilemma: An fMRI study of attention control and decision‐making performance / D. Laureiro‐Martínez [et al.] // Strategic Management Journal. 2015. Vol. 36. № 3. P. 319–338. DOI:10.1002/smj.2221
  60. Unpacking the exploration–exploitation tradeoff: A synthesis of human and animal literatures / K. Mehlhorn [et al.] // Decision. 2015. Vol. 2. № 3. P. 191–215. DOI:10.1037/dec0000033
  61. Verdolin J.L. Meta-analysis of foraging and predation risk trade-offs in terrestrial systems // Behavioral Ecology and Sociobiology. 2006. Vol. 60. № 4. P. 457–464. DOI:10.1007/s00265-006-0172-6
  62. Yuki S., Okanoya K. Rats show adaptive choice in a metacognitive task with high uncertainty // Journal of Experimental Psychology: Animal Learning and Cognition. 2017. Vol. 43. № 1. P. 109–118. DOI:10.1037/xan0000130
  63. Zentall V.R. An animal model of human gambling based on pigeon suboptimal choice [Электронный ресурс] // Research & Reviews: Neuroscience. 2017. Vol. 1. № 2. P. 27–37. URL: https://pdfs.semanticscholar.org/f4ba/8ebce42ca058e780c9afb1322b7440bc8649.pdf (дата обращения: 05.06.2020).
  64. Zentall V.R. Suboptimal choice by pigeons: An analog of human gambling behavior // Behavioural processes. 2014. Vol. 103. P. 156–164. DOI:10.1016/j.beproc.2013.11.004

Информация об авторах

Сайфулина Ксения Эльдусовна, младший научный сотрудник, Центр нейрокогнитивных исследований (МЭГ-центр), Московский государственный психолого-педагогический университет (ФГБОУ ВО МГППУ), Москва, Россия, ORCID: https://orcid.org/0000-0002-2017-0811, e-mail: kseniasayfulina@gmail.com

Козунова Галина Леонидовна, кандидат психологических наук, старший научный сотрудник, Центр Нейрокогнитивных исследований (МЭГ-центр), Московский государственный психолого-педагогический университет (ФГБОУ ВО МГППУ), Москва, Россия, ORCID: https://orcid.org/0000-0002-1286-8654, e-mail: kozunovagl@mgppu.ru

Медведев Владимир Александрович, младший научный сотрудник, Центр нейрокогнитивных исследований (МЭГ-центр), Московский государственный психолого-педагогический университет (ФГБОУ ВО МГППУ), Москва, Россия, ORCID: https://orcid.org/0000-0002-3252-8809, e-mail: ixdon@yandex.ru

Рытикова Анна Менашевна, кандидат технических наук, младший научный сотрудник, Центр нейрокогнитивных исследований (МЭГ-центр), Московский государственный психолого-педагогический университет (ФГБОУ ВО МГППУ), Москва, Россия, ORCID: https://orcid.org/0000-0003-0153-9457, e-mail: ann.zelener@mail.ru

Чернышев Борис Владимирович, кандидат биологических наук, руководитель Центрa нейрокогнитивных исследований (МЭГ-центр), Московский государственный психолого-педагогический университет (ФГБОУ ВО МГППУ), Национальный исследовательский университет «Высшая школа экономики» (ФГАОУ ВО «НИУ ВШЭ»); доцент кафедры высшей нервной деятельности, Московский государственный университет имени М.В. Ломоносова (ФГБОУ ВО «Московский государственный университет имени М.В. Ломоносова»), Москва, Россия, ORCID: https://orcid.org/0000-0002-8267-3916, e-mail: b_chernysh@mail.ru

Метрики

Просмотров

Всего: 1007
В прошлом месяце: 20
В текущем месяце: 2

Скачиваний

Всего: 732
В прошлом месяце: 5
В текущем месяце: 0