Особенности взаимодействия рефлекторного агента со средой: модельное исследование ¹⁰⁵⁰

Данная работа посвящена эмпирической оценке различий между категорией методик предъявления стимулов и категорией методик погружения в среду. Экспериментальное исследование проведено на компьютерной модели рефлекторного агента. Показано, что категория методик погружения в среду позволяет исследовать более широкий класс феноменов, по сравнению с методиками предъявления стимулов, например: проследить зависимость наличной ситуации от предшествующей ситуации, предшествующего действия, опыта испытуемого; оценить способность испытуемого путем взаимодействия со средой реструктурировать ее и влиять на сложность задач. Однако полученные данные не исключают возможности применения методик предъявления стимулов для исследования таких форм взаимодействия испытуемого со средой, в которых он не способен влиять на ситуацию.

Ключевые слова: методика, среда, экспериментальные исследования, предъявление, стимул, погружение, взаимодействие, подкрепление, обучение, модель, исследование

Рубрика: Психофизиология

... Принципиально, что при этом испытуемый на каждом шагу оказывается в ситуации, формируемой экспериментатором, и не может самостоятельно выбрать ее или создать. При планировании эксперимента и трактовке результатов в этой парадигме основным объяснительным принципом является наличие внешней причины, находящейся в прошлом (Кругликов, 1982). Лексически такой тип атрибуции часто выражается связкой «потому что».

Парадигма реактивности является основой объектного подхода в психофизике, в котором специфика методики предъявления стимулов заключается в предъявлении стимулов в случайном порядке (Гусев, 2004) при использовании ограниченной одномерной, однозначной сенсорной задачи, с которой работает хорошо тренированный испытуемый (Гусев, 2004), и типичной относительно стационарной среды типовой ситуации (Асмолов, 1985). В нейронауке методика предъявления стимулов часто сочетается с использованием обездвиженных животных. Так, методика классического обусловливания, разработанная И. П. Павловым и позволяющая формировать у испытуемого классический условный рефлекс, принадлежит категории методик предъявления стимулов.

Проведенный анализ исторического развития парадигмы реактивности позволил нам выделить «жесткое ядро» – термин И. Лакатоса (Лакатос, 1995), соответствующей «исследовательской программы» (Александров, Крылов, 2005), и мы считаем, что его выражают представленные Декартом аналогии между живыми организмами и механическими объектами. Декарт говорил об отраженном действии как о законе мироздания, проявляющемся и в механизмах, и в живых существах. В концепции отраженного действия ведущей причиной поведения им было постулировано влияние внешней среды, а само действие рассматривалось как объективное отражение компонентов внешней среды, действующих на организм. Декарт выдвинул также положение о постоянстве отраженного действия в ответ на приложение определенных стимулов, которое мы можем трактовать как утверждение однозначности детерминации поведения внешней средой и отрицание каких-либо прочих детерминант (см. в (Судаков, 1997)). В качестве примера в те времена проводили аналогию между живым организмом и механическими часами. В дальнейшем на основе этих общефилософских материалистических представлений была развита теория рефлекса  (Павлов И. П., 1949). В ней аналогичные представления были выражены постулатом о детерминации внешним стимулом последующего поведения (называемого реакцией).

Таким образом, суть концепции реагирования, с нашей точки зрения, можно определить следующим образом: индивид в своем действии и состоянии объективно отражает предшествующий внешний сигнал (Александров, Крылов, 2005). Согласно такому определению, рефлексом f является отражение сенсорной ситуации в действии: выход(t+τ) = =f(вход(t)), τ > 0. Применение концепции «рефлекс» к какому-либо явлению означает, что его причины ищутся в прошлом и вовне данного явления, т. е. что оно порождается, вызывается другим внешним явлением, имевшим место в прошлом. Невнимание к этой сущности «рефлекса» порождает нечеткость терминологии и эклектику (см. в (Александров, 1999)). Несмотря на все попытки модификации рефлекторной теории (см. (Кругликов, 1982; Батуев, 1991; Судаков, 1997)), ее существо остается неизменным (Меницкий, 1975; Швырков, 1978; Анохин, 1980; Кругликов, 1982; Судаков, 1997; Александров, 1999; Василюк, 2003; Александров, Крылов, 2005).

Редукционизм, присущий парадигме реактивности, отрицает необходимость учета всей комплексной схемы детерминант, движущих субъектом, разрешая исследователю рассматривать детерминанты по отдельности. Поэтому, опираясь на модификации исходного варианта теории рефлекса, исследователь, работающий в рамках этой теории, имеет право апеллировать к опыту, состоянию индивида, а также к его потребностям и пр. Право, но не обязанность брать их всегда в рассмотрение. Учитывать ли состояние и/или опыт, и/или потребности индивида, решает сам исследователь, сообразуясь с тем, достаточен ли для него в данном случае классический вариант теории. Такая «гибкость» говорит о нечеткости теории рефлекса, во всяком случае, применительно к упомянутым переменным.

С целью выявления стратегий, применяемых агентом (человеком, животным, моделью) для решения различного рода задач, исследователи используют тестовые задачи разного уровня сложности. С позиций редукционизма предполагается, что сложная стратегия – комбинация простых. Поэтому считается правомерным использование упрощенных тестовых задач. Однако тестируемый агент может пользоваться гораздо более сложной, чем

кажется экспериментатору, стратегией, которая в простых задачах не отличима наблюдателем от простой. Неправомерно распространять гипотезу об используемой агентом стратегии решения задачи с редуцированным набором факторов на случай задачи с полным набором факторов. Поэтому наиболее адекватными для исследования стратегий агента представляются именно задачи, для успешного решения которых испытуемый должен проявить полный набор детерминант своего поведения. Л. С. Выготский подчеркивал ограниченность рефлекторного подхода, поскольку такой подход не учитывает способности живого организма влиять на среду: «... вы упускаете из виду за игрой стимулов – реакций то, что реально произошло: активное вмешательство человека в ситуацию, его активную роль, его поведение, состоявшее во введении новых стимулов4... Разлагая операцию на части, вы потеряли самую главную часть ее...» (Выготский, 1996, с. 300). ...

1. Александров И. О. Формирование структуры индивидуального знания. М.: ИП РАН, 2006.
2. Александров Ю. И. Теория функциональных систем и системная психофизиология // Системные аспекты психической деятельности / Под ред. К. В. Судакова. М.: Эдиториал УРСС, 1999. С. 96–152.
3. Александров Ю. И. Введение в системную психофизиологию // Психология XXI века. Под. ред. В. Н. Дружинина. М.: Пер Се, 2004. С. 39–85.
4. Александров Ю. И., Греченко Т. Н., Гаврилов В. В., Горкин А. Г., Шевченко Д. Г., Гринченко Ю. В., Александров И. О., Максимова Н. Е., Безденежных Б. Н., Бодунов М. В. Закономерности формирования и реализации индивидуального опыта // Журнал высш. нервн. деят. 1997. Т. 47. № 2. С. 243–260.
5. Александров Ю. И., Крылов А. К. Системная методология в психофизиологии: от нейронов до сознания // Идея системности в современной психологии / Под ред. В. А. Барабанщикова. М.: ИП РАН, 2005. C. 119–157.
6. Александров Ю. И., Созинов А. А., Аверкин А. Г., Лаукка С. Феномен проактивной интерференции: связь с эмоциями и возможные мозговые основы // Труды научного совета по экспериментальной и прикладной физиологии. Т. 14. Морфофункциональные основы системной деятельности. М., 2007. C. 150–166.
7. Алексеев П В., Панин А. В. Философия. М.: Проспект, 1996.
8. Анохин П. К. Философские аспекты теории функциональной системы. М.: Наука, 1978.
9. Анохин П. К. Из тетрадей П. К. Анохина // Психологический журнал. 1980. Т. 1. № 4. С. 185–188.
10. Асмолов А. Г. Основные принципы психологической теории деятельности // А. Н. Леонтьев и современная психология / Под ред. А. В. Запорожца. М.: Изд-во Моск. ун-та, 1983.
11. Асмолов А. Г. Принципы организации памяти человека. М.: Изд-во Моск. ун-та, 1985.
12. Барабанщиков В. А. Восприятие и событие. СПб.: Алетейя, 2002.
13. Батуев А. С. Высшая нервная деятельность. М.: Высшая школа, 1991.
14. Безденежных Б. Н. Динамика взаимодействия функциональных систем в структуре деятельности. М.: Изд-во «Институт психологии РАН», 2004.
15. Бернштейн Н. А. Очерки по физиологии движений и физиологии активности. М.: Медицина, 1966.
16. Бернштейн Н. А. Физиология движений и активность. М.: Наука, 1990.
17. Брушлинский А. В. Мышление и прогнозирование. М.: Мысль, 1979.
18. Василюк Ф. Е. Методологический анализ в психологии. М.: МГППУ; Смысл, 2003.
19. Выготский Л. С. Психология развития как феномен культуры. М.: Издательство «Институт практической псхологии»; Воронеж: НПО «Модэк», 1996.
20. Горкин А. Г., Шевченко Д. Г. Отражение истории обучения в активности нейронов лимбической коры кроликов // Журн. высш. нервн. деят. 1993. Т. 43. № 1. С. 172–175.
21. Гусев А. Н. Психофизика сенсорных задач: Системно-деятельностный анализ поведения человека в ситуации неопределенности. М.: Изд-во Моск. ун-та: УМК «Психология», 2004.
22. Журавлев А. Л. Особенности междисциплинарных исследований в психологической науке // Материалы конференции «Психология: Современные направления междисциплинарных исследований». М.: Изд-во «Институт психологии РАН», 2003. С. 7–20.
23. Корнилова Т. В., Смирнов С. Д. Методологические основы психологии. СПб.: Питер, 2007.
24. Кругликов Р. И. Детерминизм, активность, рефлекс // Методологические проблемы физиологии высшей нервной деятельности. М.: Наука, 1982. С. 47–85.
25. Крылов А. К. Оценка применимости рефлекторной модели нейронной сети к поведенческой задаче // Труды VI Всероссийской научно-технической конференции «Нейроинформатика-2004». М.: МИФИ, 2004.
26. Крылов А. К. Тестовая поведенческая задача минимально необходимой сложности: скрытая динамика // Труды международной научно-технической конференции «Интеллектуальные системы» (AIS’05). М.: Физматлит, 2005а. Т. 1. С. 237–244.
27. Крылов А. К. Неопределенность результата действия в парадигме Reinforcement Learning // Труды III международного научно-практического семинара «Интегрированные модели и мягкие вычисления в искусственном интеллекте». М.: Физматлит, 2005б. С. 238–243.
28. Крылов А. К. Предъявление стимулов или погружение в среду: модельное исследование парадигм в психофизиологии // Материалы итоговой научной конференции ИП РАН (1–2 февраля 2006 г.). М.: Изд-во «Институт психологии РАН», 2006. С. 111–120.
29. Крылов В. Ю. Методологические и теоретические проблемы математической психологии. М.: Янус-К, 2000.
30. Кун Т. Структура научных революций. М.: Прогресс, 1975.
31. Лакатос И. Фальсификация и методология научно-исследовательских программ. М.: Медиум, 1995.
32. Леонтьев А. Н. Деятельность. Сознание. Личность. М.: Политиздат, 1975.
33. Ломов Б. Ф. Системность в психологии. М.-Воронеж, 1996.
34. Ломов Б. Ф., Николаев В. И., Рубахин В. Ф. Некоторые вопросы применения математики в психологии // Психология и математика. М.: Наука, 1976.
35. Лурия А. Р. О месте психологии в ряду социальных и биологических наук // Вопросы философии. 1977. № 9. С. 68–76.
36. Меницкий Д. Н. Некоторые методологические вопросы условно-рефлекторной теории // Методологические вопросы теоретической медицины. Л., 1975. С. 70–86.
37. Найссер У. Познание и реальность. М.: Прогресс, 1981.
38. Павлов И. П. Избранные произведения. М.: Изд. АНСССР, 1949.
39. Петренко В. Ф. Школа А.Н.Леонтьева в семантическом пространстве психологической мысли. Традиции и перспективы деятельностного подхода в психологии: школа А. Н. Леонтьева. М.: Смысл, 1999. С. 11–37.
40. Петровский А. В., Ярошевский М. Г. Основы теоретической психологии. М.: Инфра-М, 1998.
41. Пономарев Я. А. Психология творения. М.: Московский психолого-социальный институт; Воронеж: НПО «МОДЭК», 1999.
42. Салтыков А. Б., Толокнов А. В., Хитров Н. К. Поведение и неопределенность среды. М.: Медицина, 1996.
43. Скотникова И. Г. Современное состояние субъектной психофизики // Материалы конференции «Психология: Современные направления междисциплинарных исследований». М.: Изд-во «Институт психологии РАН», 2003. С. 433–442.
44. Созинов А. А., Лаукка С., Аверкин Р. Г., Александров Ю. И. Условия и мозговое обеспечение интерференции при формировании системной структуры индивидуального опыта // Тенденции развития современной психологической науки // Отв. ред. А. Л. Журавлев, В. А. Кольцова. М.: «Институт психологии РАН», 2007. Ч. 2. С. 343–346.
45. Соколов Е. Н., Вайткявичюс Г. Г. Нейроинтеллект: от нейрона к нейрокомпьютеру. М.: Наука, 1989.
46. Судаков К. В. Рефлекс и функциональная система. Новгород: НовГУ, 1997.
47. Швырков В. Б. Нейрофизиологическое изучение системных механизмов поведения. М.: Наука, 1978.
48. Швырков В. Б. Введение в объективную психологию: Нейрональные основы психики / Под ред. Ю. И. Александрова. М.: Институт психологии РАН, 1995.
49. Шингаров Г. Х. Теория и метод познания И. П. Павлова // Методологические проблемы физиологии высшей нервной деятельности // Отв. ред. Р. И. Кругликов. М.: Наука, 1982.
50. Шеррингтон Ч. Интегративная деятельность нервной системы. Л.: Наука, 1969.
51. Юревич А. В. Методологический либерализм в психологии // Вопросы психологии. 2001. № 5. С. 3–18.
52. Baldassarre G. Needs and motivations as mechanisms of learning and control of behaviour: Interference problems with multiple tasks // Cybernetics and Systems 2000 – Proceedings of the Fifteenth European Meeting on Cybernetics and Systems Research / Ed. R. Trappl. Vienna, 2000. P. 677–682.
53. Baldassarre G. Cultural evolution of “guiding criteria” and behavior in a population of neural-networks agents // Journ. of memetics – Evolutionary models of Information Transmission. 2001. V. 4. Online journal.
54. Baldassarre G. A modular neural-network model of the basal ganglia’s role in learning and selecting motor behaviours // Journ. of Cognitive Systems Research. 2002. V. 3. P. 5–13.
55. Beer R. D. Framing the debate between computational and dynamical approaches to cognitive science (commentary on The dynamical hypothesis in cognitive science by Tim van Gelder) // Behavioral and Brain Sciences. 1998. V. 21(5). P. 630.
56. Beer R. D. Dynamical approaches to cognitive science // Trends in Cognitive Sciences. 2000. V. 4(3). P. 91–99.
57. Brembs B., Heisenberg M. The Operant and the Classical in Conditioned Orientation of Drosophila melanogaster at the Flight Simulator // Learning&Memory. 2000. V. 7. № 2. P. 104–115.
58. Brooks R. A. Intelligence without representation // Artificial Intelligence. 1991а. V. 47. P. 139–159.
59. Brooks R. A. New approaches to robotics // Science. 1991б. V. 253. P. 1227–1232.
60. Colombetti M., Dorigo M. Training agents to perform sequential behavior. Adaptive behavior. MIT Press, 1994. 2(3). P. 247–275.
61. Houk C. J., Davis L. J., Beiser G. D. (eds.). Models of Information Processing in the Basal Ganglia. Cambridge, Mass.: The MIT Press, 1995.
62. Krylov A. K. The smartest agent is not optimal in a motivationally driven actor/critic model //Proceedings of the International Scientific Conferences Intelligent Systems (IEEE AIS’04) and Intelligent CAD’s (CADJ2004), 2004. P. 21–26.
63. Lombrozo T., Carey S. Functional explanation and the function of explanation // Cognition. 2005. Jun 4. P. 1–38.
64. Mirus C. V. Aristotle’s teleology and modern mechanics. Ph.D. thesis, 2004.
65. Nolfi S., Parisi D. SelfJselection of input stimuli for improving performance // Neural Networks and Robotics / Ed. G. A. Bekey. Kluwer Academic Publisher, 1993. P. 403–441.
66. Redgrave P., Prescott T. J. and Gurney K. The basal ganglia: a vertebrate solution to the selection problem? // Neuroscience. 1999. V. 89. P. 1009–1023.
67. Seth A. K. Evolving action selection and selective attention without actions, attention, or selection // Proceedings of the Fifth International Conference on the Simulation of Adaptive Behaviour. Cambridge, MA. MIT Press, 1998. P. 139–147.
68. Sutton R., Barto A. Reinforcement Learning: An introduction. MIT Press, 1998.
69. Velichkovsky B. M. Heterarchy of cognition: The depths and the highs of a framework for memory research // Memory. 2002. V. 10 (5/6). P. 405–419.