Проверка валидности и надежности русскоязычной версии методики «Шкала ориентации на социальные сравнения Iowa-Netherlands» в выборке студентов

4857

Аннотация

Социальные сравнения являются важнейшим аспектом социального познания, источником информации о собственной личности. В настоящее время отмечается интенсификация исследований этого феномена как в социальной, так и клинической психологии. Исследования социальных психологов показали, что склонность к частым социальным сравнениям является важной личностной характеристикой. Для ее надежного тестирования был разработан инструмент «Шкала ориентации на социальные сравнения Iowa- Nietherlands (INCOM)», включающий 11 пунктов. Шкала была апробирована в США, Нидерландах и Германии. К настоящему моменту не были проведе- ны исследования по апробации и валидизации этой методики в российской популяции. С целью восполнения этого пробела данная задача была включения в проект по изучению социального познания (грант РНФ № 14-18- 03461). Данная статья излагает результаты оценки валидности, надежности и применимости методики для российской выборки. Процедура факторного анализа подтвердила двухфакторную структуру опросника, с помощью которой были обследованы 580 студентов российских ВУЗов. Установлены приемлемые показатели внутренней консистентности, конструктной и внешней валидности методики, а также ее тест-ретест надежности.

Общая информация

Ключевые слова: ориентация на социальные сравнения, выборка российских испытуемых юношеского возраста, факторная структура, валидность, надежность

Рубрика издания: Мастерская и методы

Тип материала: научная статья

DOI: https://doi.org/10.17759/cpp.2016240205

Для цитаты: Гаранян Н.Г., Пушкина Е.С. Проверка валидности и надежности русскоязычной версии методики «Шкала ориентации на социальные сравнения Iowa-Netherlands» в выборке студентов // Консультативная психология и психотерапия. 2016. Том 24. № 2. С. 64–92. DOI: 10.17759/cpp.2016240205

Полный текст

Социальные сравнения являются важнейшим аспектом социального позна- ния, источником информации о собственной личности. В настоящее время отмечается интенсификация исследований этого феномена как в социаль- ной, так и клинической психологии. Исследования социальных психологов показали, что склонность к частым социальным сравнениям является важной личностной характеристикой. Для ее надежного тестирования был разработан инструмент «Шкала ориентации на социальные сравнения Iowa- Nietherlands (INCOM)», включающий 11 пунктов. Шкала была апробирована в США, Нидерландах и Германии. К настоящему моменту не были проведе- ны исследования по апробации и валидизации этой методики в российской популяции. С целью восполнения этого пробела данная задача была вклю- чения в проект по изучению социального познания (грант РНФ № 14-18- 03461). Данная статья излагает результаты оценки валидности, надежности и применимости методики для российской выборки. Процедура факторного анализа подтвердила двухфакторную структуру опросника, с помощью кото- рой были обследованы 580 студентов российских ВУЗов. Установлены при- емлемые показатели внутренней консистентности, конструктной и внешней валидности методики, а также ее тест-ретест надежности.
Ключевые слова: ориентация на социальные сравнения, выборка российских ис- пытуемых юношеского возраста, факторная структура, валидность, надежность.

Введение

Социальное сравнение — важная, если не центральная, характеристи- ка социальной жизни человека. Выбор посильного соперничества имеет значение для адаптации; в силу этого сравнение с другими можно рас- сматривать как давнюю в филогенетическом отношении и биологически мощную потребность [13]. Термин «социальное сравнение» был предло- жен в 1954 году в классической работе Л. Фестингера [11]. Согласно Фе- стингеру, у людей существует фундаментальная потребность в надежных оценках самих себя, в частности, в точной оценке собственных способ- ностей и правильности суждений.
С момента, когда теория социальных сравнений была представлена Фестингером, она подвергалась многочисленным изменениям и пере- формулировкам [16]. Cегодня большинство ученых согласны в том, что существует множество мотивов для сравнения себя с другими, и часто влияние этих мотивов порождает пристрастный взгляд на собствен- ную личность, что сопряжено с клиническими последствиями [10].
Помимо мотива самооценивания, целью сравнения с другими людьми может выступать развитие собственных навыков и способностей (self- improvement — мотив само-улучшения), а также защита самооценки или ее укрепление (self-enhancement — мотив повышения самооценки) [13].
Важным этапом в развитии теории стало выделение разных типов мишеней сравнения. Люди могут сравнивать себя с похожими (попереч- ные сравнения — lateral comparisons), с лучшими (восходящие сравне- ния — upward comparisons) или с теми, кто хуже (нисходящие сравнения — downward comparisons). Выбор мишени сравнения, как правило, зависит от мотива сравнения. Если доминирует мотив само-оценива- ния, люди обычно сравнивают себя с теми, чьи результаты близки к их собственным: когда способности других людей отстоят слишком далеко от их собственных, точная самооценка становится невозможной. Мо- тив само-улучшения направляет индивида к восходящему сравнению, при котором идет сопоставления себя с теми, кто показывает лучшие результаты. Наблюдение за тем, кто обладает сноровкой в деле, может дать важную информацию о возможности улучшить собственные навы- ки, а также укрепить само-эффективность. Восприятие себя как лучше- го повышает самооценку, снижает тревогу и порождает положительные эмоции. По контрасту с этим, наблюдение за теми, кто лучше, может снижать самооценку и порождать отрицательные эмоции [16].
Развивая теорию социальных сравнений, несколько ученых пришли к выводу о том, что люди сильно различаются по их склонности к такого рода действиям. По мнению Gibbons и Buunk [12], частота, с которой люди сравнивают себя с другими сильно варьирует от человека к чело- веку; индивидуальные различия такого рода они назвали ориентацией на социальные сравнения (SCO — social comparison orientation). По отноше- нию к индивидам с низким SCO, индивиды с высоким SCO — 1) находят больше поводов для сравнений, 2) проводят больше времени в сравнениях с другими, 3) испытывают более сильные эмоциональные реакции при сравнении себя с другими [с. 197]. Таким образом, склонность к частым социальные сравнения предполагает не только повышенный интерес к собственному «Я» и его оцениванию, но и большую подверженность эмоциональным эффектам таких сравнений. В настоящее время эта ин- дивидуальная характеристика вызывает мощный исследовательский ин- терес, объяснение которому открывают следующие обстоятельства: Современная культура открывает беспрецедентные возможности для социальных сравнений. СМИ, социальные сети и интернет в целом сде- лали доступным обширный социальный материл (персональные дан- ные, биографические сведения), что фасилитирует процессы социаль- ных сравнений среди возрастающего числа людей [14].
Параллельно с этими явлениями в психологической науке накаплива- ются сведения о том, что ориентация на социальные сравнения (склон- ность к частым социальным сравнениям) связана с широким кругом клинических феноменов — состояниями эмоциональной дезадаптации у лиц молодого возраста, депрессивными расстройствами, неудовлетво- ренностью телом и расстройствами пищевого поведения [3; 4], состоя- ниями выгорания у профессионалов [10] и нарциссической патологией личности [15]. Эксперты в области изучения клинических последствий феномена отмечают, что психотерапевтические вмешательства, прерывающие процесс частых и болезненных сравнений, улучшают как на- строение, так и отношение к собственному физическому облику [10].
Безусловно, диагностика ориентации на социальные сравнения ста- новится важной задачей современной психологической науки и прак- тики. С этой целью Gibbons и Buunk (1999) создали англоязычную методику, тестирующую индивидуальные различия в ориентации на социальные сравнения с помощью 11 пунктов. Эти пункты содержат утверждения относительно сравнений с другими людьми. Испытуе- мым предлагают выразить согласие или несогласие с ними с помощью 5-балльной шкалы, где «1» означает «Абсолютно не согласен», а «5» — «Полностью согласен». Валидность опросника была установлена в эм- пирических испытаниях с привлечением 22 дополнительных методик в США и Нидерландах. В соответствии с учением Л. Фестингера, опрос- ник Gibbons и Buunk тестирует два параметра социальных сравнений, которые различаются по своей глубинной природе: сравнение способ- ностей («Как я справляюсь?», пункты 1–6) и сравнение мнений («Что мне следует чувствовать/думать?», пункты 7–11). Была создана немец- коязычная версия этой шкалы (в полном и кратком варианте), прошед- шая процедуру валидизации [17].
Несмотря на заметно возросший интерес российских специалистов к проблематике социальных сравнений [3; 8], не существует отечествен- ных методик, предназначенных для тестирования этой личностной ха- рактеристики. С целью восполнения указанного дефицита «Шкала ори- ентации на социальные сравнения Iowa-Netherlands» (Iowa-Netherlands Comparison Orientation Measure, INCOM) была включена в проект «Со- циальное познание в норме и патологии: модели и методы изучения, диа- гностики, развития и коррекции». Русскоязычная версия инструмента создана путем перевода командой из трёх экспертов-психологов со сво- бодным владением английским языком.
Исследование, проведенное в выборке студентов российских ВУЗов, нацелено на выполнение ряда задач: 1) составление описательных стати- стик по пунктам русскоязычной версии методики INCOM; 2) определе- ние ее факторной структуры, надежности и валидности; 3) определение гендерных различий по ориентации на социальные сравнения.

Методика исследования

 В исследовании приняли участие 582 испытуемых студентов 1—6 кур- сов ВУЗов (г.г. Москвы, Санкт Петербурга, Ярославля, Архангельска, Северодвинска, Твери, Уфы, Самары, Саратова, Севастополя) в возрасте от 17 до 24 лет (средний возраст — 20,8 лет). Основная часть испытуемыхнаходилась в возрасте от 18 до 20 лет. Девушки среди испытуемых соста- вили 54,2 % опрошенных, юноши — 45,8 %.
Исследование проводилось в заочной форме. Испытуемым — мо- сквичам было предложено заполнить комплект методик, распечатанных на бумаге. Электронный вариант комплекта был также опубликован в социальных сетях (ВКонтакте и Facebook); где иногородние студенты могли выразить согласие на участие в проекте и заполнить опросники.
Для оценки внешней валидности «Шкалы ориентации на социаль- ные сравнения Iowa-Netherlands» (INCOM) в исследование были вклю- чены следующие методики: 1. Опросник депрессивности А.Бека (Beck Depression Inventory — BDI).
Шкала предназначена для определения наличия депрессивной симпто- матики у обследуемых на текущий период. Опросник основан на кли- нических наблюдениях и описаниях симптомов, которые часто встре- чаются у депрессивных пациентов. Содержит 21 утверждение, каждое из которых представляет собой отдельный тип симптоматики: тоска, чув- ство наказанности, пессимизм, прошлые неудачи, суицидальные мысли или желания, отвращение к себе, утрата удовольствия, самообвинения, чувство вины, чувство никчемности, беспокойство, плач, утрата инте- ресов, раздражительность, нерешительность, изменение аппетита, труд- ности сосредоточения, потеря энергии, усталость, изменение сна, утрата интереса к сексу. Обследуемому предлагается выбрать из предложенных высказываний одно, которое лучше всего описывает его самочувствие за последние две недели. Степень тяжести того или иного симптома оценивается в баллах от 0 до 3; общее число баллов по всем симпто- мам представляет собой индекс тяжести депрессии: 0—13 — отсутствие депрессии, 14—19 — легкий уровень депрессии, 20—28 — умеренный уровень депрессии, больше 28 — явно выраженная депрессия. Русско- язычная версия инструмента была стандартизована в лаборатории пси- хологии посттравматического стресса и психотерапии Института пси- хологии РАН [9]. Для определения показателей надежности опросника депрессии использовали весь массив данных, полученных на выборках нормальных и клинических популяций. Надежность методики опреде- лялась по показателям a-Кронбаха, стандартизированная альфа, а также методом расщепления теста пополам. 2. Опросник тревоги А.Бека (Beck Anxiety Inventory — BAI). Опрос- ник разработан A.Beck с соавторами. Состоит из 21 пункта, отражаю- щих физиологические симптомы тревоги (например, «дрожь в ногах», «усиленное сердцебиение», «ощущение удушья», «страх смерти» и т.д.).
Испытуемому предлагается выбрать по каждому пункту один из че- тырех возможных ответов, в зависимости от того, насколько сильно беспокоил каждый симптом в течение последней недели: «совсем не беспокоил» — 0 баллов, «слегка беспокоил» — 1 балл, «беспокоил уме- ренно — было неприятно, но я мог это переносить» — 2 балла, «беспо- коил очень сильно — я с трудом мог это выносить» — 3 балла. Макси- мально возможная сумма баллов — 63. В зависимости от суммы баллов выносится суждение о степени выраженности тревожной симптомати- ки: меньше 3 баллов — тревожные симптомы отсутствуют; 4—8 — «лег- кая тревога»; 9—18 — «тревога средней интенсивности»; 19—63 — «вы- сокий уровень тревоги». 3. Шкала социального избегания и дистресса (Social Avoidance and Distress Scale, D. Watson, R. Friend, — SADS) состоит из 28 пунктов, из- меряющих склонность к социальному избеганию и тревоге в межлич- ностных ситуациях. Примеры пунктов шкалы: «Я обычно нервничаю в контактах с людьми до тех пор, пока не узнаю их достаточно хорошо» (тестирует социальную тревогу); «Мне часто приходится изобретать предлоги, чтобы избежать встреч с людьми» (тестирует социальное из- бегание). Каждый из пунктов оценивается испытуемым как «верный» или «неверный»; положительный ответ приравнивается к 1 баллу. Под- считываются показатели общего социального дистресса, социальной тревожности и социального избегания. В группе пациентов с тревожны- ми расстройствами установлены значения общего показателя, превыша- ющие 14 баллов. Подтверждена высокая внутреннюю консистентность (коэффициент Кудера-Ричардсона 0,94) и тест-ретест надежность шка- лы (0,68 — 0,79). Русскоязычная версия опросника прошла валидизацию в диссертационном исследовании В.В. Красновой [6]. В настоящем ис- следовании коэффициент a-Кронбаха составил 0,864. 4. Опросник недавних жизненных событий у студентов (Inventory of College Student’s Recent Life Experiences, P. Kohn, K. Lafreniere, M. Gurev- ich — ICSRLE) содержит список из 49 микрострессогенных событий, типичных для студенческой жизни. Например, «Конфликт с препо- давателем», «Пришлось слишком долго ждать получения стипендии», «Учебные программы предъявляли слишком большие требования», «Занятия казались не интересными». Испытуемому предлагается оце- нить, насколько сильно влияло каждое событие в течение последне- го месяца («совсем не оказало влияния» — 0 баллов, «слегка повлия- ло» — 1 балл, «ощутимо повлияло» — 2 балла, «оказало очень большое влияние» — 3 балла). Оригинальный вариант опросника предполагает подсчет общего показателя повседневного стресса путем сложения оце- нок влияния событий; показатель выше 96 баллов говорит о высоком риске психических и соматических заболеваний. Англоязычная версия опросника имеет высокие показатели надежности (a-Кронбаха — 0, 89) и конвергентной валидности. В настоящем исследовании коэффициент a-Кронбаха составил 0,920.
5. Опросник беспокойства (Penn State Worry Questionnaire, PSWQ; Meyer, Miller, Metzger, Borkovec, — PSWQ). Опросник состоит из 16 пун- ктов, основан на самоотчёте, оценивает общую тенденцию индивида чрезмерно беспокоиться. Он был разработан специально, чтобы оце- нивать интенсивность и чрезмерность беспокойства, без упоминания конкретного содержания забот. Каждый пункт представляет собой ут- верждение, которое оценивается по пятибалльной шкале, где 1 балл — абсолютно не типично для меня, 5 баллов — абсолютно типично для меня. Возможные баллы варьируются от 16 до 80, где высшим баллам соответствует более высокие уровни беспокойства. Исследования соз- дателей опросника определили средние показатели для испытуемых с генерализованным тревожным расстройством — 67,66 баллов, для людей, не страдающих тревожными расстройствами, — 44,27 баллов.
Англоязычная версия инструмента обладает прочными показателями валидности и надежности. Русскоязычная версия инструмента создана путем перевода командой из трёх экспертов-психологов со свободным владением английским языком. В настоящем исследовании были уста- новлены приемлемые показатели надежности методики — a-Кронбаха = = 0,908, коэффициент Guttman Split-half = 0,918. 6. Диспозиционная шкала зависти (The Dispositional Envy Scale, DES; Smith R. — DES). Шкала включает 8 прямых вопросов, ориентирован- ных на оценку зависти у респондента. Испытуемого просят выразить свое согласие или несогласие с приведенными утверждениями при по- мощи баллов, где «1 балл» — полностью не согласен, «2 балла» — скорее не согласен, «3 балла» — сомневаюсь, ни «да», ни «нет», «4 балла» — ско- рее согласен, «5 баллов» — полностью согласен. Шкала содержит один фактор, при интерпретации результатов подсчитывается суммарный балл. Русскоязычная версия инструмента создана путем перевода коман- дой из трёх экспертов-психологов со свободным владением английским языком. В настоящем исследовании были установлены приемлемые по- казатели надежности методики — a-Кронбаха = 0,910, коэффициент Guttman Split-half = 0,921. 7. Шкала самоотчёта о ревности (Self-Report Jealousy Scale; Bringle, Roach, Andler, Evenbeck — SRJS). Шкала разработана для измерения ин- дивидуальных различий к склонности ревновать в различных вызываю- щих ревность ситуациях — работа, семья, социальные ситуации, сексу- альные ситуации. Шкала состоит из 25 пунктов. 15 пунктов относятся к романтической ревности, например, «У Вашего партнера есть сексуаль- ные отношения с кем-то другим?» И 10 пунктов — к неромантической ревности, например, «Группа, к которой, по Вашему мнению, Вы при- надлежите, не включает Вас в свои планы, деятельность и т.д.». Каждое утверждение оценивается в следующих баллах: 0 — удовлетворен(а), 1 —слегка расстроен(а), 2 — расстроен(а), 3 — очень расстроен(а), 4 — очень сильно расстроен(а). Подсчитывается общее количество баллов и опре- деляется уровень ревности. Для оценки полученных результатов исполь- зуются нормы, разработанные автором методики. Высокий уровень: 83– 100; Умеренный уровень: 59–82; Низкий уровень: 0–58. Русскоязычная версия инструмента создана путем перевода командой из трёх экспертов- психологов со свободным владением английским языком. В настоящем исследовании были установлены приемлемые показатели надежности методики — a-Кронбаха = 0,923, коэффициент Guttman Split-half = 0,848. 8. Опросник перфекционизма Н.Г. Гаранян и А.Б. Холмогоровой. Основу опросника составляют высказывания пациентов, зафиксированные на сеансах групповой и индивидуальной психотерапии. Опросник состоит из 29 пунктов. Испытуемому предлагается выразить согласие или несо- гласие с каждым утверждением, используя 4 формы ответа: «безусловно, да» (4 балла), «пожалуй, да» (3 балла), «пожалуй, нет» (1 балл), «безуслов- но, нет» (0 баллов). При обработке подсчитывается показатель по каж- дой из 5 шкал (сумма баллов по вопросам, составляющим данную шка- лу), а также общий показатель перфекционизма (сумма баллов по всем шкалам). Факторный анализ данных 462 испытуемых методом главных компонент с ротацией факторных структур по принципу варимакс вы- явил 6-факторную структуру инструмента: 1. восприятие других людей как делегирующих высокие ожидания (при постоянном сравнении себя с другими); 2. завышенные притязания и требования к себе; 3. высокие стандарты деятельности при ориентации на полюс «самых успешных»; 4. селектирование информации о собственных неудачах и ошибках; 5. по- ляризованное мышление; 6. контроль над чувствами. Все факторы-шкалы обладали достаточно высокими показателями надежности (коэффициент альфа Кронбаха от 0,6038 до 0,7855), за исключением фактора «контроль над чувствами), который не был выделен в качестве самостоятельной шкалы. Отдельные шкалы и пункты опросника достоверно коррелируют между собой и общим показателем инструмента (коэффициент корреля- ции Spearmen); установлены высокие показатели коэффициента Guttman Split-half (0,8835). При двукратном тестировании 50 испытуемых из общей популяции установлена высокая тест-ретестовая надежность инструмента (r-Spearmen от 0,523 до 0,795) [2]. 9. Шкала социальной желательности Кроуна-Марлоу, стандартизиро- ванная Ю.Л. Ханиным (1976), включающая 20 пунктов и ответы «да / нет» (сокращенный вариант). Для интерпретации результатов дается ключ: за ответы «да» в утверждениях — 1, 2, 3, 4, 5, 8, 11, 14, 15, 16, 20 дается 1 балл; за ответы «нет» на утверждения — 6,7,9, 10, 12, 13, 17, 18, 19 начисляется также по 1 баллу. Общий итоговый показатель «мотивации одобрения» по шкале получают суммированием всех «работающих» вопросов. Суммарный показатель показывает привычный стиль реагирования и ожи- даниях респондента в ситуации оценивания. Он указывает на степень зависимости человека от хороших, положительных оценок со стороны людей, его чувствительность к влиянию социального окружения. При интерпретации показателя социальной желательности ориентируются на следующие критерии: 13 баллов и выше свидетельствует о высоком уровне в потребности одобрения, 10—12 баллов указывают на средний уровень, а показатель ниже 10 баллов свидетельствует о низком уровне социальной желательности. Высокий — свидетельствует о наличии у индивида потребности в социальном одобрении и его высокой готов- ности полностью соответствовать принятым социальным нормам. Низ- кий — отражает то, что собственные убеждения, собственное мнения и позиция ценнее для индивида, чем мнение общественности, низкий показатель говорит также о независимости респондента, его индивиду- альности. Низкие показатели могут свидетельствовать как о непринятии традиционных норм, так и об излишней требовательности к себе. Рус- скоязычный вариант стандартизирован на выборке более 800 человек с последующей проверкой валидности и надежности.
Обработка данных производилась с помощью пакета статистических программ SPSS for Windows, Standard Version 12, Copyright © SPSS Inc., 2003.

Результаты исследования

 Описательные статистики шкалы INCOM В разделе представлены данные описательного статистического ана- лиза по каждому из пунктов шкалы INCOM. По каждому пункту были подсчитаны частота выбора каждого из пунктов ответа (от 1 до 5) в про- центах, процент пропущенных ответов, а также среднее и стандартное отклонение. Описательные статистики позволяют оценить распределе- ние ответов по каждому пункту опросника (табл. 1).
Общий паттерн распределения демонстрирует высокую частоту от- ветов по всем пунктам опросника. Этот результат свидетельствует о том, что трудности в понимании пунктов шкалы и отыскание ответов на них были настолько незначительными, что ими можно пренебречь в ходе интерпретации результатов обследования. Средние значения получен- ных ответов варьировали от 2,3 и 3,9.
Анализ распределения ответов показывает отчетливое смещение впра- во для пунктов 1, 2, 7, 8 и 9. Содержание этих пунктов отражает стрем- ление испытуемых студентов к сравнению собственных достижений, результатов и мнений с аналогичными параметрами других людей, что психологически объяснимо для лиц, вовлеченных в активную учебную деятельность. Распределения ответов по пунктам 4 и 6 умеренно смещены влево. Анализ этого явления показывает, что молодые люди не восприни- мают себя как склонных к частым социальным сравнениям жизненных ситуаций в целом, что можно рассматривать как индикатор эмоциональ- ного здоровья и личностного благополучия обследованной выборки.


Факторная структура шкалы INCOM

 Факторный анализ традиционно используется как средство классифика- ции свойств личности; он позволяет фиксировать соответствие или несоот- ветствие факторной структуры разрабатываемого инструмента теоретически обоснованным предположениям о структуре личностного конструкта. Ана- лиз взаимосвязей шкал и пунктов теста позволяет вынести суждения о нали- чии взаимосвязей между отдельными параметрами изучаемого конструкта, сделать выводы не только о его целостности, но и многомерности [1].
Эксплораторный факторный анализ проводился методом главных компонент с вращением факторных структур по методу VARIMAX [7, с. 253]. Его результаты свидетельствуют о совершенно отчетливой фак- торной структуре русскоязычной версии INCOM. Было выделено два фактора, в совокупности, объясняющие 47,9 %, что является прием- лемым результатом. Двухфакторное решение хорошо иллюстрируется изломом кривой на графике собственных значений, построенном при применении метода главных компонент.


Как видно на графике, излом кривой наблюдается на 3-ей компонен- те, что соответствует выделению 2-х факторов (по номеру компоненты, ему предшествующей). Анализ факторных нагрузок, приведенных в та- блице 2, также позволяет говорить о выявлении двух факторов в рассма- триваемой шкале.
Была проведена тщательная психологическая интерпретация факто- ров (анализ содержания пунктов, входящих в каждый из них). Для удоб- ства из таблицы исключены значения менее 0,2. Содержание пунктов, вошедших в каждый из факторов, а также их факторные нагрузки пред- ставлены в таблицах 2—3. 1-й фактор включает пункты, тестирующие ориентацию на сравнение способностей (достижений, результатов деятельности) с аналогичными показателями других людей. Он включает семь пунктов шкалы: 1, 3, 4, 6, 7, -10, 11. Необходимо учитывать, что пункты 6 10 являются «перевер- нутыми» (имеют отрицательную нагрузку), при подсчетах их значения должны входить в суммарный балл с обратным знаком. Включение т.н. «перевернутых» пунктов традиционно используется при разработке пси- хологических инструментов с целью контроля над процессом отыскания ответов и предупреждения «эффекта установки» у испытуемых [1]. Пер- вый фактор объясняет 27,9 % дисперсии. В целом, нагрузки по фактору оказались достаточно большими и варьировали от 0,337 до 797.


Как видно из таблицы 3, 2-й фактор включает пункты, тестирую- щие ориентацию на сравнение мнений. Он включает четыре пункта: 2, 5, 8, 9. Этот фактор объясняет 20 % дисперсии. Нагрузки по это- му фактору также оказались достаточно большими и варьировали от 0,510 до 797.
Таким образом, результаты эксплораторного факторного анализа подтверждают существование двух компонентов в ориентации на соци- альные сравнения, которые соответствуют представленным во введении теоретическим положениям: ориентацию на сравнение способностей и на сравнение мнений. Эти факторное решение совпадает с утверждением создателей инструмента Gibbons и Buunk о том, что конструкт «ори- ентация на социальное сравнение» состоит из «двух различающихся, но тесно связанных друг с другом факторов» [12, с. 132].
Однако наш анализ обнаруживает некоторые проблемы двух- факторного решения, предлагаемого создателями инструмента. Так, пункт «2», по их замыслу относящийся к фактору «Ориентация на сравнение мнений», согласно нашим данным попадает в фактор «Ориентация на сравнение способностей». Анализ смысловой сторо- ны вопроса подтверждает допустимость нашего решения: формули- ровка этого пункта однозначно затрагивает интерес к мнению других людей («Если я хочу узнать больше о чем-то, я стараюсь разузнать мнение других людей по этому вопросу»; в оригинальной версии шка- лы «If I want to learn more about something, I try to find out what others think about it»).
Аналогичная ситуация складывается и в отношении пункта «5». Со- держание этого пункта затрагивает сравнения по такому параметру, как способ выполнения деятельности («Я всегда хочу знать, как поступили бы другие люди в ситуации, подобной моей»; в оригинальной версии шкалы «I always like to know what others in a similar situation would do»). На наш взгляд, этот параметр психологически ближе к мнениям, чем к спо- собностям, что также делает наше факторное решение психологически возможным и достаточно убедительным.
Наконец, два последних пункта шкалы («10» и «11») затрагивают склонность испытуемого к сравнению общей жизненной ситуации, со- циального положения. В оригинальной версии этого инструмента оба пункта относятся к конструкту «ориентация на сравнение мнений».
В нашем факторном решении оба вопроса вошли в фактор «ориентация на сравнение способностей», при этом 11-й пункт вошел туда с доста- точно большой нагрузкой (0,772). На наш взгляд, стремление сравни- вать собственное социальное положение (социальные навыки, попу- лярность) с аналогичными показателями других людей психологически ближе к ориентации на сравнение способностей и достижений, тестиру- емой первым фактором, чем мнений и суждений.
Конфирматорный факторный анализ проводился в программе software Mplus 5. Рисунок 2 иллюстрирует логику конфирматорной факторной модели, которая подвергалась проверке.
Результаты конфирматорного факторного анализа показывают не- плохое соответствие модели ранее установленному двухфакторному ре- шению (х2 — 178.880 , df (43), значение p — 0,0000, MLR — 1,955, CFI — 0,912, TLI — 0,987, RMSEA — 0,074, SRMS — 0,057).

Рис. 2. Модель конфирматорного факторного анализа русскоязычной версии методики INCOM

Валидность и надежность шкалы INCOM

Внутренняя консистентность Одним из важных показателей надежности теста является его вну- тренняя согласованность [5, с. 23], которая была проверена с помощью коэффициента корреляции r — Spearmen.


Все показатели шкалы имеют положительную связь друг с другом и с общим показателем ориентации на социальные сравнения (уровень значимости p < 0,01), что говорит о высокой степени внутренней со- гласованности опросника. При этом связь между факторами опросника слабее, чем связь каждого из факторов с его общим показателем. Этот результат означает, что «Ориентация на социальные сравнения» являет- ся многомерным, но целостным психологическим конструктом.
Для определения внутренней консистентности Шкалы ориентации на социальные сравнения использовались также коэффициенты a-Cronbach и Guttman Split-half. Значения этих коэффициентов, превышающие 0,6000, означают, что опросник прошел испытание на надежность.



Значение коэффициента a-Cronbach по всем факторам, а также сред- ний показатель по шкале в целом превышает 0,6000 (варьирует от 0,644 до 0,775).
Для проверки надежности опросника нами также был подсчитан ко- эффициент Guttman Split-half. Для первой части опросника он составил 0,692, для второй — 0,576. для Показатель по второй части опросника оказался несколько меньше 0,6000, однако, общий коэффициент по опроснику достаточно велик и составляет 0,751.
Полученные значения коэффициентов a-Кронбаха и Guttman Split- half позволяют говорить о приемлемой надежности как отдельных шкал русскоязычной версии опросника ориентации на социальные сравне- ния INCOM, так и о его надежности в целом.
Полученные значения коэффициентов коэффициента корреляции r — Спирмена, коэффициентов a-Cronbach и Guttman Split-half позво- ляют говорить о приемлемой надежности как отдельных факторов Шка- лы ориентации на социальные сравнения (INCOM), так и о надежности опросника в целом.

Конструктная валидность

 Согласно взглядам создателей инструмента, для оценки конструкт- ной валидности Шкалы INCOM логично использовать гендерные и возрастные сопоставления [12]. Основываясь на предшествующих ис- следованиях, можно ожидать определенных гендерных различий в тен- денциях социальных сравнений: в силу склонности к конкурентному поведению мужчины будут в большей мере ориентированы на сравнеие способностей. Логично также предположить, что женщины будут в большей мере утилизировать советы других людей и проявлять интерес к их мнению; таким образом, они сильнее ориентированы на сравнение мнений. Однако общая теоретическая гипотеза должна быть скор- ректирована с учетом специфики обследованной выборки. Возможно, в более отдаленные жизненные периоды ориентация на сравнение мнений у мужчин ослабевает. Однако для юношей — студентов, она бу- дет, на наш взгляд, не менее интенсивной, чем у девушек и психологи- чески понятной: учебный процесс требует от них умения прислушаться к мнению авторитетных лиц (например, преподавателей). Отсутствие такой ориентации и подчеркнутое стремление к независимости сужде- ний может стать для них преждевременным, а потому дезадаптивным.
Данное соображение позволяет ожидать, что юноши будут опережать девушек по ориентации на сравнение способностей, а ориентация на сравнение мнений будет выражена у испытуемых обоих полов с одина- ковой силой.
Другое соображение, вытекающее из исследований процессов соци- альных сравнений, связано с возрастом. Существует мнение о том, что ориентация на социальные сравнения с возрастом ослабевает. Предпо- лагается, что жизненный опыт укрепляет самооценку и общую уверен- ности в правильности собственных суждений о жизни [17]. В этом свете правомерно ожидать, что между ориентацией на социальные сравнения и возрастом испытуемых будет существовать линейная отрицательная связь. Однако в нашем исследовании принимали участие испытуемые юношеского возраста, активно обучающиеся в ВУЗах. Описанный пат- терн корреляционной связи вряд ли будет характерным для них. Допол- нительное соображение в пользу этого соображения связано с малой дисперсией показателя возраста в обследованной группе студентов.
С целью тестирования этих теоретических предположений — а) срав- нивались показатели юношей и девушек по двум факторам Шкалы ори- ентации на социальное сравнение INCOM, б) оценивались связи между показателями Шкалы и возрастом испытуемых. Работе предшествовала оценка распределения данных, полученных в группах юношей и деву- шек, обычно предшествующая применению статистического критерия t-Student.
Данные по первому фактору («Ориентация на сравнение способно- стей») у девушек были распределены нормально, что иллюстрирует ги- стограмма, представленная на следующем графике (рис. 3).
Распределение данных, полученных в группе девушек с помощью второй шкалы опросника («Ориентация на сравнение мнений»), откло- няется от нормального (критерий Колмогорова-Смирнова Z = 1,681; p = 0,007). Гистограмма данного распределения приведена ниже (рис. 4).

Опираясь на критерий Колмогорова-Смирнова, можно сделать вы- вод о том, что данное распределение отличается от нормального. Однако анализ асимметрии и эксцесса показывает, что оба параметра по модулю меньше, чем удвоенная стандартная ошибка асимметрии и эксцесса, со- ответственно, (фактор 2; А = -0,231; стд. ошибка = 0,149; Е = -0,116; стд. ошибка = 0,298). Указанные значения описательных статистик данного распределения представлены в таблице 7.


Таким образом, можно считать, что они мало отличаются от нулевого значения. Визуальная оценка гистограммы фиксирует ее близость к нор- мальной кривой. Эти аргументы позволяют использовать для дальней- шего анализа данных параметрические методы t-критерий Student. Тем не менее, при оценке значимости различий между юношами и девуш- ками по двум факторам шкалы наряду с этим критерием использовался также критерий U- Mann-Whitney.
Распределение данных, полученных в группе юношей по обеим факторам Шкалы ориентации на социальные сравнения, совпадает с нормальным. Ги- стограммы указанных распределений представлены на рисунках 5 и 6.

Рис. 5. Гистограмма распределения по фактору «Ориентация на сравнение способностей» у юношей

Рис. 6. Гистограмма распределения по шкале «Сравнение мнений» у юношей

В итоге проводилось сравнение двух групп (юношей и девушек) по показателям «Шкалы ориентации на социальные сравнения» с помо- щью статистических критериев U- Mann-Whitney и t- Student’а.



Установлены статистически значимые различия между юношами и девушками по фактору «Ориентация на сравнение способностей» (р = = 0,005). Показатели юношей превышают аналогичный показатель де- вушек (средние ранги составляют 211,69 для юношей и 177,07 для де- вушек), что подтверждает теоретическую гипотезу. По фактору «Ориен- тация на сравнение мнений» статистически значимые различия между группами юношей и девушек не обнаруживаются (р = 0,373); вторая часть теоретической гипотезы не находит подтверждения в исследова- нии. По общему показателю шкалы INCOM фиксируются статически значимые гендерные различия. В группе юношей этот показатель выше, чем в группе девушек (U-Mann-Whitney = 16 819,000, р < 0,0001; средние ранги 209,30 и 181,48, соответственно).

Применение критерия t-Student для двух независимых выборок дублирует полученный ранее результат (табл. 7). Теоретическая ги- потеза получает полное подтверждение: юноши достоверно опере- жают девушек по стремлению к сравнению способностей. Преоб- ладающего стремления к сравнению мнений в группе девушек не выявлено.
Проводился анализ связей между показателями Шкалы ориентации на социальное сравнение INCOM и возрастом испытуемых.



По данным таблицы 9, значимые корреляционные связи между шка- лами опросника INCOM и возрастом испытуемых не обнаружены. Та- ким образом, фактор возраста на заполнение опросника ориентации на социальные сравнения не влияет. Необходимо оговорить, что этот ре- зультат приложим при обследовании испытуемых старшего подростко- вого и юношеского возраста.
Полученные данные дают подтверждение конструктной валидно- сти «Шкалы ориентации на социальное сравнение Iowa-Netherlands» (INCOM). Одновременно они свидетельствуют о необходимости по- вторной оценки этого психометрического показателя с включением ис- пытуемых зрелого и пожилого возраста.

Социальная желательность

 Потребность в социальном одобрении и готовность соответствовать принятым социальным нормам могут значительно влиять на испытуе- мого и диктовать ему определенные ответы. Несмотря на очевидную психологическую адаптивность социальных сравнений (как средства точной оценки собственной личности), в условиях современной куль- туры они могут восприниматься как свидетельство дефицита автоном- ности, независимости и индивидуальной силы. Вполне правдоподоб- ным кажется и другое предположение: социальные сравнения образуют когнитивную основу зависти, социально нежелательной эмоции. Оба соображения могут стимулировать испытуемых уступать соображениям социальной желательности и преуменьшать склонность к социальным сравнениям. Тогда между изучаемыми конструктами будет определяться отрицательная корреляционная связь. С целью проверки этой гипотезы в исследование была включена Шкала социальной желательности Кро- уна-Марлоу.
Значимых корреляционных связей между общим показателем Шка- ле ориентации на социальные сравнения и показателем «потребно- сти в одобрении» шкалы социальной желательности не установлено (r-Spearmen = -0,095, p = 0,311). Этот результат свидетельствует о том, что испытуемые — студенты при выборе ответов на вопросы Шкалы INCOM практически не руководствовались соображениями социальной желательности, а их ответы не искажались воздействием этой установки.

Внешняя валидность

 Подтверждение конструктной валидности опросника требует как можно полнее описать переменную, которую он измеряет. Определение связи между данными нового инструмента и других методик, измеряю- щих теоретически близкие конструкты с доказанной валидностью, мо- жет быть одним из возможных подходов к этой задаче [5, с. 29]. Были выдвинуты следующие гипотезы [3]: 1. Существует положительная связь между показателями ориентации на социальное сравнение (INCOM) и широким кругом показателей не- гативного аффекта (депрессии, тревоги, беспокойства, социальной тре- вожности, зависти и ревности). Эта гипотеза в большей мере оправдана для параметра «ориентация на сравнения способностей» и в меньшей степени — для параметра «ориентация на сравнение мнений». 2. Существует положительная связь между показателями ориентации на социальное сравнение (INCOM) и дисфункциональной личностной чертой «перфекционизм» по модели Н.Г. Гаранян и А.Б. Холмогоровой,
85
Гаранян Н.Г., Пушкина Е.С. Проверка валидности и надежности...
Garanian N.G., Pushkina E.S. Establishing Validity and Reliability...
включающей параметр «Высокие стандарты деятельности при ориента- ции на полюс «самых успешных» [2].
Результаты проверки первой гипотезы представлены в таблице 10.

По данным таблицы 10, существуют значимые положительные связи между ориентацией на социальные сравнения и широким спектром пока- зателей эмоционального неблагополучия — депрессии, физиологических признаков тревоги, беспокойства, ревности и зависти, общим повседнев- ным стрессом в разных сферах студенческой жизни. Наиболее важными представляются следующие результаты корреляционного анализа: 1) мак- симальные значения коэффициента r-Spearmen установлены для показате- лей беспокойства и зависти; эти связи можно охарактеризовать как средние по силе; 2) ориентация на сравнение способностей более тесно связана с симптомами эмоционального неблагополучия, чем ориентация на срав- нение мнений. Так, ориентация на сравнение мнений обнаружила слабые корреляционные связи с лишь с двумя показателями эмоционального не- благополучия, включенными в анализ, — беспокойства и зависти. Данные корреляционного анализа дают полное подтверждение первой гипотезы.

Для проверки второй гипотезы был проведен корреляционный ана- лиз между показателями шкалы INCOM и параметрами перфекциониз- ма использованием коэффициента корреляции r-Spearmen. Результаты представлены в таблице 11.

По данным таблицы 11, установлены многочисленные связи общего показателя перфекционизма и отдельных его шкал с показателями ори- ентации на социальное сравнение.
Так, параметры «Восприятие других как делегирующих высокие ожи- дания», «Селектирование информации о собственных неудачах и ошиб- ках» и общий показатель опросника имеют умеренные по силе связи с ориентацией на социальные сравнения, в частности, сравнений способ- ностей. Для параметра «Высокие стандарты деятельности» установлены слабые, но статистически достоверные связи с ориентацией на социаль- ные сравнения, в частности, сравнение способностей.

Таким образом, продемонстрированы связи между данными нового ин- струмента и других методик, измеряющих теоретически близкие конструк- ты, валидность которых уже доказана. Ориентация на социальные сравнения (частые сравнения) оказалась связана с широким кругом негативных аффек- тов, включая такие клинические проявления как симптомы депрессии, бес- покойства, физиологических признаков тревоги, социальной тревожности.
Наконец, показаны связи нового личностного конструкта (ориентации на социальное сравнение) т с уже описанной научной категорией — перфек- ционизмом. Феноменология этой черты включает постоянные сомнения в качестве выполняемой деятельности, опору на внешние критерии успеха, устремленность к чрезмерно высоким стандартам, зависимость от одобрения окружающих. Каждый из этих параметров допускает сравнения с другими людьми, способности и мнения которых становятся важными индивиду- альными ориентирами. Согласно требованиям, предъявляемым к конструк- ции тестов [5, с. 29], эти результаты свидетельствуют о высокой валидности «Шкалы ориентации на социальное сравнение Iowa-Nietherland» (INCOM).


Тест-ретестовая надежность

Проверка надежности опросника перфекционизма проводилась с помо- щью процедуры тест-ретеста (интервал между двумя замерами — 4 недели).
В исследовании приняли участие 25 студентов московских ВУЗов (11 юношей и 14 девушек). Средний возраст — 21,5 лет. Математическая обработка полу- ченных данных проводилась с использованием критерия Т-Wilkoxon и коэф- фициента корреляции r-Spearmen. Результаты представлены ниже в таблице 12.



Приведенные данные говорят о том, что показатели ориентации на социальные сравнения по всем шкалам опросника и его общему пока- зателю при первом и повторном замере не различаются (по критерию T-Вилкоксона). Однако статистически значимых корреляций между рассматриваемыми показателями мы констатировать не можем (воз- можно, это связано с небольшим объемом выборки, участвовавшей в тест-ретесте).


Обсуждение результатов

 Цель настоящего исследования заключалась в эмпирической оцен- ке русскоязычной версии «Шкалы ориентации на социальное сравне- ние Iowa-Netherlands» (INCOM, 11 пунктов). Использовались данные 580 испытуемых — студентов различных российских ВУЗов. Описатель- ные статистики свидетельствуют о том, что испытуемые не испытывали существенных затруднений как в понимании формулировок опросника, так и в выборе нужных ответов, что делает результаты исследования ин- формативными. Анализ литературы по проблеме социальных сравнений показывает, что методика Gibbons и Buunk, широко применяемая в раз- ных странах мира; она, как правило, имеет двухфакторную структуру и включает факторы «Ориентации на сравнение способностей» и «Ори- ентации на сравнение мнений». Несколько серий факторного анализа дали приемлемые результаты и подтвердили двухфакторную структуру русскоязычной версии инструмента. Этот результат свидетельствует о достаточной валидности методики и возможности ее применения в рос- сийской популяции.
В ходе валидизации методики были получены результаты, которые нуждаются в тщательном научном осмыслении. Так, мы не обнару- жили теоретически ожидаемой обратной связи между ориентацией на социальное сравнение и социальной желательностью. Этот факт может свидетельствовать о том, что в современном обществе, для ко- торого характерна высокая конкурентность, ориентация на частые социальные сравнения перестает быть социально нежелательным (неодобряемым) явлением, а скорее служит необходимым навыком повседневной жизни. Безусловно, это предположение нуждается в дальнейшей проверке.
В исследовании получены данные, свидетельствующие о приемле- мой конструктной валидности русскоязычной версии Шкалы ориента- ции на социальное сравнение Iowa-Nietherlands (INCOM, 11 пунктов).
В соответствие с теоретическими предсказаниями, юноши обгоняли девушек по фактору «Ориентация на сравнение способностей», имели более высокий общий показатель шкалы. При этом гендерные различия по фактору «Ориентация на сравнение мнений» отсутствовали, что объ- ясняется возрастом испытуемых и социальной ролью студента, которые нивелируют различия между юношами и девушками. Мы также не по- лучили данных о связи между показателями ориентации на социальное сравнение и возрастом испытуемых, что объясняется небольшой дис- персией этого показателя в обследованной выборке. Этот результат дик- тует необходимость повторной валидизации шкалы INCOM в выборке испытуемых более старшего возрасте.
В ходе исследования получены убедительные свидетельства надеж- ности инструмента. Так, с помощью статистических критериев была по- казана высокая внутренняя консистентность отдельных пунктов и фак- торов шкалы INCOM. Метод повторного тестирования, проведенный с интервалом в 4 недели в подгруппе из 25 испытуемых студентов, показал высокую устойчивость инструмента к воздействию временного фактора, что также служит подтверждением его приемлемой надежности.
Наконец, с привлечением комплекта из 8 дополнительных мето- дик была продемонстрирована высокая внешняя валидность русско- язычной версии Шкалы ориентации на социальное сравнение Iowa- Nietherlands (INCOM, 11 пунктов). В соответствии с теоретически обоснованным предположением, установлены множественные по- ложительные корреляционные связи между ее показателями и широ- ким кругом негативных аффектов, включая клинические симптомы депрессии, тревоги, социальной тревожности, беспокойства. Установ- лены теоретически предсказуемые связи между показателями ориен- тации на социальное сравнение и социальными эмоциям зависти, и ревности. Необходимо отметить, что эти паттерны в большей мере ха- рактерны для ориентации на сравнение способностей, чем сравнение мнений. Этот результат также предсказуем и служит дополнительным свидетельством валидности изучаемой методики. Получены данные о тесных связях между показателями ориентации на социальное срав- нение и дисфукциональной личностной чертой «перфекционизм».
Существование таких связей было предсказано моделью перфекцио- низма Н.Г. Гаранян и А.Б. Холмогоровой. В настоящем исследовании эта идея получила дополнительное подтверждение, что свидетельство- вало о валидности «Шкалы ориентации на социальное сравнение Iowa- Nietherlands» (INCOM, 11 пунктов).

Литература

  1. Анастази А. Психологическое тестирование. М.: Педагогика, 1982. С. 122— 237.
  2. Гаранян Н.Г. Перфекционизм и враждебность как личностные факторы депрессивных и тревожных расстройств: дисс. … докт. психол. наук. М., 2010
  3. Гаранян Н.Г. Теория социального сравнения в клинической психологии // Психологический журнал РАН. 2015. Т. 36. № 4. С. 23—36.
  4. Гаранян Н.Г., Щукин Д.А. Частые социальные сравнения как фактор эмоцио- нальной дезадаптации студентов // Консультативная психология и психоте- рапия. 2014. № 4. С. 182—206.
  5. Клайн П. Справочное руководство по конструированию тестов. Киев: ПАН Лтд, 1994. 283 с.
  6. Краснова В.В. Социальная тревожность как фактор нарушений интерпер- сональных отношений и трудностей в учебной деятельности у студентов. дисс. ... канд. психол. наук. М., 2013. 209 с.
  7. Наследов А.Д. Математические методы психологического исследования. СПб.: Речь, 2004. 392 с.
  8. Самойленко Е.С. Проблемы сравнения в психологическом исследовании. М.: издательство «Институт психологии РАН», 2010.
  9. Тарабрина Н.В. Практикум по психологии посттравматического стресса. СПб.: Питер, 2001. 268 с.
  10. Dijkstra P., Gibbons F., Buunk A. Social comparison theory / Social Psychological foundations of clinical psychology. Maddux J., Tangney J. (Eds.). 2010. New York. London: Guilford Press. Pp. 195—210.
  11. Festinger L. A theory of social comparison processes // Human Relations. 1954. V. 7. Pp. 117—140.
  12. Gibbons F., Buunk B. Individual differences in social comparison: Development of a scale of social comparison orientation // Journal of Personality and Social Psychol- ogy. 1999. V. 76. Рp. 129—142.
  13. Gilbert P., Price J., Allan S. Social comparison, social attractiveness, and evolution: Howmight they be related? // New Ideas in Psychology. 1995. V. 13. № 2. Pp. 149— 165.
  14. Krasnova H., Wenninger H., Widjaja T., Buxmann P. Envy on Facebook: A Hidden Threat to Users’ Life Satisfaction? // Research Paper, International Conference on Wirtschaftsinformatik / Leipzig, Germany: Business Information Systems, 2013.
  15. Krizan Z., Bushman B. Better than my loved ones: social comparison tendencies among narcissists // Personality and Individual Differences. 2011. V. 50. Pp. 212— 216.
  16. Suls J., Wheeler L. A selective history of classic and neo-social comparison theory /
  17. J. Suls, L. Wheeler (Eds.) Handbook of social comparison: Theory and research. 2000. Dordrecht. The Netherlands: Kluwer Academic. Pp. 1—23.
  18. Schneider S., Schupp J. The Social Comparison Scale, 2011 [web-document] https://www.diw.de/documents/publikationen/73/diw_01.c.368747.de/diw_ sp0360.pdf

Информация об авторах

Гаранян Наталья Георгиевна, доктор психологических наук, профессор кафедры клинической психологии и психотерапии, факультет консультативной и клинической психологии, Московский государственный психолого-педагогический университет (ФГБОУ ВО МГППУ), доцент, ведущий научный сотрудник Московского НИИ психиатрии Минздрава РФ, член редакционного совета журнала "Консультативная психология и психотерапия", Москва, Россия, ORCID: https://orcid.org/0000-0002-1227-2682, e-mail: garanian@mail.ru

Пушкина Елизавета Сергеевна, студентка, факультет консультативной и клинической психологии, ФГБОУ ВО МГППУ, Москва, Россия, e-mail: liza.pushkina@mail.ru

Метрики

Просмотров

Всего: 3209
В прошлом месяце: 36
В текущем месяце: 20

Скачиваний

Всего: 4857
В прошлом месяце: 20
В текущем месяце: 12