Факторный опрос: преимущества, область применения, практические рекомендации^*

Исследования с использованием виньеток появились в социальных науках в начале 50-х годов XX века [34].

Виньетка — это короткое описание социальной ситуации или объекта, которое оценивается респондентом. Виньетка может представлять собой текст, фотографию или видео, в котором представлен определенный набор значений независимых переменных.

На рисунке представлены примеры текстовых виньеток (которые используются чаще всего) из нашего исследования характеристик аутгрупп как предикторов социальной дистанции. В дальнейшем мы будем использовать данное исследование, чтобы проиллюстрировать различные стадии проведения факторного опроса.

Ирек: 65 лет, башкир, неверующий. Он родился в России, свободно говорит по-русски. Не
имеет высшего образования. Является низкоквалифицированным работником.

На рисунке приведены примеры 4-х виньеток. При сравнении легко можно понять суть факторного опроса: описанные в виньетках персонажи отличаются по возрасту, полу, этнической принадлежности, религии, месту рождения (или виду иммиграции), уровню владения русским языком, уровню образования и уровню квалификации. Эти измерения (или факторы) и есть независимые переменные в данном исследовании. Три вопроса, на которые респондент должен ответить после каждого описания персонажа — это измерения зависимой переменной (в данном случае — социальной дистанции). Важно отменить, что эти характеристики варьируют в виньетках не случайным образом, а систематически, что позволяет оценить влияние каждого фактора на зависимую переменную. В этом заключается ключевое отличие факторного опроса или метода виньеток от других исследований с использованием сценариев.

Такой дизайн похож на дизайн факторного эксперимента, где есть много независимых переменных с несколькими уровнями, сочетание которых может приводить к разным значениям зависимой переменной. Отсюда факторный опрос и получил свое название. В 1974 году P.H. Rossi в своей диссертации впервые использовал метод факторного опроса как экспериментальную технику в рамках опросной методологии.

Факторный опрос — это экспериментальная техника в рамках опросной методологии, где респонденты оценивают короткие описания ситуаций/объектов в форме виньеток, в которых уровни независимых переменных (факторов) варьируют, позволяя оценить влияние каждого фактора на зависимую переменную, по аналогии с факторным экспериментом.

В последующие 20 лет этот метод развивался [35; 38; 26], но никаких систематических описаний его применения не публиковалось. Только в 1982 году вышла книга «Measuring Social Judgments», где P.H. Rossi и A.B. Anderson впервые представили систематическое описание факторного опроса как метода для выявления принципов, лежащих в основе того, как люди судят или оценивают социальные объекты. При этом социальными объектами могут выступать как другие люди или группы, так и любые институты, действия, идеи и т.д. [37]. В основе факторного опроса лежала идея о том, что суждения людей имеют определенную структуру, обусловленную социальными и индивидуальными особенностями, и задача исследователя — выявить эту структуру [46]. Т.е. задача, решаемая в рамках факторного опроса, заключается в выявлении причин, определяющих человеческие суждения.

Как известно, у классического опросного метода есть ряд ограничений, таких, как невозможность проверять причинно­следственные гипотезы, подверженность ответов эффектам социальной желательности и т.д. В попытке обойти эти ограничения P.H. Rossi и A.B. Anderson предложили использовать стандартизированные виньетки (фиктивные описания), где выбранные характеристики, описывающие социальный объект оценивания, одновременно манипулируются [37].

По сравнению с классическим опросным методом, у факторного опроса есть ряд преимуществ. Во-первых, так как респондентам предлагается подробное описание случаев, которые им нужно оценивать, данный метод позволяет лучше оценивать контекстуальные факторы, которые влияют на оценки людей. Для иллюстрации можно привести следующий пример. Обычно социальные опросы показывают, что большинство населения США поддерживает смертную казнь за убийство (например, в опросе 2007-го года в поддержку высказалось 69% населения). При этом исследование, проведенное с применением метода факторного опроса [10], показало, что когда людям дается подробное описание разных преступлений с информацией об обстоятельствах преступления и о самом преступнике, они крайне редко склонны выбирать смертную казнь как меру наказания. Помимо этого, результаты показали, что возраст преступника, его умственные способности, а также история прежних судимостей оказывают большое влияние на готовность людей выбирать смертную казнь как меру наказания.

Второе преимущество факторного опроса — это меньшая подверженность социальной желательности по сравнению с эксплицитными измерениями опросных методов [3]. Так как переменные, влияющие на оценку объекта, латентны, люди не осознают, какие критерии они используют при оценке, и, как следствие, полученные результаты лучше отражают реальные суждения, установки и их детерминанты. Так, например, в исследовании C. Stjohn и T. Healdmoore [44] было выявлено, что американцы больше боятся чернокожих незнакомцев, независимо от вариаций всех остальных характеристик этих незнакомцев и условий, в которых они их встречают.

Наконец, так как люди не всегда осознают причины своих суждений и установок и не способны эксплицитно оценить роль тех или иных детерминант, факторный опрос позволяет воссоздать реальный процесс формирования суждения и выявить имплицитные детерминанты и комбинации детерминант этих суждений [3]. Так, в исследовании G. Jasso [23] на сотрудниках иммиграционной службы США было выявлено, что сотрудники службы ориентируются на совершенно разные критерии при принятии решения о том, какими должны быть кандидаты, подающие на американскую визу.

При всех описанных выше достоинствах, факторный опрос достаточно редко применяется в социальных науках [46; 1]. Причиной этому может быть кажущаяся сложность планирования и реализации факторного опроса. Целью этой статьи является детальное описание всех стадий подготовки и проведения факторного опроса, которое может помочь исследователям оценить потенциал использования данного метода и начать применять его в своих исследованиях.

Области применения факторного опроса

В своей обзорной статье L. Wallander [46] описывает работы в области социологии, в которых применялся факторный опрос. Так как большинство работ пересекается с областью социальной психологии, мы приведем здесь описание областей исследования, описанных в данном обзоре. L. Wallander [46] выделяет ряд тематических блоков, в том числе:

1.  Преступления, законы и девиант­ность. В этом блоке 12 исследований было посвящено исследованию решений о наказании (например, D.P. Boots et al., 2003), 7 — сексуальным оскорблениям (например, P.H. Rossi и E. Weber-Burdin, 1983), и 5 — корпоративным преступлениям (например, L.A. Elis и S.S. Simpson, 1995).

2.  Семья и социальное благополучие. Сюда включены исследования суждений о насилии над детьми (например, A.W. O’Toole et al., 1993), старении (например, H.B. Degenholtz et al., 1999), а также отношения к межпоколенной ответственности (например, L. Ganong, M. Coleman, 2005).

3.   Социальная дифференциация. В этой сфере проводились исследования оценки справедливости доходов (например, G. Jasso, P.H. Rossi, 1977) и восприятия бедных (например, J.A. Will, 1993).

4.   Социология здоровья и медицины. Здесь изучались, например, популярные концепции психических заболеваний [45], а также стигмы, связанные с различными болезнями, такими как СПИД и рак [42].

5.  Организации, занятость и работа. Сюда вошли исследования отбора сотрудников [13], исследование лояльности менеджеров организации [33] и другие.

6.   Социология города. Данная область достаточно однородна: все исследования были посвящены моделированию оценок населения окрестностей (района) (например, A.B. Shlay and D.A. DiGregorio, 1985).

7.   Различные исследования социальных объектов, в том числе норм (не)ку- рения [31], норм политических действий [25], отношений к иммигрантам [41], выбор профессиональной деятельности [8], оценка наблюдателей в спорте [47].

Поиск в международной реферативной базе данных Scopus по запросу «factorial survey» в категории «Психология» показал всего лишь 45 опубликованных работ, большинство из которых уже упоминается в списке выше. Большая часть из этих работ проведена в рамках криминальной психологии (15 статей, 5 из которых — о сексуальном насилии, 3 — о мерах наказания и 2 — о насилии над детьми). Затем можно выделить группу работ по принятию решений (6 статей), куда входят исследования решений о выборе места жительства, о вождении в нетрезвом виде и т.д. Всего 5 исследований посвящено восприятию справедливости, сюда входят исследования справедливой пенсии, справедливого прожиточного минимума, распределения денег и разрыва в зарплатах между мужчинами и женщинами. Можно указать также 4 исследования установок (например, какие атрибуты необходимы для ка­тегоризации персонажа как «немца»; отношение к пенсионерам) и 4 исследования предпочтений (каким должно быть качество заботы о детях; какие характеристики программы по профилактике СПИДа предпочитают клиенты и т.д.). Наконец, сюда же входят 3 исследования из области межличностных отношений (например, воспринимаемые обязанности взрослых детей перед родителями) и 3 методологические публикации, описывающие саму технику факторного опроса.

Как мы видим, факторный опрос может применяться в самых разных областях, но при этом этот метод очень мало используется. На наш взгляд, факторный опрос имеет большой потенциал в социальной психологии, особенно в области изучения различных норм и установок, которые подвержены эффектам социальной желательности при оценке обычными опросниками. Далее мы попытаемся дать представление о факторном опросе как экспериментальной технике и о том, как этот метод можно использовать.

Место факторного опроса среди экспериментальных техник в рамках опросной методологии

Факторный опрос — не единственная экспериментальная техника с использованием виньеток, которая применяется для выявления факторов принятия решений. Можно выделить как минимум еще два родственных метода, которые решают сходные задачи: это совместный анализ (conjoint analysis) и эксперименты с выбором (choice experiments). Мы привели сравнительное описание каждого из трех методов, чтобы показать специфику факторного опроса (табл. 1).

Таблица 1

Сопоставление различных экспериментальных техник
в опросной методологии [27, 7]

Если говорить о научной ценности данных методов, то совместный анализ явно проигрывает двум своим конкурентам, так как многократно критиковался за то, что не имеет в своей основе строгой научной теории и по своему дизайну не дает возможности учета многих побочных переменных [7]. Если сравнивать факторный опрос и эксперименты с выбором, то можно сказать, что они равноценны. Обработка данных, полученных по результатам эксперимента с выбором, сложнее, чем обработка данных факторного опроса. Методологические исследования, сравнивающие эти два метода, очень редки, поэтому пока невозможно сказать однозначно, в каких ситуациях какой из методов будет работать лучше.

Однако учитывая, что традиция факторного опроса возникла в социальных науках, а эксперименты с выбором — это скорее экономическая традиция, мы в данной статье сосредоточимся именно на факторном опросе.

Проведение факторного опроса: пошаговая инструкция

1.     Aguinis и K.J. Bradley [2] в своей статье разделяют процесс проведения экспериментального исследования с использованием виньеток на три этапа: планирование, проведение и представление результатов. В каждом из этапов авторы указывают последовательность решений, которые нужно принимать по ходу прохождения этапа. Ниже перечень этих решений, разделенных по этапам. Описание каждого шага мы дополнили информацией с рекомендациями из других источников. Также все шаги на этапе планирования будут сопровождаться примерами из нашего исследования роли различных характеристик аутгрупп в оценке социальной дистанции.

Этап планирования

Шаг № 1: Решить, является ли экспериментальное исследование с использованием виньеток подходящим методом для вашего исследовательского вопроса. Здесь нужно понимать, что этот метод предполагает причинно-следственную связь между переменными, и только если теоретически вы эту связь предполагаете, имеет смысл использовать эту технику. При этом она хорошо подходит в тех случаях, когда манипуляция независимой переменной по каким-либо причинам невозможна или нежелательна в лабораторных условиях.

Пример: В нашем исследовании мы ставим перед собой задачи выявить те факторы и сочетания факторов, которые заставляют людей оценивать представителей других групп как более или менее дистантных. Решить эту задачу через эксплицитные измерения социальной дистанции невозможно. Во-первых, люди обычно осознают только самые выпуклые характеристики представителей других групп (например, цвет кожи или религиозную принадлежность), но не осознают все характеристики, которые влияют на их восприятие социальной дистанции. Во-вторых, люди не могут оценить относительную важность тех или иных характеристик при формировании воспринимаемой социальной дистанции. Обе эти трудности разрешаются через использование факторного опроса, который позволяет имплицитно оценить вес различных характеристик и их комбинаций при оценке воспринимаемой социальной дистанции.

Шаг № 2: Выбор метода. На этом этапе необходимо выбрать, какой из экспериментальных техник вы хотите применить: факторный опрос, совместный анализ или эксперимент с выбором. В предыдущей части мы уже сравнивали данные методы и обосновывали релевантность факторного опроса для исследований в социальных науках, поэтому в дальнейшем мы сосредоточимся именно на нем.

Шаг № 3: Выбор дизайна исследования. C. Atzmuller и P.M. Steiner [5] выделяют три типа исследовательских дизайнов в факторном опросе: межин­дивидный (between-person), внутриин- дивидный (within-person), и смешанный (mixed research design). В межиндивид­ном дизайне каждый респондент оценивает только одну виньетку и все сравнения делаются между респондентами. Межиндивидные дизайны в чистом виде используются очень редко, так как респондентам сложно оценивать виньетку, когда нет других примеров, чтобы сравнить и получить контекстуальную информацию о разных переменных. В случае с внутрииндивидным дизайном каждый респондент оценивает один и тот же набор виньеток. Такой дизайн позволяет раскрыть процесс принятия решения человеком. В смешанном дизайне разные группы респондентов получают разный набор виньеток, но при этом внутри каждой группы набор виньеток идентичен. Таким образом, можно отслеживать как процесс принятия решения 149 каждым респондентом, так и сравнивать респондентов между собой.

Пример: Наша задача — не только выявление роли различных характеристик представителей других культур в формировании социальной дистанции, но и выявление психологического механизма, который определяет значимость тех или иных факторов. На наш взгляд, иерархия собственных идентичностей — это тот фактор, который определяет значимость тех или иных характеристик при оценке аутгрупп. Также по итогам факторного опроса мы хотим иметь возможность не только оценить важность характеристик и роль иерархии идентичностей самого оценивающего при определении значимости этих характеристик, но и сравнивать различные этнические группы России между собой. Таким образом, в данном случае нам необходимо использование факторного опроса со смешанным дизайном.

Шаг № 4: Выбор степени погружения. Чем более реалистичной будет презентация виньеток, тем больше шансов, что наблюдаемые связи будут близки к тому, что происходит в реальной жизни (соответственно, повышается внешняя валидность эксперимента). Использование фото-, аудио- и видеоматериалов может повысить реалистичность оцениваемых сценариев и дать более валидные результаты [32; 21].

Пример: Так как мы хотели бы понять, как в реальной жизни формируется воспринимаемая социальная дистанция, мы будем использовать фотографии типичных представителей различных этнических групп, совпадающие с описанием персонажа в виньетке, чтобы увеличить реалистичность виньеток и вовлечен­ность респондента в процесс оценивания.

Шаг № 5: Определение количества и уровней независимых переменных. 150

Есть два источника выбора независимых переменных и их уровней: теория (обзор литературы), или предварительное качественное исследование, которое может дать представление о важных факторах оценки зависимой переменной (суждения, установки и т.п.). Согласно C. Sauer et al. [39], оптимальное число независимых переменных варьирует от 6 до 9, при этом желательно, чтобы число уровней у всех переменных были примерно одинаковым (и не очень большим).

Пример: В нашем исследовании мы решили совместить два источника выбора независимых переменных: литературу и предварительный этап с качественным исследованием. На этапе анализа литературы были выявлены некоторые измерения, которые далее проверялись и дополнялись в ходе экспертного интервью. Опрашивались специалисты в области межгрупповых отношений — социологи, социальные психологи, антропологи.

Гайд полуструктурированного интервью включал в себя 6 вопросов. В первом вопросе мы просили экспертов оценить важность характеристик, которые были выявлены на этапе анализа литературы, при формировании воспринимаемой социальной дистанции (каждая характеристика оценивалась по 5-балльной шкале от 1 — «Совсем не важно» до 5 — «Очень важно»). Затем следовал вопрос: «Какие еще характеристики (не приведенные выше), на ваш взгляд, могут влиять на воспринимаемую социальную дистанцию?». И, наконец, задавалось несколько дополнительных вопросов об универсальности этих характеристик при оценке других среди различных культурных групп, проживающих в России, а также о специфике межгрупповых отношений в российском контексте. Результаты по оценке измерений, выявленных в ходе обзора литературы, были совмещены с новыми измерениями, предложенными экспертами, а также были выбраны уровни измерения для каждой характеристики, релевантные для российского контекста. В табл. 2 приведен полученный перечень измерений с указанием соответствующего теоретического конструкта, источника, на основе которого конструкт был выбран, и уровней измерения.

Сильными сторонами выбранных измерений являются учет данных предыдущих исследований, опора на качественное исследование, учет практически всех выявленных характеристик, примерно равное количество уровней в каждом измерении и кратность неравных (почти все измерения имеют 3 уровня, 1 измерение — 2 уровня, 1 измерение — 6 уровней; 6 кратно 2-м и 3-м). Таким образом, мы можем считать данный перечень характеристик достаточно надежным и переходить к следующему шагу.

Шаг № 6: Выбор количества виньеток. Так как весь пул виньеток (full population of vignettes) — всех комбинаций всех уровней независимых переменных — обычно весьма объемен, то необходимо выбрать количество виньеток, которое будет отобрано из этого пула, а также количество виньеток, которое будет предъявляться одному респонденту.

Есть несколько стратегий выбора виньеток из общего пула. Основные две стратегии, которые используются чаще всего — это случайный отбор и фракцио- нальный дизайн [5]. Слабость случайного отбора в том, что полученная выборка виньеток может потерять независимость измерений, когда, например, один уровень одного измерения всегда появляется в сочетании с одним уровнем другого измерения. Так как ортогональность факторов никак не контролируется, то в итоге случайный отбор может привести к тому, что мы не будем иметь возможность отделить главные эффекты от эффектов интеракций или даже главные эффекты друг от друга. Фракциональный дизайн предпочтительнее, так как он сохраняет ортогональность и баланс всех уровней разных измерений, но полный фракцио- нальный отбор реализуем только на простых дизайнах ФО, с небольшим количеством факторов, имеющих одно и то же количество уровней.

Для сложных дизайнов используется квотный дизайн на основе коэффициента D-эффективности [6, 15]. Данный коэффициент позволяет делать отбор виньеток из общего пула со сложным дизайном, находя оптимальную выборку, которая максимально сохраняет ортогональность измерений и баланс уровней этих измерений. Также с помощью этого коэффициента можно разбить полученную выборку на блоки, которые войдут в каждый опросник. Оптимальное количество виньеток в одном опроснике — приблизительно 10 [39]. Формирование выборки виньеток и распределение их по блокам на основе коэффициента D-эффективности может быть осуществлено в программе SAS. Виньетки в каждом блоке также могут предъявляться респондентам в случайном порядке, чтобы избежать влияния порядкового номера виньетки на оценки. Что касается количества виньеток, которые стоит отбирать, то в целом стоит ориентироваться на рекомендацию «чем больше, тем лучше», если вы можете себе позволить распределить большое количество виньеток на блоки по 10—12 виньеток, и собрать такую выборку, чтобы каждый блок был оценен минимум 5-ю респондентами. Если же это невозможно, то практическая рекомендация — сделать выборку минимум 100—200 виньеток. Обычно этого достаточно, чтобы получить выборку с более или менее ортогональными измерениями и сбалансированным дизайном на основе D-коэффициента. При этом важно помнить, что включение ортогонализации большого количества интеракций и исключение большого количества невероятных сценариев снижает D-коэффициент и, соответственно, возможность отбора качественной выборки [7].

Пример: В нашем исследовании мы остановились на восьми измерениях. При заданных уровнях измерений общий пул виньеток составляет 6x3x3x3x3x3x2x3 = 8748 виньеток. Мы планируем отобрать 200 виньеток из этого пула с использованием коэффициента D-эффективности, распределив отобранные виньетки по 20 блокам, 10 виньеток в каждом (10x20 = 200).

Этап проведения исследования

Шаг № 7: Формирование выборки. Выборка должна быть сформирована таким образом, чтобы респондентам были знакомы ситуации/объекты, описанные в виньетках. Также нужно учитывать, что поскольку мы говорим об экспериментальном дизайне, расчет необходимого размера выборки, исходя из статистической мощности, необходим, особенно при желании дальнейшего сопоставления групп респондентов.

Пример: Порядок виньеток в каждом опроснике будет случайным, соответственно, принимая во внимание, что каждая из 20 версий опросника будет заполняться 5-ю респондентами, можно рассчитать, что общее числе версий опросника будет равно 100. Мы хотим сопоставить 6 этнических групп России, включенных в описание первого измерения, соответственно, необходимо собрать 100 респондентов каждой этнической группы, чтобы статистическая мощность была достаточна для обнаружения эффектов. При опросе 6 этнически групп по 100 респондентов из каждой, мы получим общий объем выборки равный 600 респондентов.

Шаг № 8: Выбор условий и времени администрирования опросников. Необходимо решить, будет ли опрос проводиться на бумаге или через он-лайн платформы, в каких условиях респондентам будут выдаваться опросники, если это бумажная версия. Также важно организовать опрос таким образом, чтобы респонденты оценивали сразу все виньетки в один подход.

Пример: В нашем исследовании мы планируем организовать опрос через он-лайн платформу. Главное преимущество он-лайн опроса в случае проведения ФО — это возможность рандомизирован­ного получения респондентом одного из вариантов опросника по принципу очередности (каждый следующий респондент, проходящий по ссылке, попадает на рандомно выбранную версию опросника).

Шаг № 9: Выбор метода анализа данных. В случае использования меж­индивидуального дизайна, необходимо использование дисперсионного анализа и его вариаций. Если же используется внутри-индивидуальный дизайн, то полученные данные имеют иерархическую структуру (уровень респондентов и уровень виньеток), поэтому оптимальным является использование многоуровневого анализа [5].

Пример: В нашем случае данные будут организованы на 3-х уровнях: (1) уровень этнической группы со 100 респондентами в каждой, (2) уровень респондента (блока виньеток) с 10-ю виньетками в каждом, (3) уровень виньетки с 8-ю измерениями в каждой. Соответственно, такого рода данные могут анализироваться только с помощью многоуровневого регрессионного анализа. Будут выявлены основные факторы и сочетания факторов, определяющие воспринимаемую социальную дистанцию, а также индивидуальные и групповые различия в иерархии этих факторов.

Этап представления результатов

Шаг № 10: Решение о том, насколько прозрачной и детальной должна быть презентация полученных результатов. Данный шаг скорее представляет собой не вопрос, а рекомендацию авторов: рекомендуется давать максимально детализированное описание всего исследовательского процесса, а также прилагать использовавшиеся виньетки (если и не в тексте статьи, то на сайте журнала или по запросу).