Анализ общих, прямых и косвенных эффектов в экспериментах и квазиэкспериментах

Доклад посвящён анализу общих, прямых и косвенных эффектов в экспериментах и квазиэкспериментах, и поднимает вопрос о необходимости разработки специального математического аппарата, позволяющего анализировать данные, полученные в исследованиях при сопоставлении экспериментальных и контрольных групп. Стандартные методы, используемые для выявления различий в средних при сравнении разных выборок, дают корректные ответы в той ситуации, когда выборки независимы от фактора влияния или воздействия. Но такие ситуации очень редко выполняются, поскольку очень сложно обеспечить идеальную рандомизацию. Предложенные докладчиком методы могут быть использованы в лонгитюдных исследованиях, в задачах постепенного (а не только бинарного) усиления влияния независимого фактора. Предлагаемый автором подход в течение многих лет используется для анализа результатов конкретных прикладных исследований, выдержал проверку публикациями в монографиях и ведущих западных психологических журналах. Каждый год студенты, аспиранты и молодые ученые приезжают в университет Йены, где профессор Штейер проводит мастер-классы по анализу данных в данной парадигме, демонстрирует возможности специально написанного его коллегами программного обеспечения.

В лонгитюдных исследованиях, связанных с изучением влияния какого-то воздействия (обучения, лечения) на индивида или группу, мы стремимся к описанию конкретных характеристик (Y) и анализу их изменений в течение некоторого времени как следствию изучаемых воздействий. Укажем два типа исследований. В первом случае экспериментальному воздействию подвергаются все испытуемые (например, ситуация обучения в школе), во втором, испытуемые делятся на контрольную (воздействия нет (Х=0)) и экспериментальную (воздействие есть (Х=1)) группы. Чтобы оценить общий результат воздействия на выходную переменную Y нужно вычислить разницу средних в двух выборках (X =1) и (X = 0). Тест Стьюдента для независимых выборок позволяет проверить гипотезу о том, что общий эффект воздействия не является значимым. Если же мы интересуемся условными эффектами воздействия – например, в какой степени предварительный уровень подготовки (высокий, средний, низкий) влияет на успешность обучения, то можно использовать традиционные методы регрессионного и/или дисперсионного анализа с целью оценки и проверки влияния условных эффектов.

Однако, традиционные статистические методы неэффективны при анализе прямых или косвенных эффектов воздействия если необходимо учитывать медиаторную переменную (М), даже если предположить идеальную рандомизацию групп. Мы должны не только знать различие между общим, прямым и косвенным эффектом воздействия, но также сделать допущения, выполнение которых не гарантируется даже проведением рандомизированного эксперимента. В случае соблюдения рандомизации мы действительно можем быть уверены, что различие в средних в экспериментальных группах свидетельствует о наличии общего эффекта воздействия. Однако, разница средних между группами, связанными с уровнями реализации какого-то дополнительного условия рассматриваемого как медиатор, не может служить несмещенной оценкой наличия эффекта воздействия. Отметим, что это достаточно распространенное заблуждение, лежит в основе метода путевого анализа (MacKinnon, 2008, Ch. 3).

Последствия неточных оценок эффектов различных видов воздействий в сфере, связанной с людьми весьма опасно. Например, реальное положительное воздействие может быть оценено отрицательно и наоборот. Или воздействия будут оценены нейтрально, в то время как в реальности они к приводят к значительному позитивному или негативному результату. Это может быть опасным при анализе нежелательных побочных эффектов воздействия. Заметим, что такое искажение не является следствием нерепрезентативной выборки, наоборот это систематическое отклонение, имеющее место даже при очень больших выборках. Другими словами, искажение имеет место не только при оценке различий в выборочных средних, но и при оценке различий в популяционных средних.

Если эксперимент не был рандомизированным, то для того чтобы оценить эффект воздействия мы не может сравнивать различия в средних.

Если экспериментальную группу составляют испытуемые с тяжелым нарушением и результаты лечения (воздействия) слабые или средние, тогда разность средних по результирующей переменной Y в экспериментальной и контрольной группах будет все еще негативной. В результате есть вероятность ошибочно зафиксировать негативный эффект лечения, даже если для каждого отдельного человека этот лечение приводит к положительному сдвигу. Если экспериментальную группу составят испытуемые, состояние здоровья которых такого, что именно для них лечение дает максимально высокие результаты, то сравнение средних в этом случае даст совсем другой результат. Поэтому следует учитывать два вида отклонений, по которым можно выявить различия в средних при оценке общего эффекта воздействия: базовое отклонение и отклонение в результате воздействия. Базовое отклонение соответствует выбору группы воздействия, например, по степени выраженности заболевания или по тому насколько у испытуемых выражено желание изменить свое состояние в результате воздействия.

Вывод. Если эксперимент не является рандомизированным, то традиционные статистические методы, включая регрессию, дисперсионный анализ и структурное моделирование не являются достаточными для оценки и проверки эффектов воздействия. В идеальном рандомизированном эксперименте эти методы позволяют оценить и проверить общий эффект воздействия также как и условные детерминации, определяемые предварительными результатами тестирования, полом, образовательным статусом. Анализ прямых или косвенных эффектов, даже внутри рандомизированного эксперимента, как например анализ каузальных эффектов в квазиэкспериментах, непременно должен проводиться с учетом теорию каузальных эффектов и их последствий. Именно этой теории будет уделено внимание в лекции. Более подробно об этом говорится в книге (Steyer, et al., in press), содержащей также полную библиографию в этой области.