Качественная методология и доказательные практики в психологии и образовании

Качественная методология

и доказательные практики в психологии и образовании

Введение

Понятие доказательной практики в психологии, социальной сфере и образовании было заимствовано из доказательной медицины, где принятие решений о диагностике и лечении пациентов основано на полученных в исследованиях фактах об их эффективности. В сфере образования ориентация на доказательный подход означает и необходимость развивать и тиражировать практики, продемонстрировавшие высокую эффективность в соответствующих научных исследованиях, и формирование самих процедур отбора подобных практик.

Безусловно, было бы неправомерно сводить доказательную практику к механизму организации образовательной сферы в соответствии с результатами рандомизированных контролируемых исследований. Вместе с тем широкое распространение получили разработки критериев, позволяющих отнести ту или иную практику к определенной группе по уровню поддерживающего ее эмпирического базиса: например, практика с доказанной эффективностью; перспективная практика; неэффективная практика; практика, в отношении эффективности которой нет достаточных свидетельств [Бусыгина]. При этом определение уровня доказательности ориентируется на «золотой стандарт» исследований эффективности и основывается на представлениях об иерархии исследовательских методологий, где рандомизированные эксперименты и их ме­таанализ возглавляют рейтинг по «силе научности», а наименьшей значимостью обладают качественные исследования. И хотя подобная классификация практик по уровню доказательности удобна для принятия управленческих решений, она приводит к невниманию и явной недооценке вклада в понимание эффектов практики большого числа прикладных исследований, экспертных наблюдений и т.п. Мы согласны с критикой ряда авторов [Kozleski E.B; Odom], что, акцентируя «золотой стандарт» в исследованиях эффективности, академическое сообщество в большей мере занято искусственным конструированием идеализированного образа практик, чем способствует улучшению положения дел в образовании, что само по себе дискредитирует доказательный подход.

Казалось бы, качественная методология, как правило, основанная на оппонирующих позитивизму герменевтических и социокри- тических представлениях, нацеленная на насыщенные описания значений и смыслов, которые люди придают своему опыту, далека от доказательного подхода как воплощения инструментального разума и характерного для неолиберального общества стремления к эффективности. Однако тем более любопытным выглядит то, что de facto исследователи-качественники уже давно включились в движение доказательности (evidence-based movement) и даже успели сказать в нем свое слово. В зоне пересечения качественных исследований и доказательных практик происходит то, что можно было бы квалифицировать как их взаимное обогащение: качественная методология привносит в доказательный подход инструменты, позволяющие оценивать возможности тех или иных практик в реальных условиях жизни конкретных школ, классов, внешкольных образовательных организаций, понимать отношение к ним со стороны различных субъектов образовательного процесса — детей, их родителей, учителей, школьной администрации, школьных психологов, в то время как идеология доказательного подхода побуждает иссле- дователей-качественников более систематически задаваться вопросами научного статуса используемых ими методов и разрабатывать процедуры усиления доказательности полученных с их помощью результатов.

Здесь мы остановимся на нескольких наиболее важных вкладах качественной методологии и доказательного подхода друг в друга, а также том значении, которое имеет их «встреча» для развития исследований и практики в области образования. Кратко опишем возможности качественной методологии в решении вопросов социальной валидности и применимости тех или иных образовательных программ и практик. Далее мы покажем, как под влиянием доказательного подхода меняется сама качественная методология, в частности, как одним из ответов на его вызовы становится разработка принципов и процедуры метасинтеза. Наконец, мы специально остановимся на проблеме вклада качественной методологии в каузальные исследования эффектов практик. Обычно качественную методологию характеризуют как описательную, сторонники сциентизма отказывают ей в возможности вносить свой вклад в исследование причин и построение объяснительных моделей, сами же исследователи-качественники нередко ставят под вопрос необходимость и ценность причинных объяснений в социальных науках [Lincoln, 1985; Vidich, 2000]. Мы же придерживаемся той точки зрения, что качественные исследования открывают особый путь к формулированию причинных объяснений и потому могут быть очень полезны не только в описании отношения к практике, наблюдении за особенностями ее применения и т.п., но и в исследовании ее эффективности.

Значение качественной методологии для оценки социальной валидности практик

Вклад качественной методологии в понимание взглядов, мнений, отношения к практике со стороны ее участников, а также в оценку различных факторов, связанных с особенностями ее организации и планирования, отмечается в подавляющем большинстве источников, посвященных роли качественных методов в доказательных исследованиях [Kozleski E.B; McDuffie]. Принятие решений о том, насколько целесообразно применять практику и тем более ее распространять и тиражировать, основывается не только на том, показала ли она эффективность в соответствующих экспериментах. Необходимо также оценить ее прикладную ценность для реальной жизни — ее социальную валидность. Например, обучающая практика может показывать хорошие результаты в исследованиях экспериментального дизайна, но при этом и ученики, и учителя ею недовольны, им не нравятся ни ее содержание, ни методы, администрация школы испытывает значительные сложности с ее интеграцией в школьную программу, необходимые для нее материалы очень дорогие, к тому же ее применение требует весьма дорогостоящего обучения учителей. Именно качественные методы (интервьюирование, наблюдение) в таких случаях помогают раскрыть все те моменты, которые обусловливают социальную валидность практики, услышать голос тех, кто является ее непосредственным участником, и уже с учетом этой информации ответить на вопрос, стоит ли практику внедрять и использовать [McDuffie].

Качественные исследования условий применимости практик и факторов контекста

Сторонники доказательного подхода подчеркивают, что распространение практики, ее применение в образовательных учреждениях часто требуют локальных исследований, как именно данная практика работает в условиях конкретных учебных заведений [Erickson, 2011; Kozleski E.B; McDuffie]. Эффекты практики зависят от того, применяется ли она в том виде, в каком и была задумана, т.е. от показателя точности в применении (treatment fidelity [Smith]). Нередко процесс применения практики в тех или иных условиях вносит в нее такие коррективы, что в ней оказываются нарушены как раз те моменты, благодаря наличию которых она и может быть эффективной. Например, К. Макдаффи (K. McDuffie) и Т. Скраггс (T. Scruggs) [McDuffie] ссылаются на множество качественных исследований, демонстрирующих, что практика совместного преподавания в инклюзивной школе значительно отличается от тех моделей, которые фигурируют в теоретических разработках. Обычно в реальности совместное преподавание организуется по типу «один — учитель, второй — ассистент», причем профессионал в области специального образования играет подчиненную роль; очень мало или формально используются специальные приемы и методы — такие, как взаимное обучение детьми друг друга, мнемоника и другие. Иными словами, практика совместного преподавания в реальности выглядит мало похожей на настоящее сотрудничество [McDuffie]. Качественные наблюдения позволяют понять, насколько применение практики согласуется с ее моделью, какие особенности ее реального использования могут снижать ее эффекты.

Точно так же качественная методология может быть очень полезной в изучении факторов контекста, поддерживающих или затрудняющих применение практики и способных вносить весомый вклад в ее успешность. Например, исследования показали, что в одних случаях применения практики совместного преподавания учителя могут налаживать друг с другом хорошее рабочее партнерство, в то время как в других им этого не удается. Происходит это за счет таких факторов, как сходство или различие в стилях преподавания, наличие или отсутствие навыков управления классом, степень знаний и экспертизы в области специального образования у обоих учителей и ряда других [Mastropieri].

Метасинтез: движение качественных исследований к идее доказательности

В контексте доказательного подхода перед исследователями-качественниками встает необходимость «доказывать свою доказательность». Один из путей решения этой задачи — разработка процедур метасинтеза, т.е. систематического обзора множества отдельных исследований, посвященных определенной теме, который позволяет обобщать их результаты [Kent; Sandelowski, 2007]. Развитие и распространение метасин­теза напрямую обосновывается стремлением «гарантировать качественным исследованиям статус источника доказательности в рамках процесса обоснования доказательности практик, в котором им отказывали» [25, с. 3].

Метасинтез отчасти является аналогом метаанализа — агрегирования и статистической обработки данных количественных исследований [Joanna Briggs Institute, 2014]. Однако в отличие от мета­анализа, метасинтез не подразумевает сведения результатов различных исследований к общим, стандартизированным параметрам, но предполагает работу по объединению тем и инсайтов, полученных в отдельных исследованиях, что позволяет составить более полное представление об изучаемом объекте, сохраняя при этом смыслы отдельных исследований [Scruggs]. Иначе говоря, цель метасинте­за — не просто суммирование, а получение новых интерпретаций данных при одновременном сохранении связи с философскими и теоретическими рамками тех исследований, которые ему подвергаются. По сути, поиск методов и оснований метасинтеза — это поиск пути, который, с одной стороны, удовлетворял бы критериям доказательности, а с другой стороны, позволил бы сохранить содержание и суть качественного подхода. Как отмечают М. Санделовски (M. Sandelowski) и Дж. Барросо (J. Barroso), главное методологическое правило метасинтеза — подбор таких исследовательских методов, которые не нарушают концептуальной целостности исследований, включенных в обзор [25, с. 25]. При этом итогом метасинтеза должна быть именно интеграция результатов исследований, а не их критическое сопоставление или сравнение [25, с. 199].

В научной литературе встречаются как общие описания возможных подходов к ме­тасинтезу, так и примеры подробных алгоритмов, применение которых служит большему соответствию идее доказательности. Например, в «Руководстве Кокрейн» (Cochrane Handbook) вопросам систематического обзора качественных исследований с целью выработки доказательных результатов и рекомендаций по доказательным практикам посвящена отдельная глава [Noyes, 2021]. При выборе подхода, в рамках которого будет проводиться метасинтез, предлагается руководствоваться рядом принципов, которые обозначены аббревиатурой «RETREAT»:

•     Review questions — во-первых, нужно сформулировать исследовательские вопросы.

•     Epistemology — во-вторых, следует рассмотреть философские и методологические основания исследований, попавших в базу обзора, чтобы подобрать соответствующий подход для дальнейшей работы.

•     Time frame — в-третьих, нужно учесть фактор временных ограничений при выборе этого подхода.

•     Resources — в-четвертых, нужно выставить ограничения для отбора исследований, которые будут рассматриваться, с учетом доступных ресурсов.

•     Expertise — в-пятых, следует рассмотреть вопрос о квалификации членов исследовательской группы и привлеченных экспертов с точки зрения выбранного подхода.

•     Audience and purpose — в-шестых, нужно понять, кому будут адресованы результаты обзора.

•     Type of data — наконец, при отборе исследований для обзора рекомендуется оценить качество информации, представленной в этих исследованиях: какие из них являются концептуально насыщенными, а какие недостаточно полными.

Проиллюстрируем особенности процедуры метасинтеза несколькими примерами. Т. Скраггс (T. Scruggs) с соавторами [Scruggs] провели метасинтез исследований, посвященных практикам совместного преподавания в инклюзивной школе. Исследования, которые они подбирали для метасинтеза, должны были включать в себя пересечение двух тем — дети с особенностями развития и практики совместного преподавания. В итоге в систематический обзор вошли 32 исследования. На следующем этапе авторы проводили работу с материалами отобранных исследований, в результате которой они выделили 69 категорий, которые и применялись при кодировании материала, почерпнутого из исследований. Позже, в процессе обсуждения исследовательской командой число категорий было сокращено до 12. Категории включали в себя коды, относящиеся к высказываниям о преимуществах совместного преподавания; выражению стремления к успешной практике такого преподавания; описанию ролей учителей; описанию практик обучения в инклюзивных классах.

Дж. Лакал (J. Lachal) с соавторами [Lachal], осуществляя метасинтез исследований, посвященных суицидальному поведению у подростков и молодых взрослых, сфокусировались на терапевтических отношениях и барьерах на пути успешного оказания помощи, поэтому в их выборку попали не только те исследования, которые непосредственно концентрировались на изучении суицидального поведения у подростков и молодых взрослых и их взаимоотношений с родителями, но и те, которые касались специалистов сферы здравоохранения, работавших с такими пациентами. С помощью Программы навыков критической оценки (Critical Appraisal Skills Program, CASP) авторы оценили попавшие в выборку исследования по 9 параметрам. Хотя они не исключили из выборки исследования, набравшие небольшое количество баллов по шкале CASP (как говорят сами авторы, «целью качественной оценки не является строгий критериальный отбор публикаций»), сама по себе оценка материала, который войдет в систематический обзор, представляется очень важным шагом. Дж. Лакал и соавторы систематизировали отобранные исследования и проанализировали их в несколько этапов: тщательное изучение материалов исследования с применением техник «активного чтения»; построчное кодирование; группировка и категоризация получившихся кодов в виде иерархического дерева; итоговая тематизация результатов.

Дж. Эрвин (J. Erwin) с соавторами [Erwin] обратились к исследованиям, посвященным практикам психологической помощи детям раннего возраста. Авторы указывают, что, поскольку тема достаточно широкая, они приняли решение не формулировать жестких критериев отбора исследований в самом начале работы, а, напротив, подходить к нему гибко, определяя критерии постепенно по мере продвижения в работе. Из 338 первоначально отобранных источников они в итоге исключили 242. Отобранные исследования анализировались с точки зрения ключевых концептов, тем и метафор. Объединяя результаты исследований, авторы выделяли конструкции первого, второго и третьего порядков. В конструкции первого порядка попали оригинальные цитаты участников исследований, в конструкции второго порядка — интерпретации авторов исследований, в конструкции третьего порядка — общие для всех исследований темы, полученные в результате метасинтеза.

Исследователи отмечают, что примененные ими процедуры позволили синтезировать на первый взгляд разрозненный материал исследований, относящихся к интересующей их области. Метасинтез привел к получению новых выводов об изучаемых практиках, в том числе в части рекомендаций помогающим специалистам. На примере приведенных исследований можно видеть, как в процедурах метасинтеза встречаются качественные исследования и доказательный подход и как они «вместе переформатируют и концепцию доказательности, и практики исследовательского синтеза» [Sandelowski, 2007, с. 1].

Реалистический подход к причинности и роль качественной методологии в исследовании причинно-следственных эффектов

Принятая в психологических исследованиях (и исследованиях в области образования) практика установления причинно-следственных зависимостей исключительно посредством проведения экспериментов отсылает к определенному подходу к причинности, который был инициирован Д. Юмом и затем развит в позитивистской философии науки Дж.Ст. Миллем, К. Гемпелем и другими [15; 16; 17]. Именно в силу представленности данной модели в философии позитивизма ее можно назвать позитивистским подходом к причинности. Согласно Д. Юму, мы не можем непосредственно наблюдать причинные отношения и, следовательно, не можем иметь знания о причинности, кроме как наблюдая регулярность в связи событий. Это представление конкретизируется в определенном типе исследовательской методологии — теории дисперсии (variance theory) [Mohr, 1982; Mohr, 1996]: для установления причинности необходимо отследить, приводят ли изменения в показателях одних переменных к изменениям в показателях других. Как указывает Л. Мор (L. Mohr) [Mohr, 1982], теория дисперсии в социальных науках очень близка статистике, из нее вытекает широко распространенная практика использования вероятностных выборок, количественных измерений переменных, тестирования статистических гипотез и предпочтения экспериментальных дизайнов в исследованиях каузальных отношений.

В области доказательных исследований эффективности практик описанный позитивистский подход к причинности принимается по умолчанию как единственно возможный. Однако он не только не является единственным, но уже преодолен в современной философии науки, где, по-видимому, доминирует другой — так называемый реалистический подход к причинности. Согласно сторонникам критического реализма [Bhaskar, 2008; Noyes, 2021], причинность следует понимать не как регулярность связей между событиями, но как реальные (и принципиально открытые наблюдению) механизмы и процессы, которые могут приводить, а могут и не приводить к регулярности. Реалистический подход к причинности в философии науки родственен тому, что в эпистемологии социальных наук принято называть теорией процессов (process theory) [Jensen; Maxwell; Maxwell, а; Maxwell, б; Mohr, 1982; Mohr, 1996]. Она сфокусирована на событиях и связывающих их процессах и включает в себя анализ причинных механизмов, посредством которых одни события влияют на другие. Дж. Масквелл [Maxwell, б] показывает, что теория процессов в гораздо меньшей мере требует статистики и отсылает, скорее, к глубинным детализированным исследованиям отдельных случаев или их коллекции. Дж. Максвелл находит переклички различения теории дисперсии и теории процессов с рядом представлений, развиваемых в области методологии психологии и социальных наук — например, с различением анализа переменных и процесса интерпретации (H. Blumer), подходов, ориентированных на анализ переменных и на анализ случаев (C. Ragin), факторных теорий и объяснительных теорий (R. Yin) [Maxwell, б]. Вслед за упомянутыми авторами подчеркнем, что теория процессов не является дескриптивной, а представляет собой именно объяснительный подход, но иной по сравнению с более привычной теорией дисперсии.

На наш взгляд, в психологии примером теории процессов могут служить психоаналитические объяснения, в которых на материале случаев происходит связывание событий в «линию истории» благодаря вскрытию обусловливающих их психологических механизмов. Наиболее ярким выразителем реалистического подхода к причинности в психологии можно считать К. Левина. В работе, посвященной аристотелевскому и галилеевскому типам мышления в психологии [Левин], К. Левин показывает, что в понимании закономерности ссылку на коллекцию частых повторений должен заменить анализ целостной ситуации, а вместо выделения классов и дихотомий (патология/норма, наличие/ отсутствие качества и т.п.) необходимо разрабатывать непрерывные переменные и культивировать динамический взгляд[Бусыгина]. Нам важно подчеркнуть, что в контексте реалистического подхода раскрыть причинные отношения — значит объяснить, что происходит, предложив теорию каузального процесса. И это имеет несколько важных следствий для организации доказательных исследований.

Во-первых, доминирующая практика исследований эффектов воздействия, ориентирующаяся на рандомизированные контролируемые эксперименты как на главную методологию, оказывается не «золотым стандартом» исследований, а лишь методологией, ограниченной отслеживанием того, обусловливают ли изменения «на входе» статистически значимые изменения «на выходе», при этом оставляя самому существу причинности — причинным процессам и механизмам — роль «черного ящика». Для того, чтобы показать, что определенная практика работает, мало продемонстрировать, что есть связь между фактом ее применения и изменением некоторых социальных или психологических переменных. Необходимо также показать, как она работает, раскрыть механизмы, условия, процессы, благодаря которым производятся зафиксированные эффекты.

Во-вторых, изложенные представления о причинности позволяют переосмыслить роль качественной методологии в доказательных исследованиях. Сторонниками качественных исследований представлены попытки раскрыть возможности качественных методов в наблюдении и интерпретации социальных и психологических процессов и тем самым показать их значение для решения задач объяснения явлений [Huberman, 1985; Maxwell; Maxwell, а; Maxwell, б; Miles]. В доказательных исследованиях качественная методология может служить тем самым инструментом, который позволяет проникнуть внутрь «черного ящика», произвести анализ каузальных процессов, объясняющих эффекты практики. Например, в сборнике под редакцией Т. Уэйснера (T. Weisner) [Weisner, 2005] собраны исследования, в которых качественные методы позволили не только скорректировать набор переменных для количественных измерений эффектов, но и выстроить целостную концептуальную рамку, очерчивающую механизмы, благодаря которым наблюдаются явные изменения в развитии детей при переселении их семей из районов с крайне высоким уровнем бедности. Как пишет Дж. Максвелл (J. Maxwell), «представление о том, что рандомизированные эксперименты и моделирование структурными уравнениями обеспечивают валидные генера­лизованные выводы об эффектах вмешательства, при отсутствии понимания действующих каузальных процессов, конкретных контекстов, в которых это действие происходит, и смыслов, которые данное вмешательство и контексты имеют для самих участников, это не более чем иллюзия. Нам нужны качественные методы и подходы, чтобы понять, что “работает” и как» [16, с. 658—659][Левин].

Заключение

Итак, мы попытались показать, что качественная методология привносит важные темы в область доказательных исследований в образовании. Она открывает дополнительные возможности для сбора насыщенных данных о применимости практик в тех или иных контекстах, позволяет больше внимания уделять «живой жизни» практики, оценивать ее социальную валидность и точность в применении, учитывать дополнительные факторы в оценке ее эффектов.

Идея доказательности, в свою очередь, приводит к развитию в области качественных исследований процедур метасинтеза, который, будучи нацеленным на интеграцию результатов многих исследований, позволяет увеличивать эмпирический базис качественных исследований и, тем самым, гарантирует им статус источника доказательности. По сути, процедура метасинтеза представляет собой вариант триангуляции источников и интерпретаций, которая рассматривается как один из важнейших путей валидизации результатов качественных исследований [Мельникова].

Нам хотелось бы особо подчеркнуть, что закрепление за качественной методологией статуса описательной методологии ошибочно. Реалистический подход к причинности дает возможность переосмыслить роль качественной методологии в решении задачи объяснения психологических и социальных явлений. Качественная методология — это один из инструментов «схватывания» каузальных процессов и механизмов работы практики, в связи с чем в области доказательных исследований практик ее роль может быть весьма значительна. Правда, необходимо иметь в виду, что для того чтобы качественная методология действительно была таким инструментом, исследователям необходимо избегать опасности применять ее в рамках того типа мышления, который характерен для количественного анализа — опасности использовать качественные методы с целью конкретизировать отдельные переменные и искать их связи, абстрагируясь от контекста. Исследователям-качественни- кам стоит придерживаться релевантной для них интерпретативной эпистемологии и развивать подходы, альтернативные позитивизму.